User Tag List

Discusión: Horse Racing Data

  1. #1

    Registrado
    Apr 2009
    Posts
    2,135
    Agradecimientos
    4395
     
    2454
     
    Mencionado
    40 Post(s)
    Tagged
    0 Hilo(s)

    Horse Racing Data

    Hola a todos,

    inicio este hilo para preguntaros si alguno ha dedicado 100 puntos de betfair a conseguir el histórico de carreras de caballos del siguiente enlace:

    Betfair Data Home Page

    Me gustaría saber si alguien tiene los últimos, al menos alguno de ellos, o los podría conseguir para analizar la evolución de las cuotas para diferentes tipos de carreras en todo su ciclo de vida. Las anotaciones a mano son totalmente impracticables en un mercado tan volatil y evidentemente yo no dispongo de puntos suficientes como para conseguir una temporada completa.

    Muchas gracias a todos de antemano.
    Algar

  2. #2

    Registrado
    May 2005
    Ubicación
    Barcelona
    Posts
    2,307
    Agradecimientos
    4629
     
    4593
     
    Mencionado
    5 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    Citar Originalmente publicado por Algar Ver post
    Hola a todos,

    inicio este hilo para preguntaros si alguno ha dedicado 100 puntos de betfair a conseguir el histórico de carreras de caballos del siguiente enlace:

    Betfair Data Home Page

    Me gustaría saber si alguien tiene los últimos, al menos alguno de ellos, o los podría conseguir para analizar la evolución de las cuotas para diferentes tipos de carreras en todo su ciclo de vida. Las anotaciones a mano son totalmente impracticables en un mercado tan volatil y evidentemente yo no dispongo de puntos suficientes como para conseguir una temporada completa.

    Muchas gracias a todos de antemano.
    Algar
    Creo que no cuesta 100 puntos, simplemente has de tener minimo 100 puntos en tu cuenta.

    Yo he descargado el de la ultima semana si te interesa, mandame un privado con tu mail y te lo envio.

    Ya te aviso que es un Excel de 120 Mb pero comprimido son unos 8 MB.

    Salu2

  3. Agradecimientos Algar, rma ha(n) agradecido este post
    Total: 2 Agradecimientos
  4. #3

    Registrado
    Apr 2009
    Posts
    2,135
    Agradecimientos
    4395
     
    2454
     
    Mencionado
    40 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    Gracias anogues, tienes un privado.

    Citar Originalmente publicado por anogues Ver post
    Creo que no cuesta 100 puntos, simplemente has de tener minimo 100 puntos en tu cuenta.
    ¿Quiere esto decir que con 100 puntos en la cuenta puedes descargarte cualquier historial cuantas veces quieras?

    El mensaje en particular es:

    Note: In order to download historical data you must have a minimum of 100 betfair points.


    Muchas gracias de nuevo.
    Algar

  5. #4

    Registrado
    May 2005
    Ubicación
    Barcelona
    Posts
    2,307
    Agradecimientos
    4629
     
    4593
     
    Mencionado
    5 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    Citar Originalmente publicado por Algar Ver post
    Gracias anogues, tienes un privado.



    ¿Quiere esto decir que con 100 puntos en la cuenta puedes descargarte cualquier historial cuantas veces quieras?

    El mensaje en particular es:

    Note: In order to download historical data you must have a minimum of 100 betfair points.


    Muchas gracias de nuevo.
    Algar

    Pues si, con que tengas 100 puntos puedes descargartelos todos. A mi no me restó ningun punto de la cuenta.

    Ahora necesitamos un programa para ver eso. Me baje el Swarm ese de la web de fracsoft pero no me acepta ningun fichero, los tendrías que comprar via su web cosa que no voy a hacer.

    A ver si encontramos algo para visualizar esto, porque leerlo desde el excel o el access es un pelin engorroso.

    Debido a que puede interesar a mas de uno, los iré colgando aquí:

    Horse Racing Data: 27 April 2009 - 03 May 2009
    Download bfinf_horse_090427to090503_090506122504.zip (Mirrors (7): RapidShare, MegaUpload, NetLoadIn, FileFactory, 2Shared, UploadBox, and LoadTo)
    Alternativo: RapidShare: Easy Filehosting

    Horse Racing Data: 20 April 2009 - 26 April 2009
    Download bfinf_horse_090420to090426_090429120021.zip (Mirrors (7): RapidShare, MegaUpload, NetLoadIn, FileFactory, LoadTo, 2Shared, and UploadBox)

    Other Data: 27 April 2009 - 03 May 2009
    Editado por anogues, 10/05/09 a las 01:41 PM

  6. Agradecimientos Algar ha(n) agradecido este post
    Total: 1 Agradecimientos
  7. #5

    Registrado
    May 2005
    Ubicación
    Barcelona
    Posts
    2,307
    Agradecimientos
    4629
     
    4593
     
    Mencionado
    5 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    Subido. Luego sigo con los otros

  8. #6

    Registrado
    Apr 2009
    Posts
    2,135
    Agradecimientos
    4395
     
    2454
     
    Mencionado
    40 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    ¡Gracias anogues!
    ¡Eres un crack!

    ¿Alguien tiene los que incluyen detailed time-stamp?
    Ejemplo:
    Si la carrera de caballos dura 3 minutos, lo que quiero tener es:

    1. Todas las cuotas de partida (SP)
    2. Valor de todas las cuotas tras 0,1 segundos.
    3. Valor de todas las cuotas tras 0,2 segundos.
    4. Valor de todas las cuotas tras 0,3 segundos.
    5. ...
    6. Valor de todas las cuotas tras 179,9 segundos.
    7. Valor de todas las cuotas al finalizar los 3 minutos de carrera (tras 180 segundos)


    Es decir, los que necesitais estos datos con un detalle muy fino de la vida de una cuota durante toda la carrera, ¿cómo los conseguís?

    1. Los he conseguido vía betfair o vía terceros licenciados por betfair, como Fracsoft u otros. (Ver link Betfair Data Home Page )
    2. Me he currado mi propio programilla y la anotación es automática, pero necesito acceso a la API de pago porque el API normal de betfair no me permite tomar todas las cuotas con precisión máxima de décimas de segundo.
    3. Me he currado mi propio programilla y no necesito el API de pago de betfair, porque con el API libre tengo más que de sobra para anotar todo lo que necesito.
    4. Las tomo a mano
    5. Soy un crack y no necesito anotar nada
    6. Por mi forma de apostar a los caballos no necesito este tipo de información. (Pre-análisis de los caballos por ejemplo)

    NOTA: Aunque la mayoría ya lo sabrá lo anoto aquí por si puede servirle a alguien: los csv son texto plano y pueden ser abiertos con cualquier editor de texto normal. Recomiendo aquellos que no cargan todo el fichero de una vez como Emacs, Vim, etc. porque la navegación por todo el fichero es super rápida. (No he probado Microsoft Excel pero la versión que tengo de la hoja de cálculo de OpenOffice tiene un límite de 65536 filas por hoja y no importa el resto del fichero)

    ¡Gracias de nuevo a todos!

  9. #7

    Registrado
    May 2005
    Ubicación
    Barcelona
    Posts
    2,307
    Agradecimientos
    4629
     
    4593
     
    Mencionado
    5 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    Yo con el excel y el access si que los puedo ver enteros el problema eske haria falta un programa que leyera el CSY y patra cada caballo sacara un gráfico aproximado de la oscilación de la cuota.

    Aún asi como ya dice bien en la web no se puede sacar un gráfico completo porque para cada cuota namas tienes la primera vez k se igualo pasta a espe precio y la ultima no todas las veces pero bueno algo aproximado si que se podria sacar.

    Mirarlo a ojo es una tortura. Si no hay o se fabrica un programa de poco sirve esto (al menos para mi).

    Sobre lo que dices de capturar las cuota scon la api gratis imposible. Son un montonazo de llamadas. Ha de ser o con la Api de pago, o escapando un html de la web de betfair, cosa que tal como está montada es una odisea, asi que o pagas o me parece que lo tienes crudo.

    Salu2

  10. Agradecimientos Algar ha(n) agradecido este post
    Total: 1 Agradecimientos
  11. #8

    Registrado
    Apr 2009
    Posts
    2,135
    Agradecimientos
    4395
     
    2454
     
    Mencionado
    40 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    Gracias anogues,

    efectivamente tienes toda la razón del mundo y en la documentación del API gratuita de betfair se puede comprobar que sus limitaciones son, para este propósito, prohibitivas.

    Sin embargo he estado dándole vueltas a la idea de parsear el HTML tal y como te lo envía betfair. En la página principal es difícil y además usan llamadas embebidas al API que son las encargadas de gestionar el mercado. Por eso no vemos nada en el código del frame:

    Sourcecode frame apuestas
    Código:
    var WidgetLayout = {            
        controllers: {
            marketViewController: {
                autoRefreshInterval: "30000",
                type: "Controller.MarketViewController",
                services: {
                    "initMarket": {action: "/betting/api/json/getBootstrapData.do"},
                    "loadMarket": {action: "/betting/api/json/getFullMarketData.do"},
                    "refreshMarket": {action: "/betting/api/json/getPartialMarketData.do"},
                    "addMarket": {action: "/betting/api/json/addToMyMarkets.do", type: "POST"},
                    "removeMarket": {action: "/betting/api/json/removeFromMyMarkets.do", type: "POST"}
                }
            }
        }
    }
    Sin embargo, no sería nada difícil una vez que tienes el link directo del mercado que quieres. Como en mi caso es algo muy específico, es decir, me limito a carreras de caballos, veo factible hacer esto:

    - Primero anotar el enlace de las estadísticas a mano (un enlace por corredor, por X carreras a cubrir al día.) Un enlace de muestra sería "ESTE". Fíjate en que lo único que cambian entre caballos y mercados son los IDs. Como puede verse, los datos vienen en plano, dentro de un formato de tablas sencillo en HTML.

    - Luego nos creamos un programilla que lance n peticiones HTML por segundo a cada uno de los enlaces que hemos anotado, parsee después la información que nos interesa en los HTML, y la guarde luego en una bbdd sencillita.

    - Con todos esos datos, ya estamos listos para hacer gráfiquitas, análisis, etc.

    La única pega es que no sé si estos datos se actualizan en tiempo real o no.
    A ver si puedo comprobarlo esta tarde con alguna carrera.

    Gracias de nuevo y un saludo.

  12. Agradecimientos anogues ha(n) agradecido este post
    Total: 1 Agradecimientos
  13. #9

    Registrado
    May 2005
    Ubicación
    Barcelona
    Posts
    2,307
    Agradecimientos
    4629
     
    4593
     
    Mencionado
    5 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    Hola

    Si, lo que dices es hacer un scraping de la web.

    Mirate este prgorama (No lo he probado): PageScrape - A HTML Screen Scrape Utility for Web Pages

    Con Java se podria hechar mano de la libreria log4j para hacer algo parecido. hace tiempo que miré pero ya no recuerdo.

    Si quieres buscar programas que hagan esto busca en google por Web Scraping.

    Otra opción, sino desde linux puedes hacer un wget a esas urls que te interesen i ahi tienes la posibilidad de hacer scripts para bash que se vayan repitiendo cada n segundos, o ponerlos en el cron para programarlos cuando te interesen.

    Aqui para hacerlo con google spreadshets. Pasa que se ha de hacer manualmente pero quizás con alguna macro se podria hacer automático: Data Scraping Wikipedia with Google Spreadsheets OUseful.Info, the blog…


    Luego ya el tema del parseo ahi hace tiempo hice algo en java, pero para cualquier lenguaje de programación hay librerias que simplifican el trabajo. O sino usando DOM o algo de eso para ir navegando por los tags html. Y eso está implementado en cualquier lenguaje

    Salu2

  14. Agradecimientos Algar ha(n) agradecido este post
    Total: 1 Agradecimientos
  15. #10

    Registrado
    Apr 2009
    Posts
    2,135
    Agradecimientos
    4395
     
    2454
     
    Mencionado
    40 Post(s)
    Tagged
    0 Hilo(s)

    Re: Horse Racing Data

    Sí, me refería al scraping (no sabía que se llamaba así).
    Antes me había bajado parte de la primera carrera con wget.

    Esperaré a esta tarde y si veo que la actualización de datos es suficientemente frecuente en esos links, igual me curro este finde un programilla en Qt por aquello de la multiplataforma y de no depender de las virtudes de linux (cron - wget) para que otros usuarios que quieran beneficiarse del tema puedan hacerlo.

    Mirando por los repositorios he visto el mechanize en python, jur jur jur.
    Igual le echo un ojo a ver qué tal.

    De todas formas seguimos dependiendo del refresco de esos links.
    Esta tarde / noche más y mejor.

    ¡Gracias crack!

  16. Agradecimientos anogues ha(n) agradecido este post
    Total: 1 Agradecimientos
Página 1 de 2 12 Última

collapse posting rules Reglas del foro

  • No puedes crear nuevos hilos
  • No puedes enviar respuestas
  • No puedes subir anexos
  • No puedes editar tus mensajes
  •