User Tag List
Discusión: Horse Racing Data
-
09/05/09, 07:22 PM #1InstituciónModerador
- Registrado
- Apr 2009
- Posts
- 2,135
- Agradecimientos
-
- 4395
- 2454
- Mencionado
- 40 Post(s)
- Tagged
- 0 Hilo(s)
Horse Racing Data
Hola a todos,
inicio este hilo para preguntaros si alguno ha dedicado 100 puntos de betfair a conseguir el histórico de carreras de caballos del siguiente enlace:
Betfair Data Home Page
Me gustaría saber si alguien tiene los últimos, al menos alguno de ellos, o los podría conseguir para analizar la evolución de las cuotas para diferentes tipos de carreras en todo su ciclo de vida. Las anotaciones a mano son totalmente impracticables en un mercado tan volatil y evidentemente yo no dispongo de puntos suficientes como para conseguir una temporada completa.
Muchas gracias a todos de antemano.
Algar
-
09/05/09, 09:59 PM #2Institución
- Registrado
- May 2005
- Ubicación
- Barcelona
- Posts
- 2,307
- Agradecimientos
-
- 4629
- 4593
- Mencionado
- 5 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
-
10/05/09, 11:28 AM #3InstituciónModerador
- Registrado
- Apr 2009
- Posts
- 2,135
- Agradecimientos
-
- 4395
- 2454
- Mencionado
- 40 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
Gracias anogues, tienes un privado.
¿Quiere esto decir que con 100 puntos en la cuenta puedes descargarte cualquier historial cuantas veces quieras?
El mensaje en particular es:
Note: In order to download historical data you must have a minimum of 100 betfair points.
Muchas gracias de nuevo.
Algar
-
10/05/09, 01:07 PM #4Institución
- Registrado
- May 2005
- Ubicación
- Barcelona
- Posts
- 2,307
- Agradecimientos
-
- 4629
- 4593
- Mencionado
- 5 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
Pues si, con que tengas 100 puntos puedes descargartelos todos. A mi no me restó ningun punto de la cuenta.
Ahora necesitamos un programa para ver eso. Me baje el Swarm ese de la web de fracsoft pero no me acepta ningun fichero, los tendrías que comprar via su web cosa que no voy a hacer.
A ver si encontramos algo para visualizar esto, porque leerlo desde el excel o el access es un pelin engorroso.
Debido a que puede interesar a mas de uno, los iré colgando aquí:
Horse Racing Data: 27 April 2009 - 03 May 2009
Download bfinf_horse_090427to090503_090506122504.zip (Mirrors (7): RapidShare, MegaUpload, NetLoadIn, FileFactory, 2Shared, UploadBox, and LoadTo)
Alternativo: RapidShare: Easy Filehosting
Horse Racing Data: 20 April 2009 - 26 April 2009
Download bfinf_horse_090420to090426_090429120021.zip (Mirrors (7): RapidShare, MegaUpload, NetLoadIn, FileFactory, LoadTo, 2Shared, and UploadBox)
Other Data: 27 April 2009 - 03 May 2009Editado por anogues, 10/05/09 a las 01:41 PM
-
Algar ha(n) agradecido este postTotal: 1 Agradecimientos
-
10/05/09, 01:13 PM #5Institución
- Registrado
- May 2005
- Ubicación
- Barcelona
- Posts
- 2,307
- Agradecimientos
-
- 4629
- 4593
- Mencionado
- 5 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
Subido. Luego sigo con los otros
-
11/05/09, 09:27 AM #6InstituciónModerador
- Registrado
- Apr 2009
- Posts
- 2,135
- Agradecimientos
-
- 4395
- 2454
- Mencionado
- 40 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
¡Gracias anogues!
¡Eres un crack!
¿Alguien tiene los que incluyen detailed time-stamp?
Ejemplo:
Si la carrera de caballos dura 3 minutos, lo que quiero tener es:
- Todas las cuotas de partida (SP)
- Valor de todas las cuotas tras 0,1 segundos.
- Valor de todas las cuotas tras 0,2 segundos.
- Valor de todas las cuotas tras 0,3 segundos.
- ...
- Valor de todas las cuotas tras 179,9 segundos.
- Valor de todas las cuotas al finalizar los 3 minutos de carrera (tras 180 segundos)
Es decir, los que necesitais estos datos con un detalle muy fino de la vida de una cuota durante toda la carrera, ¿cómo los conseguís?
- Los he conseguido vía betfair o vía terceros licenciados por betfair, como Fracsoft u otros. (Ver link Betfair Data Home Page )
- Me he currado mi propio programilla y la anotación es automática, pero necesito acceso a la API de pago porque el API normal de betfair no me permite tomar todas las cuotas con precisión máxima de décimas de segundo.
- Me he currado mi propio programilla y no necesito el API de pago de betfair, porque con el API libre tengo más que de sobra para anotar todo lo que necesito.
- Las tomo a mano
- Soy un crack y no necesito anotar nada
- Por mi forma de apostar a los caballos no necesito este tipo de información. (Pre-análisis de los caballos por ejemplo)
NOTA: Aunque la mayoría ya lo sabrá lo anoto aquí por si puede servirle a alguien: los csv son texto plano y pueden ser abiertos con cualquier editor de texto normal. Recomiendo aquellos que no cargan todo el fichero de una vez como Emacs, Vim, etc. porque la navegación por todo el fichero es super rápida. (No he probado Microsoft Excel pero la versión que tengo de la hoja de cálculo de OpenOffice tiene un límite de 65536 filas por hoja y no importa el resto del fichero)
¡Gracias de nuevo a todos!
-
11/05/09, 12:21 PM #7Institución
- Registrado
- May 2005
- Ubicación
- Barcelona
- Posts
- 2,307
- Agradecimientos
-
- 4629
- 4593
- Mencionado
- 5 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
Yo con el excel y el access si que los puedo ver enteros el problema eske haria falta un programa que leyera el CSY y patra cada caballo sacara un gráfico aproximado de la oscilación de la cuota.
Aún asi como ya dice bien en la web no se puede sacar un gráfico completo porque para cada cuota namas tienes la primera vez k se igualo pasta a espe precio y la ultima no todas las veces pero bueno algo aproximado si que se podria sacar.
Mirarlo a ojo es una tortura. Si no hay o se fabrica un programa de poco sirve esto (al menos para mi).
Sobre lo que dices de capturar las cuota scon la api gratis imposible. Son un montonazo de llamadas. Ha de ser o con la Api de pago, o escapando un html de la web de betfair, cosa que tal como está montada es una odisea, asi que o pagas o me parece que lo tienes crudo.
Salu2
-
Algar ha(n) agradecido este postTotal: 1 Agradecimientos
-
12/05/09, 10:42 AM #8InstituciónModerador
- Registrado
- Apr 2009
- Posts
- 2,135
- Agradecimientos
-
- 4395
- 2454
- Mencionado
- 40 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
Gracias anogues,
efectivamente tienes toda la razón del mundo y en la documentación del API gratuita de betfair se puede comprobar que sus limitaciones son, para este propósito, prohibitivas.
Sin embargo he estado dándole vueltas a la idea de parsear el HTML tal y como te lo envía betfair. En la página principal es difícil y además usan llamadas embebidas al API que son las encargadas de gestionar el mercado. Por eso no vemos nada en el código del frame:
Sourcecode frame apuestas
Código:var WidgetLayout = { controllers: { marketViewController: { autoRefreshInterval: "30000", type: "Controller.MarketViewController", services: { "initMarket": {action: "/betting/api/json/getBootstrapData.do"}, "loadMarket": {action: "/betting/api/json/getFullMarketData.do"}, "refreshMarket": {action: "/betting/api/json/getPartialMarketData.do"}, "addMarket": {action: "/betting/api/json/addToMyMarkets.do", type: "POST"}, "removeMarket": {action: "/betting/api/json/removeFromMyMarkets.do", type: "POST"} } } } }
- Primero anotar el enlace de las estadísticas a mano (un enlace por corredor, por X carreras a cubrir al día.) Un enlace de muestra sería "ESTE". Fíjate en que lo único que cambian entre caballos y mercados son los IDs. Como puede verse, los datos vienen en plano, dentro de un formato de tablas sencillo en HTML.
- Luego nos creamos un programilla que lance n peticiones HTML por segundo a cada uno de los enlaces que hemos anotado, parsee después la información que nos interesa en los HTML, y la guarde luego en una bbdd sencillita.
- Con todos esos datos, ya estamos listos para hacer gráfiquitas, análisis, etc.
La única pega es que no sé si estos datos se actualizan en tiempo real o no.
A ver si puedo comprobarlo esta tarde con alguna carrera.
Gracias de nuevo y un saludo.
-
anogues ha(n) agradecido este postTotal: 1 Agradecimientos
-
12/05/09, 11:03 AM #9Institución
- Registrado
- May 2005
- Ubicación
- Barcelona
- Posts
- 2,307
- Agradecimientos
-
- 4629
- 4593
- Mencionado
- 5 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
Hola
Si, lo que dices es hacer un scraping de la web.
Mirate este prgorama (No lo he probado): PageScrape - A HTML Screen Scrape Utility for Web Pages
Con Java se podria hechar mano de la libreria log4j para hacer algo parecido. hace tiempo que miré pero ya no recuerdo.
Si quieres buscar programas que hagan esto busca en google por Web Scraping.
Otra opción, sino desde linux puedes hacer un wget a esas urls que te interesen i ahi tienes la posibilidad de hacer scripts para bash que se vayan repitiendo cada n segundos, o ponerlos en el cron para programarlos cuando te interesen.
Aqui para hacerlo con google spreadshets. Pasa que se ha de hacer manualmente pero quizás con alguna macro se podria hacer automático: Data Scraping Wikipedia with Google Spreadsheets OUseful.Info, the blog…
Luego ya el tema del parseo ahi hace tiempo hice algo en java, pero para cualquier lenguaje de programación hay librerias que simplifican el trabajo. O sino usando DOM o algo de eso para ir navegando por los tags html. Y eso está implementado en cualquier lenguaje
Salu2
-
Algar ha(n) agradecido este postTotal: 1 Agradecimientos
-
12/05/09, 12:45 PM #10InstituciónModerador
- Registrado
- Apr 2009
- Posts
- 2,135
- Agradecimientos
-
- 4395
- 2454
- Mencionado
- 40 Post(s)
- Tagged
- 0 Hilo(s)
Re: Horse Racing Data
Sí, me refería al scraping (no sabía que se llamaba así).
Antes me había bajado parte de la primera carrera con wget.
Esperaré a esta tarde y si veo que la actualización de datos es suficientemente frecuente en esos links, igual me curro este finde un programilla en Qt por aquello de la multiplataforma y de no depender de las virtudes de linux (cron - wget) para que otros usuarios que quieran beneficiarse del tema puedan hacerlo.
Mirando por los repositorios he visto el mechanize en python, jur jur jur.
Igual le echo un ojo a ver qué tal.
De todas formas seguimos dependiendo del refresco de esos links.
Esta tarde / noche más y mejor.
¡Gracias crack!
-
anogues ha(n) agradecido este postTotal: 1 Agradecimientos
:crack:
Previa La Liga EA Sport J36...