[bot][tracker] Bot trackant le contenu de page web

Bonjour,

Je m'intéresse pas mal aux paris sportifs ces derniers temps, je cherche à alimenter une base de données à partir des différents paris et les cotes de ces paris proposés par les bookmakers.

Je suis développeur J2E et Javascript, l'informatique de gestion ne me pose pas de problème, l'écriture d'algo non plus.

J'ai juste du mal à m'orienter sur les choix techniques pour réaliser mon petit tracker perso.

Ce que je cherche à faire, c'est que mon tracker balaye tous les matchs live, et pour chacun stocke l'évolution des choix de paris et leur cote.

Avec selenium je pourrais facilement automatiser la connexion, l'accès à la partie live, mais après, les pages apparaissent et disparaissent en fonction des événements en cours. Sur chaque page c'est pareil, les choix de paris et les cotes, apparaissent, disparaissent, évoluent, en fonction de ce qu'il se passe. Ce qui me fait écarter un tel outil car je ne peux anticiper tout ça.

Je pensais plutôt à pouvoir parcourir toutes ces pages, et parser leur contenu pour y chercher des types de paris clé et leur cote. Mais je ne vois pas comment détecter les pages à aller visiter, et gérer un système de listener pour voir comment le contenu évolue.

Si vous avez des idées pour m'orienter dans ma solution, je suis preneur.

Merci d'avance