parser le contenu dynamique d'une page web

[milsabor]

Bonjour,
J'espère me situer dans la bonne catégorie, sinon n'hésitez pas à déplacer mon message !

Voici mon problème, il semble classique d'apres ce que j'ai pu voir sur le web mais je n'ai jusque la pas trouvé de réponse satisfaisante :

J'aimerais récuperer la base de données d'un site internet dont les données sont accessibles en choisissant une date dans un formulaire. En appuyant sur "OK", la requete se lance et une liste (les données qui m'interessent) s'affiche. Naivement, j'ai pensé qu'il me suffirait de parser en ligne la page web pour récuperer ces données, mais comme il s'agit d'un formulaire javascript, la liste est dynamique et n'apparait donc pas dans le code source. Ma question est donc simple : comment, dans un premier temps, puis-je récuperer, en ligne, ces données ? J'ai besoin de le faire automatiquement car j'aimerais récuperer une liste correspondant a chaque date entrée dans le formulaire, à l'aide d'une espece de boucle, ce sera la 2e étape.

Pour résumer, les problèmes auxquels je suis confronté sont les suivants :
1. Parser une page web en ligne
2. Parser du contenu dynamique (qui n'apparait pas dans le code source donc)
3. Operer une boucle sur les valeurs d'entrée d'un formulaire afin de récuperer les données correspondant a chaque valeur entrée dans le formulaire.

Je ne vous demande bien sûr pas de solution complète, mais seulement des pistes d'outils qui me permettront de me débrouiller.

Merci de votre aide

[milsabor]

Je reviens à la charge avec du nouveau, et un changement d'objectif dans ce que j'aimerais faire, qui me parait plus realisable :
J'arrive a présent a obtenir une certaine page web avec le contenu (une liste) qui m'interesse. Cette liste est actualisée toutes les 20 minutes disons, et j'aimerais récupérer la liste entière sur une journée. En gros il faut que je code quelque chose qui récupere la page web toutes les 20 minutes, et qui concatene son contenu avec le contenu récupéré précédemment
Pouvez vous me donner des pistes pour arriver a faire cela ?
merci

[Vil'Coyote]

Envoyé par milsabor

Je reviens à la charge avec du nouveau, et un changement d'objectif dans ce que j'aimerais faire, qui me parait plus realisable :
J'arrive a présent a obtenir une certaine page web avec le contenu (une liste) qui m'interesse. Cette liste est actualisée toutes les 20 minutes disons, et j'aimerais récupérer la liste entière sur une journée. En gros il faut que je code quelque chose qui récupere la page web toutes les 20 minutes, et qui concatene son contenu avec le contenu récupéré précédemment
Pouvez vous me donner des pistes pour arriver a faire cela ?
merci

utilisation d'un base de données. tu liste les données récupérer avec les données déjà présente en précisant une date dans un champs de ta table et tu a le tout par jour.

sinon un fichier texte que tu rempli à chaque fois et qui est créé tous les jours

enfin en fonction du besoin réel.

[milsabor]

ok merci pour ta réponse ! Le probleme que je me pose c'est surtout pour la périodicité de la chose ... y a t il un moyen de lancer le parsing de ma page web toutes les 20 minutes sans que mon ordinateur doive obligatoirement etre allumé ? en utilisant un site web hébergé sur un serveur par exemple ... Je sais qu'il existe des sites comme webcron mais ces derniers ne permettent qu'une periodicité d'une heure minimum ...

[Vil'Coyote]

tout dépend de ton hébergeur. l'utilisation d'un cron pourrais répondre à ta question. maintenant reste à voir pour un hébergeur te permettant d'en faire/lancer mais surtout à répétition aussi courte.

[Bovino]

J'aimerais récuperer la base de données d'un site internet

En langage clair, ça s'appelle pas du vol de données ça ?

[alinea49]

Envoyé par milsabor

ok merci pour ta réponse ! Le probleme que je me pose c'est surtout pour la périodicité de la chose ... y a t il un moyen de lancer le parsing de ma page web toutes les 20 minutes sans que mon ordinateur doive obligatoirement etre allumé ? en utilisant un site web hébergé sur un serveur par exemple ... Je sais qu'il existe des sites comme webcron mais ces derniers ne permettent qu'une periodicité d'une heure minimum ...

Webcron est passé à une périodicité d'une MINUTE ! avec des timeOut de 30 à 600 secondes !
Faut le tester de nouveau !