Récupérer les résultats de plusieurs sites et les utiliser [Résolu]

rituel · 04/10/2004, 16h58

Bonjour, auriez vous des informations sur la manière dont Clubic, par exemple, récupère les résultats des revendeurs informatiques pour comparer les prix d'un composant donné sur x boutiques ?

Avez vous une idée de la manière dont est programmé un tel script ? Pouvez vous m'aiguiller là dessus ?

Merci d'avance !

Rituel

franculo_caoulene · 04/10/2004, 18h09

Salut,

Soit ils saisissent les prix dans une interface réservée, soit ils utilisent les services web.

rodolphedj · 04/10/2004, 18h09

un acces à leur BD , je ne vois que ça....

sinon , y a des solutions comme le getfile en ASP. et il faut aprés faire des scripts, rapportant les resultats. c'est possible, mais peu fiable, si les sites changent

rituel · 05/10/2004, 00h53

La saisie manuelle est à écarter, cela serait impossible pour des sites comme Kelkoo. Pour le partage de BDD je ne pense pas non plus, il y a déjà eu des procès pour des sites qui récupéraient des donnaient et les affichaient dans leurs sites (et ils étaient dans leurs droits).
Pour moi ils executent une requête qui affichent l'ensemble des prix et récupèrent les données, mais ca me semble considérable ... Et surtout je vois pas comment on peut extraire les données d'une page. Je vais me renseigner sur getfile pour voir si c'est bien ce que je cherche

Merci !

Pour les autres si vous avez une piste, pensez à moi

Rituel

fredoche · 05/10/2004, 10h14

Il y a peu de chances que ce soit une problématique pure ASP. ASP apporte peu d'outils pour traiter les contenus provenant du web et ce type d'opérations demande un traitement désynchronisé, pas live. ASP ne fonctionne qu'en mode web client/serveur et tout programme ASP doit être appelé par un browser. Si tu dois aller requérir tous les sites de ton comparatif avant d'afficher les résultats, bonjour les temps d'éxécution !

Parser des pages web est assez simple, contrairement à ce que tu penses, notamment lorsque les champs sont identifiés par des IDs. La plupart des sites de commerce ou de presse par exemple utilisent des modèles de pages et donc la structure des infos est constante, ce qui permet de repérer les paries informatives intéressantes et de systématiser leur traitement.

La plupart du temps, ces systèmes reposent sur l'échange d'informations et le partenariat. Les sites de vente peuvent mettre à disposition des listes de prix formatées à destination de ces outils de comparaison.

Et en fin de course, le résultat de ces traitements est stocké dans des SGBD adaptés au besoin du comparateur.

rituel · 05/10/2004, 13h05

Fredoche, je suis d'accord avec toi.
Je voyais juste une récupération des données journalières stockées dans une BDD en ASP, mais il est vrai que ca doit être plus rapide et plus simple à faire avec des langages non web.

Merci à toi, problème résolu

!

04/10/2004, 16h58	#1
rituel Invité de passage Inscription : septembre 2003 Messages : 8 Détails du profil Informations forums : Inscription : septembre 2003 Messages : 8 Points : 2 Points : 2	Récupérer les résultats de plusieurs sites et les utiliser Bonjour, auriez vous des informations sur la manière dont Clubic, par exemple, récupère les résultats des revendeurs informatiques pour comparer les prix d'un composant donné sur x boutiques ? Avez vous une idée de la manière dont est programmé un tel script ? Pouvez vous m'aiguiller là dessus ? Merci d'avance ! Rituel
	00

04/10/2004, 18h09	#2
franculo_caoulene Expert Confirmé Inscription : octobre 2003 Messages : 2 886 Détails du profil Informations forums : Inscription : octobre 2003 Messages : 2 886 Points : 2 559 Points : 2 559	Salut, Soit ils saisissent les prix dans une interface réservée, soit ils utilisent les services web. __________________ Penser à la recherche et au bouton
	00

04/10/2004, 18h09	#3
rodolphedj Nouveau Membre du Club Inscription : septembre 2003 Messages : 45 Détails du profil Informations forums : Inscription : septembre 2003 Messages : 45 Points : 26 Points : 26	un acces à leur BD , je ne vois que ça.... sinon , y a des solutions comme le getfile en ASP. et il faut aprés faire des scripts, rapportant les resultats. c'est possible, mais peu fiable, si les sites changent
	00

05/10/2004, 00h53	#4
rituel Invité de passage Inscription : septembre 2003 Messages : 8 Détails du profil Informations forums : Inscription : septembre 2003 Messages : 8 Points : 2 Points : 2	La saisie manuelle est à écarter, cela serait impossible pour des sites comme Kelkoo. Pour le partage de BDD je ne pense pas non plus, il y a déjà eu des procès pour des sites qui récupéraient des donnaient et les affichaient dans leurs sites (et ils étaient dans leurs droits). Pour moi ils executent une requête qui affichent l'ensemble des prix et récupèrent les données, mais ca me semble considérable ... Et surtout je vois pas comment on peut extraire les données d'une page. Je vais me renseigner sur getfile pour voir si c'est bien ce que je cherche Merci ! Pour les autres si vous avez une piste, pensez à moi Rituel
	00

05/10/2004, 10h14	#5
fredoche Membre actif Inscription : décembre 2003 Messages : 170 Détails du profil Informations forums : Inscription : décembre 2003 Messages : 170 Points : 160 Points : 160	Il y a peu de chances que ce soit une problématique pure ASP. ASP apporte peu d'outils pour traiter les contenus provenant du web et ce type d'opérations demande un traitement désynchronisé, pas live. ASP ne fonctionne qu'en mode web client/serveur et tout programme ASP doit être appelé par un browser. Si tu dois aller requérir tous les sites de ton comparatif avant d'afficher les résultats, bonjour les temps d'éxécution ! Parser des pages web est assez simple, contrairement à ce que tu penses, notamment lorsque les champs sont identifiés par des IDs. La plupart des sites de commerce ou de presse par exemple utilisent des modèles de pages et donc la structure des infos est constante, ce qui permet de repérer les paries informatives intéressantes et de systématiser leur traitement. La plupart du temps, ces systèmes reposent sur l'échange d'informations et le partenariat. Les sites de vente peuvent mettre à disposition des listes de prix formatées à destination de ces outils de comparaison. Et en fin de course, le résultat de ces traitements est stocké dans des SGBD adaptés au besoin du comparateur.
	00

05/10/2004, 13h05	#6
rituel Invité de passage Inscription : septembre 2003 Messages : 8 Détails du profil Informations forums : Inscription : septembre 2003 Messages : 8 Points : 2 Points : 2	Fredoche, je suis d'accord avec toi. Je voyais juste une récupération des données journalières stockées dans une BDD en ASP, mais il est vrai que ca doit être plus rapide et plus simple à faire avec des langages non web. Merci à toi, problème résolu !
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email