Comment faire un crawler/bot

**bobymaw** · 02/01/2013, 08h30

Bonjour
Dans le cadre de mon travail je dois, plusieurs fois par jour, aller vérifier/mettre à jour le même type d'information sur des sites où l'entreprise communique.
J'aimerai intégrer dans site web un module permettant de le faire automatiquement.

Le bot devrai sans m'afficer d'information sauf erreur :
- aller sur une dizaine de sites (tous en html)
- sur certains sites se loguer (le login dépend du compte utiliser sur notre site web)
- consulter les informations
- sur certains sites mettre éventuellement à jour des informations

Puis afficher un résumé des informations dans une page de l'application web (sous forme de tableau à priori).

Qu'elles la logique à suivre?
Je ne suis pas sur de bien comprendre par ou commencer…
avec .ajax puis je remplire les formulaires de login de n'importe quel site html utiliser des potes et get pour arriver sur la bonne page à fouiller?
N'importe qu'elle page html peut être transformé et parcouru en JSON?

Avez vous des conseils ou remarques?

**Bovino** · 02/01/2013, 08h53

A moins de mettre en place un système d'autorisations de requêtes AJAX cross domain (CORS), tu ne pourras pas faire ça en JavaScript.
De toute façon, cette approche me semble à priori assez maladroite. Tu ferais mieux de gérer ça au niveau serveur.

**Golgotha** · 02/01/2013, 11h14

Oui,

Une approche plus professionnel serait que les différents serveurs mettent à disposition des web service, ainssi vous convenez dans un premier temps de ce que vous allez avoir besoin avec les différents acteurs, au final tu n’aura plus qu'a faire appelle tous les jours à ces web service avec un petit batch, c'est plus propre.

**bobymaw** · 02/01/2013, 17h56

Je n'ai aucun contrôle sur ce que ces serveurs qui sont hors de notre entreprise.

N'est pas possible éventuellement via une iframe. De charger des pages web extérieur et de les manipuler comme on manipule sa propre page avec jquery?