Créer un robot qui récupère des documents sur le web

Bonjour à tous,

Tout d'abord j'espère poster au bon endroit.

Alors, je souhaiterai un petit robot qui puisse aller sur des sites donnés(dont les adresses seront enregistrées dans ma base de données). Ce robot lira les codes sources HTML afin de récupérer des documents en format pdf ou bien bien les liens vers ces documents la et les enregistrer dans la table qui leur est dédiés. Parfois, pour accéder à ces documents je devrai remplir un petit formulaire afin de renseigner la date ou le pays par exemple. Ce qui me pose un peu problème.

Ce projet est en cours d'élaboration mais c'est vrai je suis un peu perdu et j'aimerai avoir des pistes pour le mener à bien.

Toutes vos idées sont les bienvenues. Merci.

salut; la plus part des robots web obéit a certaines règles écrites sur un fichier text (robots.txt) et enregistrés dans votre site. ils ont des rôles différents , mais celui de récupéré des documents PDF !!!! je ne connais pas sauf erreur de ma part.

C'est tout à fait possible.

Pour la partie concernant les formulaire à remplir, il suffit de regarder la cible du formulaire (l'attribut action) et que ton robot envoi une requête à cette adresse.

L'envoi de cette requête peut simplement se faire via un file_get_contents associé à un stream.

Par exemple (non testé) :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

$postdata = http_build_query(array('pays'=>'fr','date'=>'2012-11-13'));   $opts = array('http' => array( 'method' => 'POST', 'header' => 'Content-type: application/x-www-form-urlencoded', 'content' => $postdata ) );   $context = stream_context_create($opts); $file = 'myfile.pdf'; file_put_contents($file,file_get_contents('http://siteavecpdf.com/actionformulaire.php', false, $context));

---

Ou alors pour des choses plus poussée tu peux également utiliser CURL

un exemple pour télécharger un fichier avec curl

Re ; et si le robots trouve le fichier robots.txt dans la racine du site est ce que il va lire le formulaire ?

Citation:

---

Envoyé par redoran

Re ; et si le robots trouve le fichier robots.txt dans la racine du site est ce que il va lire le formulaire ?

---

robots.txt n'a aucune incidence , c'est au développeur de faire en sorte que son robots l'interprète. A part les moteurs de recherche personne ne respecte ce fichier :)

merci grunk , donc en aucun cas ne sera une barrière de sécurité.
j'aimerai bien avoir une idée sur l’implémentation de ce type robots