Créer un analyseur de site

Version imprimable

13/05/2011, 20h46
Wicelo

Créer un analyseur de site

Bonjour,

N'ayant pas trouvé de section générale je post ici à défaut d'ailleurs.

En fait j'ai des bases en programmation mais seulement des bases. J'aimerais faire un bot analyseur de pages. C'est à dire un peu à la manière des bot de moteurs de recherches qui parcourent les pages en utilisant les liens et qui finissent par référencer les sites entiers. Moi ce que j'aimerais faire est similaire un bon qui par exemple parcourerait toutes les pages de developpez.com à la recherche du mot "Salutations" et qui renverraient l'adresse correspondante.

Je voulais savoir si des gens ayant un certain recule sur la programmation pouvaient m'aiguiller :

-Quel language serait le mieux adapté pour faire ca, php, perl voire c ou c++ ?
-Par ou commencer, j'ai les bases de programmation mais je ne sais pas du tout comment faire pour dire à un programme de télécharger le code html d'une page. Si déjà je savais faire ca je pense que je pourrais me débrouiller.

Voilà merci !
13/05/2011, 21h17
Benjamin Delespierre

Hello

Ce que tu cherches a faire existe déjà et ça s'appelle un spider. En voici un par exemple écrit en php: http://www.sphider.eu/

Pour ce qui est de récupérer des flux HTML tu peux regarder du coté de DOMDocument.
13/05/2011, 22h42
Séb.

Citation:

Envoyé par Wicelo

-Quel language serait le mieux adapté pour faire ca, php, perl voire c ou c++ ?

PHP ou Perl sont appropriés car possèdent pas mal de fonctions de manipulations de chaînes ou d'analyse de pages/HTML/XML comme Tidy, DOM, etc. En C tu risques d'en baver pas mal.

Citation:

-Par ou commencer, j'ai les bases de programmation mais je ne sais pas du tout comment faire pour dire à un programme de télécharger le code html d'une page.

Code:

$page = file_get_contents('h**p://www.unsite.com/unepage.html') ;