Discussion :

[kodokan]

Bonjour tout le monde

J'ai fait des recherches ici et sur google et je n'ai pas trop trouvé ce que je cherchais . Je vous explique ce que je voudrais faire : j'aimerais developper un crawler en php . Est-ce possible ? Je sais que je peux le faire en JAVA mais je n'utiliserais cette option qu'en dernier recours (N'y connaissant pas grand chose )Auriez-vous un tuto à me proposer pour ce crawler en php ? merci

Pour ceux qui seraient intéréssé, je vous donne le lien vers ll'excellent programme de fildz : http://fildz.dyndns.org/Sites/Fildz/viewProject.php?p=4

Merci pour vos réponses

[Taum]

Salut,

Pour un crawler, les principales opérations à effectuer sont :
- Récuperer une page web via HTTP
- Analyser son contenu (entre autre trouver des liens hypertexte dedans)
- Interfacer avec une base de données

Donc je dirais que c'est tout à fait fesable en PHP. Qu'est-ce qui te pose problème exactement ?

Evidement ton script ne tournera surement pas derrière un serveur HTTP, mais plutot via une interface en ligne de commande (CLI). Si c'est là que tu as un souci, cherche sur google avec "ligne de commande" ou "CLI" en mots clés et tu devrais trouver ce que tu cherches.

[kodokan]

Salut Taum ,

Merci de ta réponse .Là où je coince en fait c'est au moment de récupérer le lien .
Je pense que je devrais faire un truc du style :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
//on récupere $page grace à un fopen()
 
$page = "code html de la page";
     if(ereg("<a href=",$page))
     {
     // la je coince : quelle fonction utiliser ???
     }
else
{
etc ...
}

Sinon pourquoi mon script ne pourrait - il pas marché sous http ?

[kodokan]

Bon j'ai trouvé ça : http://g-rossolini.developpez.com/tu...ge=page_1#LI-C

ainsi que ce topic : http://www.developpez.net/forums/sho...hlight=crawler

je vais regarder ça de plus prés