Crawler web : quel langage, script ?

Bonjour,

Je souhaite mettre en place, pour un projet un crawler web.
Le but de ce projet n'est pas de concurrencer google loin de là ma plutôt de référencer les pages de plusieurs sites universitaire.

Tout d'abord, vers quel langage me tourner ?
En php, pas de multi thread donc j'ai abandonné.
Java ou python ? Quel est le mieux pour vous ??
Pourquoi pas en C si j'ai accès aux sources.

En effet, il existe des web crawler open source sur le web mais je souhaite qu'ils soient modulable pour s'adapter à mes besoins.

Je précise que mes connaissances sont limités en programmation (mise à part en Php). Et donc je cherche un mix pour permettre souplesse, efficacité et pouvoir avoir l'aide de la communauté (même si je pense faire appel à un freelancer).

Le programme devra en outre permettre :
- de crawler les pages d'un site pour x niveau de profondeur
- crawler les pages internes et externes
- récupérer les balises
- indiquer les contenu n'existant plus ou bad request pour ne pas les inclure dans l'index
et toutes les fonctions de base

Merci d'avance de vos réponses.

Pour cela, il te faudra une bibliothèque permettant de demander un document à un serveur, et une bibliothèque permettant de parser le HTML. Je pense que tous les langages son bons candidats pour ça. Néanmoins, les langages de scripting plus ou moins orientés web le feront mieux, naturellement. En gros du Perl ou du Python, etc. avec une préférence personnelle pour Python.

Salut,

Citation:

---

Envoyé par lillois59

En effet, il existe des web crawler open source sur le web mais je souhaite qu'ils soient modulable pour s'adapter à mes besoins.

Je précise que mes connaissances sont limités en programmation (mise à part en Php). Et donc je cherche un mix pour permettre souplesse, efficacité et pouvoir avoir l'aide de la communauté (même si je pense faire appel à un freelancer)

---

Il faudrait détailler plus les fonctionnalités attendues dans le temps.
Regarder ce que font déjà les frameworks existants: si la fonctionnalité existe est elle simple à mettre en œuvre sinon comment étendre l'existant?

Si vous ne programmez pas, le bon "framework"/"langage" risque d'être contraint par ceux que maitrisent les freelances que vous pourrez vous offrir.

Jetez un oeil a scrapy, c'est un framework Python. Il est probablement surdimensionné par rapport à vos besoins.
En balayant la documentation vous allez peut être pouvoir mieux cerner ce que vous voulez ou pas côté fonctionnalités/réalisation.
- W


vous devrez "configurer", pouvoir "modifier" un certain nombre d'objets plus ou moins facilement...