Framework web crawler et html data extractor

Bonjour,

Je cherche à collecter et extraire des données depuis certains sites web afin de les mettre en base de données.
Je cherche un framework ou un soft open source en C# qui permette de faire cela sans avoir à ré-inventer la roue...

Dans mes besoins :
- Crawler sur un site qui affiche des résultats de recherche avec une pagination.
- Parcours de toutes les pages résultant de cette recherche
- Pouvoir extraire (découper) chaque résultat de recherche en "sous information"
- Le résultat de recherche peux contenir un lien. Crawler sur ce lien afin d'en extraire des informations de cette page pointée.
- Pouvoir avoir un "template" de page html attendue afin de pouvoir "matcher" avec les champs à extraire.

Connaissez vous un framework attaquable en C# qui me permette cela ?
Ou un bon exemple C# adaptable ?

Merci d'avance

Cordialement
Sybaris

Il y a un peu de boulot pour réaliser tout cela ;)

Comme base de départ, regarde du coté de Html Agility Pack.
Tu devrais y trouver tout le nécessaire 8-)