Extraire des informations d'une page web

Salut,

J'ai envie de développer un petit moteur qui soit capable de sauvegarder le contenu d'un forum. Je m'explique : j'ai eu la mauvaise idée de me créer un forum chez forumactif.com. Maintenant, j'aimerais installer mon propre PHPBB chez mon hébergeur et y reprendre mon forum mais ce n'est pas possible car forumactif ne permet pas d'exporter le contenu des forums qu'ils hébergent, pour des raisons de sécurité soi-disant.

Il me faut donc un truc pour pomper tout le contenu de mon forum et le stocker sous une forme qui me permette de l'insérer dans la base de données de mon phpbb.

Auriez-vous des suggestions ? Peut-être que ce genre d'outil existe déjà ?

Je pensais associer des templates à des formats d'URL pour enregistrer le contenu des pages et suivre les liens qui s'y trouvent.

Quel framework utiliser pour l'exploration des pages (connexion à une url, récupération de la page html etc.) et quel framework utiliser pour le parsing ?

Toutes les pistes sont les bienvenues
Merci d'avance
Lilian

Une idée ?

Existe-t-il un framework pour l'interrogation d'un serveur et la récupération des pages HTML ?

Existe-t-il un framework pour extraire des données d'une page web en se basant sur un template ?

JTidy et HTTPClient de Jakarta-Commons

Merci pour ta réponse,

HTTPClient me semble effectivement correspondre à ce que je veux pour les requêtes http.

En revanche, jtidy est un vérificateur de syntaxe html. J'ai lu qu'il possède aussi un parseur DOM. Ca pourrait donc faire l'affaire mais je préfererais qqch qui fonctionne à base de templates. Dans chaque template je définis les "champs" qui contiennent les informations utiles et la lecture du document produit un objet qui contient les données de la page correspondantes aux champs.

Si ça n'existe pas, je devrai le faire en partant de jtidy mais ça me ferait gagner du temps de réutiliser qqch d'existant.