Discussion :

[rosa92]

Bonjour, Je travaille sur un corpus html que j'ai téléchargé pour analyser, et je voudrais rassembler l'ensemble en format .txt et le nettoyer. je voudrais faire cette tâche avec avec Perl, sauf que je ne sais pas comment procéder. Auriez-vous des idées ?
Je vous remercie d'avance pour votre aide.
R

[Lolo78]

Bien sûr que j'ai des idées, mais la question est beaucoup trop vague. Explique ce que tu veux faire exactement. Retirer toutes les balises HTML? Certaines seulement? Autre chose?

[vidici]

oui, c'est vague. Et aussi on ne connait pas la qualité du html de base.
personnellement, si je devais le faire, je transformerait d'abord le html en xml, puis avec xslt et le module Libxml je le retransformerait en ce qu'on veut. Il y aurait plus de travail à la base, mais ensuite j'y gagnerais. Cela dit je suis tout ouïe pour les solutions plus simples.

[djibril]

Bonjour,

Toute la problématique est dans ta propre réponse

oui, c'est vague. Et aussi on ne connait pas la qualité du html de base.

Transformer le HTML en n'importe quoi revient à parser le HTML. Sauf que parser du HTML sans en connaitre la structure, la qualité revient à parser du XML sans connaitre le balisage et la structure, donc impossible. Le second problème majeur du HTML, c'est qu'il peut être fonctionnel (sur le navigateur) alors que le code est non propre, non strict niveau balisage, donc à parser, c'est indigeste. Donc avant de faire quoique ce soit, ta première démarche est de voir à quoi ressemble ton HTML et de prier que ce soit peut-être du xhtml .
Sinon, pour son parsing, tu as HTML::Parser sur le CPAN.

Pour l'analyse de fichier XML, tu as XML::Twig, XML::LbXML.

Voilà !

[Philou67430]

J'ai récemment découvert, en marge de WWW::Mechanize::Query, le module Mojo::DOM. L'interface permet d'accéder à du code HTML à l'aide des sélecteurs CSS, à la façon de jQuery.

[rosa92]

Bonsoir à tous,

merci infiniment pour vos réponses. Je débute en programmation, mais je vais essayer de tester vos propositions. J'ai un corpus de fichier html de 3 ans de suite dans un même répértoire, et la conversion en text doit être faite automatiquement pour l'ensemble du dossier qui contient les fichier html.
Je ferai suivre le script.

Merci encore.
A+