Extraction de texte de pages web?

Bonjour, je fais de l'arabe depuis deux ans et j'aimerais maintenant constituer un petit corpus de textes(surtout journalistiques).Mon but serais d' extraire le texte des pages web du site d' aljazeera (www.aljazeera.net) par exemple, à l'aide d'un script en Perl, malheureusement je ne trouve aucun tutoriel à ce sujet.C' est pourquoi je sollicite votre aide, si qqun dipose d'un tutoriel ou d'un script j'en serais très ravis.
D'avance merci.

Regarde sur ce site les articles sur LWP.
Pour aller plus loin, tu peux aussi regarder les articles sur WWW::Mechanize.

Bon Perl ! :)

--
Jedaï

Salut Jedai, merci pour les liens.
Problème, lorsque j'éxécute le script ci-dessous j'obtient le code source(HTML) de la page et non le texte de la page en elle même:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

#C:\bin\perl -w   use LWP::Simple; use LWP::UserAgent; use HTTP::Request; use HTTP::Response; use HTML::LinkExtor;   open(OUTPUT,"> page.txt");   my $URL = "http://www.aljazeera.net/";   print (OUTPUT $contents) if $contents = get($URL);   close (OUTPUT);

---

Une solution?

Oui bien sûr... Ca ne te paraît pas normal ? Après tout tu pourrais avoir besoin du code HTML, LWP n'en sait rien, son rôle se borne à dialoguer par le protocole HTTP.
Lis l'article 2 sur LWP dans le lien que j'ai donné, et tu devrais avoir ta réponse à la fin.

--
Jedaï

Merci beaucoup Jedai.