Discussion :

[anihat]

Bonjour,
j'aimerais enlever les balises html d'une page et récupérer du texte simple. Est ce que quelqu'un connaît une bibliothèque toute faite ou comment il faut faire???
Merci

[Fabllot]

Salut,

Je ne sais pas vraiment si une bibliotheque existe, mais ça ne parait pas bien compliqué à réaliser...
Il suffit de lire un fichier html (comme un fichier texte) et recopier dans un second fichier (texte) seulement les caractères qui sont hors des balises.

En gros :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
Pour tout caractère c 
     si c = '<' alors recherché le prochain caractere '>' 
       (sans copier les caractères intermèdiaire dans le second fichier)
     sinon copier c dans le second fichier

[anihat]

Merci pour ta réponse. J'y avais pensé aussi mais mon problème c'est que si la page html contient un < ou un > sans que ca soit une balise (pck tout le monde ne sait pas qu'il faut remplacer ce genre de chose par un code), je suis mal pour appliquer cette technique.

[Gruik]

Nan l'HTML ne definit pas ce qu'il faut faire si un < ou un > n'introduit pas l'ouverture/fermeture d'une balise, c'est juste que les navigateurs le gerent par laxisme ou histoire de se dire "moi au moins je sais lire le code html le plus crade du monde"

[souviron34]

@anihat :

pas forcément..

Primo tu regardes si effectivement il y a un > suivant un <.
Ensuite, 2 possibilités :

• si il n'y en a pas, c'est un vrai caractère <.
• si il y en a : il n'y a que peu de possibilités de mots-clés, puisque c'est pour ça que HTML a été créé, c'est d'avoir peu de mots. Donc tu peux regarder d'abord si il y a un signe "=" entre les 2, ou si le caractère suivant est un "/", et enfin passer à travers les mots-clés : LIST, BODY, FONT, IMG, etc..

[anihat]

Merci pour vos réponses mais pour l'instant le problème n'est pas résolu. L'algorithme n'est pas du tout optimisé car une boucle pour chercher le prochain < ou > prend 99% du temps CPU donc je ne peux plus rien faire à côté. Et je tiens à signaler que je ne compte pas enlever les balises sur une dixaine de pages mais sur des milliers, voire des millions de pages.
Si quelqu'un a une idée sur la librairie à utiliser ce serait sympa.
Merci d'avance

[HurtMarley]

Pourquoi ne pas utiliser des expressions régulières. Tu cherches tout ce qui correspond à <quelquechose> et tu le vire. Je ne suis pas expert en C mais en java ça revient à virer les trucs de la forme <.*?>. Tu a un cours par la. Et c'est bien plus rapide qu'une analyse char par char faite à la cochon.

[Emmanuel Delahaye]

L'algorithme n'est pas du tout optimisé car une boucle pour chercher le prochain < ou > prend 99% du temps CPU donc je ne peux plus rien faire à côté. Et je tiens à signaler que je ne compte pas enlever les balises sur une dixaine de pages mais sur des milliers, voire des millions de pages.
Si quelqu'un a une idée sur la librairie à utiliser ce serait sympa.

Si tu veux rendre du CPU, tu mets un

WIN32 : Sleep(1);
UNX : usleep(1);

de temps en temps (par exemple, tous les 1000, 10000, 100000 caractères, à optimiser...) dans la boucle et c'est tout... C'est pas un problème de bibliothèque (qui risque de ne pas faire ça et de bloquer le CPU tout autant...)

Mais si tu traites des fichiers, tu n'as pas besoin de ça, car pendant les I/O, le processus est suspendu...

Tu peux montrer le code et les conditions d'exécution ?

[souviron34]

Merci pour vos réponses mais pour l'instant le problème n'est pas résolu. L'algorithme n'est pas du tout optimisé car une boucle pour chercher le prochain < ou > prend 99% du temps CPU donc je ne peux plus rien faire à côté. Et je tiens à signaler que je ne compte pas enlever les balises sur une dixaine de pages mais sur des milliers, voire des millions de pages.
Si quelqu'un a une idée sur la librairie à utiliser ce serait sympa.
Merci d'avance

je te signale quand même qu'il ya des fonctions standard qui cherchent...

strchr

[Emmanuel Delahaye]

Merci pour ta réponse. J'y avais pensé aussi mais mon problème c'est que si la page html contient un < ou un > sans que ca soit une balise (pck tout le monde ne sait pas qu'il faut remplacer ce genre de chose par un code), je suis mal pour appliquer cette technique.

C'est un vrai problème, mais il n'y a pas d'autre solution. Tu n'es pas responsable du mauvais codage de la page html.

Tu peux cependant la passer au vérificateur avant :

http://validator.w3.org/

et la corriger à la main, mais c'est du boulot...

[Emmanuel Delahaye]

j'aimerais enlever les balises html d'une page et récupérer du texte simple. Est ce que quelqu'un connaît une bibliothèque toute faite ou comment il faut faire???

Ca existe peut être.

Si tu veux le faire à la main, l'algorithme pour retirer les balises html est simple, sachant qu'elle commence par < et se termine par >. Mais ca ne veut pas dire que le texte sera lisible...

Il risque notamment d'y avoir des lignes très longues qui représentent chacune un paragraphe (et encore, c'est même pas sûr, tout pourait exister sur une seule ligne...)...

Dans un traitement de texte, c'est supportable, mais dans un éditeur, ça va être horrible à moins d'activer "l'auto wrap"...

Il y a donc peut être un traitement un peu plus subtil à faire pour extraire des données textes lisibles d'un fichier html...

Je dis ça, je dis rien...