[PHP] Parser d'une page HTML pour récupération du texte

Version imprimable

04/07/2006, 17h17
trihanhcie

[PHP] Parser d'une page HTML pour récupération du texte
Bonjour,

Je souhaiterais à partir d'un fichier HTML, extraire tout le texte qui existe sur la page. Est-ce qu il y a des algos, des fonctions que vous me conseillez pour faire cela?

A titre d'exemeple, si j'ai :
Code:

1 2 3 4 <head> <title> mon site </title></head> <body> ok </body>
Et après, mettre dans un fichier :
mon site
ok

Je pensais essayer de détecter tous les textes entre "> < ". Est-ce une bonne idée?
04/07/2006, 17h30
trihanhcie

Il semblerait que la meilleure solution soit d'utiliser les expressions régulières avec preg_match?

Quelqu'un peut me confirmer ca? :D faut que je regarde cmt s'utilise cette fonction ;)
04/07/2006, 17h54
zevince

Sinon, tu as tidy, si l'extension est installée sur ton serveur :

http://fr2.php.net/manual/fr/function.tidy-get-body.php

Non elle ne l'est pas :?

J'ai une question sur l'utilisation des expression regulières la...
Code:

1 2 3 4 5 6 7 8 9 10 11 $filehandle=fopen('index.html','r'); while(!feof($filehandle)) { $line.=fgets($filehandle, 500); // Max 500 chars } $titre = eregi("<title>(.*)</title>",$line,$regs); echo $regs[0];
Je pensais que ca le résultat allait être le contenu du titre sans les balises mais ce n'est pas le cas.. comment on peut récupérer juste ce qu il y a entre les balises<title> et </title> avec une expression régulière?

merci ;)

Bonjour,

mmm j'ai du mal avec les expressions régulières :s
Code:

1 2 3 4 <META NAME="description" CONTENT="Publicité on line, Bases de données, commerce électronique ? Adverland : un interlocuteur unique pour monétiser votre audience"> <META NAME="keywords" CONTENT="réseau,publicité,campagne publicitaire,CPM,campagnes,annonceur,annonceurs,editeurs,éditeurs, publicitaires,rentabilisez,rentabiliser,rentabilise,publicité on line,bases de données,commerce électronique,audience,régie, online,publicite, marketing,emailing,e-mailing, wap, banniere,bannière,affiliation,reseau,regie,CB ,carte bleue,sms,sms+,wh,w-ha,audiotel,micropaiement"> <META NAME="classification" CONTENT="REGIE PUBLICITAIRE,MARKETING,COMMERCE ELECTRONIQUE,AFFILIATION">
je souhaiterais récupérer ce qu'il y a après le content, entre les guillemets
j'ai donc essayé :

Code:

eregi("<META NAME=\"description\"(.*)CONTENT=\"(.*)>(\n\r)$",$line,$metadesc);

pour description par exemple mais marche pas tres bien :oops:

Si je retire le \n\r$ je récupère plus d'une ligne :s

Je continue de regarder mais si quelqu'un peut m'aider :D

Merci

05/07/2006, 11h26
trihanhcie
J'ai plus ou moins résolu le problème des metas en supposant qu'une page est bien écrite c'est à dire que c'est de la forme
Code:

1 2 3 <Meta name = ...> <Meta Name = >
Mon problème vient maintenant du texte dans le body... Ce que je faisais pour les métas, c'est de tester en lisant le fichier avec file() mais la je ne pourrai pas dans le body...

Je suis, il me semble, obligé de garder tout ce qu il y a entre <body> et </body>

Ensuite, j'aurai bien voulu, dans un premier temps, repéré ce qui se trouve entre <td...>texte</td>

J'ai donc fait :

Code:

eregi("<td(.*)>(.*)(</td>?)",$text,$regtext);

Je voulais qu'il me récupère que la première fermeture du td... Or la, je récupère tout jusqu au dernier </td> de ma page... Je me suis trompé qq part dans l'expression je suppose :oops:

Merci!
05/07/2006, 12h47
Maxoo

Code:

preg_match_all("#<td[^>]*>(.*)</td>#Ui",$texte,$resultat);

Voila !! il vaut mieux utiliser les PCRE (donc preg_) que les ereg_
05/07/2006, 15h02
trihanhcie
Merci :D

J'ai changé mon fusil d'épaule entre temps en fait ;)

Je vais récupérer tout ce qu il y a entre les '>' et '<'
Code:

1 2 /* if(preg_match_all('|>[^<]+<|i',$text,$matches))*/
qui se trouve entre <body> et </body>
mais bon j'ai l'impression que j'ai un petit prob :d

Code:

if(preg_match_all('|<body[^>]*>[^</body>]*</body>|i',$text,$matches));
05/07/2006, 15h18
Maxoo

Code:

preg_match_all('#<body[^>]*>.*</body>#i',$text,$matches);

le ^ c est pour un seul caractere. et sinon je sais pas si c est super a utiliser dans un if.
05/07/2006, 15h38
trihanhcie

oui c'est vrai que le if pas tres utile pour le moment

Merci pour le ^

Question... Ca existe un preg_match_all insensible à la casse? Parce que je suppose que si un site mais <BODY> a la place de <body> mon script va pas apprécié :s
05/07/2006, 15h57
Maxoo

Code:

#i

ca donne insensible à la casse ... ;)

et sinon pour connaitre les autres : http://fr.php.net/manual/fr/referenc....modifiers.php

Voila !!
05/07/2006, 16h17
trihanhcie

Merci :D

Heu ... mm comment dire, petit soucis ... je récupère beaucoup trop d'espace :D.

c'est à dire que j'ai des choses comme :

mon texte texte2

il y a une fonction qui supprime les espaces en trop ? :D ou je dois l écrire moi meme :s
05/07/2006, 16h19
Maxoo

trim()
05/07/2006, 16h23
trihanhcie

Merci maître Maxoo :D

Citation:

Envoyé par Maxoo

Code:

preg_match_all('#<body[^>]*>.*</body>#i',$text,$matches);

le ^ c est pour un seul caractere. et sinon je sais pas si c est super a utiliser dans un if.

Bonjour,

Ici $text représente quoi? c'est bien le chemin du fichier non?

Faut il encore utiliser le code d'ouverture la ?
Code:

1 2 3 4 5 6 7 8 9 10 11 $filehandle=fopen('index.html','r'); while(!feof($filehandle)) { $line.=fgets($filehandle, 500); // Max 500 chars } $titre = eregi("<title>(.*)</title>",$line,$regs); echo $regs[0];
Merci pour les renseignements ;)

Bien sur il faut que tu ouvres quand meme ton fichier,
tu récuperes tout dans $line, tu passes le regexp sur $line, et apres tu vois dans $matches ou se cachent les bon résultats ...
Code:

1 2 3 4 5 6 7 8 9 10 11 12 $filehandle=fopen('index.html','r'); $line = ""; while(!feof($filehandle)) { $line.=fgets($filehandle, 500); // Max 500 chars } preg_match_all('#<body[^>]*>.*</body>#i',$line,$matches); print_r($matches);;

oui en effet ca fonctionne bien

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
//Ouverture du fichier
						$line="";	
						$filehandle=fopen($filename,'r');
 
								while(!feof($filehandle))
								{
  									$line.=fgets($filehandle,500); // Max 500 chars
 
								}
 
 
						preg_match_all('#<span[^>]*>.*</span>#i',$line,$matches);
 
							foreach ($matches as $val){
								echo $val[0]."<br/>";
								echo $val[1]."<br/>";
								echo $val[2]."<br/>";
								echo $val[3]."<br/>";
								echo $val[4]."<br/>";
							}

J'ai ajouté l'inisalisation de $line

EDIT : je n avais pas vu ton message je corrige mon initialisation

EDIT2 : très pratique le print_r on voit la position dans le tableau c'est très pratique :)

Merci :)

03/08/2006, 11h34
Maxoo

sujet résolu ? :resolu:
03/08/2006, 13h35
ikeaboy

Oui résolu merci :)

Désolè j avais oublié :?

Désolé si je réveille un peu les morts, mais ce message m'a intéressé, donc je complète, ou plutôt j'actualise :

Il n'est pas nécessaire de parser le fichier ligne à ligne, mais on peut simplement utiliser la fonction file_get_contents, par exemple :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 // Charger le fichier dans une variable // NB: penser à remettre pointeur à zéro si nécessaire $load_response = file_get_contents(CURL_RESPONSE); // Optionnel: Conversion des fins de ligne dos2unix $html_contents = preg_replace('/(\r\n|\r|\n)/s',"\n",$load_response); $html_contents = trim($html_contents); // Et voila les patterns que vous pouvez tester - à adapter selon votre cas de figure $patterns= array('#.*(foo.*=.*);.*#i', "#[\s]{0,}([\w\.]{0,}[\s]?bar.*=.*);.*#i" ); foreach ( $patterns as $pattern) { preg_match_all($pattern, $html_contents, $matches); echo "<b>PATTERN $pattern</b>"; echo '<pre>'; print_r($matches); echo '</pre>'; }
Le principe à adapter aux besoins de chacun bien sûr.

Et à noter qu'il existe maintenant de bons parsers HTML (exemple $html = new DOMDocument(); ).

Voila.

18/06/2011, 18h43
stealth35

Citation:

Envoyé par hornetbzz

Et à noter qu'il existe maintenant de bons parsers HTML (exemple $html = new DOMDocument(); ).

Voila.

DOM existait aussi en PHP 4
18/06/2011, 18h51
hornetbzz

Oui peut-être mais je n'étais pas né :lol: , et si tu regardes dans la doc ici, il semblerait que DomDocument n'existait pas... C'est peut-être une erreur dans la doc.

Mais c'est pas si grave, je retiens juste que le parsage DOM en PHP4 existait probablement, mais je retiens aussi que la POO et PHP4, ça faisait deux et que le parsage du DOM était truffé de bugs.

Donc au final, le seul message que je voulais passer : PHP 5 permet de parser relativement facilement des objets DOM (et mieux que PHP4 même si c'était possible).
18/06/2011, 18h56
stealth35

c'est pour le bon lien l'extension c'est celle la :
http://fr2.php.net/manual/fr/book.domxml.php

ou as tu vu que "que le parsage du DOM était truffé de bugs" ?

parser du HTMl avec des regex n'est qu'une grosse méconnaissance de l'API de PHP (et des autres langages puisque ce "probleme" existe aussi hors PHP)
18/06/2011, 19h10
hornetbzz

Citation:

Envoyé par stealth35

ou as tu vu que "que le parsage du DOM était truffé de bugs" ?

"bug" n'est peut-être pas le terme le mieux approprié bien que PHP4 n'en était pas exempt, également en ce qui concerne DOM. C'est justement intéressant de voir la transition PHP4/PHP5 sur ce sujet. A l'époque, c'était une des raisons - hormis l'intérêt pour la "vraie" POO - de mon passage à PHP5, justement, plutôt que de jongler avec un PHP4 "adapté".

Citation:

Envoyé par stealth35

parser du HTMl avec des regex n'est qu'une grosse méconnaissance de l'API de PHP (et des autres langages puisque ce "problème" existe aussi hors PHP)

Oui, et c'est bien pour ça que j'avais fait cette remarque :
Et à noter qu'il existe maintenant de bons parsers HTML (exemple $html = new DOMDocument(); ).