[DOM] Récupération du contenu d'une class

Version imprimable

Voir 40 message(s) de cette discussion en une page

Bonjour,

j'ai le code suivant qui doit me permettre de parser, chacune des 10 pages de mon site, en extrayant le contenu des div portant la class "ma_class".

or il n'affiche rien...

merci pour votre aide !!

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
 
for ($page=0; $page<10; $page++) {
 
	$url="http://monsite.com/?page=".$page;
// Ce lien est correct
 
	$doc = new DOMDocument();
	$doc->loadHTMLFile($url);
 
	$xpath = new DomXpath($doc);
	$search = $xpath->query('//div[@class="ma_class"]');
 
			for ($i=0; $i<$search->length; $i++) {
 
			$titre = $xpath->query('//div[@class="ma_class"]')->item($i)->nodeValue;
			echo $titre .";";
	}
 
}

Essaie ça pour voir:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
for ($page=0; $page<10; $page++) {
	$url = "http://monsite.com/?page={$page}";
 
	$doc = new DOMDocument;
	$doc->loadHTMLFile($url);
	$xpath = new DOMXPath($doc);
 
	$nodes = $xpath->query('//div[@class="ma_class"]');
	foreach ($nodes as $node) {
		echo $node->nodeValue;
	}
}

12/01/2012, 00h31
cyberlp

Curieux, toujours rien d'affiché.

Pourtant la variable $url est correcte et "<div class="ma_class"> existe bien dans le document HTML.

Bon allez c'est parti pour le débug bien cradingue :mouarf:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
ini_set('display_errors', 1);
error_reporting(-1);
 
header('Content-Type: text/plain');
 
for ($page=0; $page<10; $page++) {
	$url = "http://monsite.com/?page={$page}";
        var_dump($url);
 
	$doc = new DOMDocument;
	$doc->loadHTMLFile($url);
	var_dump($doc->saveHTML());
 
        $xpath = new DOMXPath($doc);
 
	$nodes = $xpath->query('//div[@class="ma_class"]');
        var_dump($nodes->length);
	foreach ($nodes as $node) {
                var_dump($node);
		echo $node->nodeValue;
	}
        var_dump('------- NEXT ---------');
}

Code:

1
2
3
4
5
6
7
string(44) 
URL
 
Warning: DOMDocument::loadHTMLFile() [function.DOMDocument-loadHTMLFile]: Unexpected end tag : div in URL, line: 57 in /home/monURL/index.php on line 44
 
Warning: DOMDocument::loadHTMLFile() [function.DOMDocument-loadHTMLFile]: error parsing attribute name in URL, line: 111 in /home/monURL/index.php on line 44
bool(false) int(0) string(22) "------- NEXT ---------"

voilà le message d'erreur

il s'agit de ces 2 lignes répétées plein de fois
(bien sûr à la place de URL et monURL ce sont de vraies URL, hein :)

13/01/2012, 10h30
Benjamin Delespierre

C'est parce que le flux HTML renvoyé par cette URL est invalide que DOMDocument refuse de le charger.

Tu peux tenter

Code:

$doc->recover = true;

et

Code:

$doc->strictErrorChecking = false;
13/01/2012, 10h48
cyberlp
Ici ?
Code:

1 2 3 4 5 $doc = new DOMDocument; $doc->loadHTMLFile($url); $doc->recover = true; $doc->strictErrorChecking = false; var_dump($doc->saveHTML());
Cela dit, il m'est déjà arrivé de parser une page HTML invalide, ça affichait bien des messages d'erreur mais le parsing fonctionnait quand même...
13/01/2012, 10h52
Benjamin Delespierre

Non juste après avoir instancié DOMDocument.
13/01/2012, 10h55
cyberlp

Malheureusement les messages persistent :/
13/01/2012, 11h09
stealth35

libxml_use_internal_errors ?
13/01/2012, 11h26
cyberlp

les erreurs disparaissent, mais je ne comprends toujours pas pourquoi le parsing ne marche pas...
13/01/2012, 11h36
Benjamin Delespierre

Corrige tes page pour qu'elles passent le validateur W3C. C'est tout ce qu'il te reste à faire.
13/01/2012, 11h41
cyberlp

Le problème c'est que ne ce sont pas mes pages...

Bon je vais creuser de mon côté, merci pour ton aide !
13/01/2012, 12h05
Djakisback
Salut,
peux-tu retenter le code de Benjamin mais en faisant plutôt :
Code:

1 2 3 $doc = new DOMDocument; $doc->loadHTMLFile($url); var_dump($doc);
si tu obtiens false c'est que le problème vient définitivement du parsing de la page et non pas de l'expression XPath qui ne retournerait rien.

Sinon pour info, la 2e requête de la 2e boucle dans ton code est inutile car l'expression //div[@class="ma_class"] est censée te retourner déjà tous les noeuds il me semble.

loadHTMLFile résout pas mal de problèmes lors de la construction de l'arbre DOM à partir de documents mal formés, ce que je veux dire par là c'est que les erreurs ne sont pas forcément critiques.
13/01/2012, 12h26
cyberlp
Sur le :
Code:

1 2 3 $doc = new DOMDocument; $doc->loadHTMLFile($url); var_dump($doc);
j'obtiens :

Code:

object(DOMDocument)#1 (0) { }
13/01/2012, 12h31
Djakisback

On dirait donc que le document est finalement construit. Si tu fais ensuite :

Code:

var_dump($doc->getElementsByTagName('div')->length);

est-ce que tu as bien un chiffre différent de 0 ? qui devrait correspondre au nombre de div total dans ta page.
13/01/2012, 12h37
cyberlp

Oui il affiche 19 div

Code:

int(19)
13/01/2012, 12h41
Djakisback

Tu peux aussi vérifier avec :

Code:

echo htmlentities($doc->saveHTML());

que cela génère bien le HTML.
Ce qui est bizarre c'est que ça retournait false quand tu as fait le premier test avec le code de Benjamin. Je ne vois aucune raison pour que var_dump($doc) retourne bien l'identifiant du DOMDocument mais que $doc->saveHTML() ne fonctionne pas.

Si echo htmlentities($doc->saveHTML()); fonctionne tu pourrais vérifier de nouveau que tu as bien des <div class="ma_class"> dedans. Au final, c'est peut-être l'expression XPath qui ne retourne rien.
13/01/2012, 12h44
cyberlp

htmlentities ne retourne rien ! :roll:

Dernière tentative :/ est-ce que tu n'aurais pas une autre erreur que l'une des 2 que tu as citées :

Citation:

Warning: DOMDocument::loadHTMLFile() [function.DOMDocument-loadHTMLFile]: Unexpected end tag : div in URL, line: 57 in /home/monURL/index.php on line 44

Warning: DOMDocument::loadHTMLFile() [function.DOMDocument-loadHTMLFile]: error parsing attribute name in URL, line: 111 in /home/monURL/index.php on line 44

car aucune des 2 ne semble critique, en tout cas sous ma version de PHP, ceci fonctionne par exemple :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 <html> <head> <title></title> </head> <body> <p> </div> <gagu <div class="ma_class">(1)<div class="ma_class">(1.1)</div></div> <div class="ma_class">(2)<div class="ma_class">(2.1)</div></div> <div class="ma_class">(3)</div> </body> </html> <?php $doc = DOMDocument::loadHTMLFile("index.php"); var_dump($doc); echo htmlentities($doc->saveHTML()); var_dump($doc->getElementsByTagName('div')->length); $xpath = new DomXpath($doc); $search = $xpath->query('//div[@class="ma_class"]'); for ($i = 0; $i < $search->length; $i++) { $class = $search->item($i)->nodeValue; echo "<br>div class : ".$class; }
Sinon peux-tu poster le lien ou le code HTML de l'une des pages qui pose problème (ou par MP si tu préfères) ?

Voir 40 message(s) de cette discussion en une page