Problème pour récupération du contenu d'une class

[cyberlp]

Bonjour,

j'ai le code suivant qui doit me permettre de parser, chacune des 10 pages de mon site, en extrayant le contenu des div portant la class "ma_class".

or il n'affiche rien...

merci pour votre aide !!

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
 
for ($page=0; $page<10; $page++) {
 
	$url="http://monsite.com/?page=".$page;
// Ce lien est correct
 
	$doc = new DOMDocument();
	$doc->loadHTMLFile($url);
 
	$xpath = new DomXpath($doc);
	$search = $xpath->query('//div[@class="ma_class"]');
 
			for ($i=0; $i<$search->length; $i++) {
 
			$titre = $xpath->query('//div[@class="ma_class"]')->item($i)->nodeValue;
			echo $titre .";";
	}
 
}

[Benjamin Delespierre]

Essaie ça pour voir:

Code :

1
2
3
4
5
6
7
8
9
10
11
12
for ($page=0; $page<10; $page++) {
	$url = "http://monsite.com/?page={$page}";
 
	$doc = new DOMDocument;
	$doc->loadHTMLFile($url);
	$xpath = new DOMXPath($doc);
 
	$nodes = $xpath->query('//div[@class="ma_class"]');
	foreach ($nodes as $node) {
		echo $node->nodeValue;
	}
}

[cyberlp]

Curieux, toujours rien d'affiché.

Pourtant la variable $url est correcte et "<div class="ma_class"> existe bien dans le document HTML.

[Benjamin Delespierre]

Bon allez c'est parti pour le débug bien cradingue

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
ini_set('display_errors', 1);
error_reporting(-1);
 
header('Content-Type: text/plain');
 
for ($page=0; $page<10; $page++) {
	$url = "http://monsite.com/?page={$page}";
        var_dump($url);
 
	$doc = new DOMDocument;
	$doc->loadHTMLFile($url);
	var_dump($doc->saveHTML());
 
        $xpath = new DOMXPath($doc);
 
	$nodes = $xpath->query('//div[@class="ma_class"]');
        var_dump($nodes->length);
	foreach ($nodes as $node) {
                var_dump($node);
		echo $node->nodeValue;
	}
        var_dump('------- NEXT ---------');
}

[cyberlp]

Code :

1
2
3
4
5
6
7
string(44) 
URL
 
Warning: DOMDocument::loadHTMLFile() [function.DOMDocument-loadHTMLFile]: Unexpected end tag : div in URL, line: 57 in /home/monURL/index.php on line 44
 
Warning: DOMDocument::loadHTMLFile() [function.DOMDocument-loadHTMLFile]: error parsing attribute name in URL, line: 111 in /home/monURL/index.php on line 44
bool(false) int(0) string(22) "------- NEXT ---------"

voilà le message d'erreur

il s'agit de ces 2 lignes répétées plein de fois
(bien sûr à la place de URL et monURL ce sont de vraies URL, hein

[Benjamin Delespierre]

C'est parce que le flux HTML renvoyé par cette URL est invalide que DOMDocument refuse de le charger.

Tu peux tenter

Code :

$doc->recover = true;

et

Code :

$doc->strictErrorChecking = false;

[cyberlp]

Ici ?

Code :

1
2
3
4
5
$doc = new DOMDocument;
	$doc->loadHTMLFile($url);
	$doc->recover = true;
	$doc->strictErrorChecking = false;
	var_dump($doc->saveHTML());

Cela dit, il m'est déjà arrivé de parser une page HTML invalide, ça affichait bien des messages d'erreur mais le parsing fonctionnait quand même...

[Benjamin Delespierre]

Non juste après avoir instancié DOMDocument.

[cyberlp]

Malheureusement les messages persistent :/

[stealth35]

libxml_use_internal_errors ?

[cyberlp]

les erreurs disparaissent, mais je ne comprends toujours pas pourquoi le parsing ne marche pas...

[Benjamin Delespierre]

Corrige tes page pour qu'elles passent le validateur W3C. C'est tout ce qu'il te reste à faire.

[cyberlp]

Le problème c'est que ne ce sont pas mes pages...

Bon je vais creuser de mon côté, merci pour ton aide !

[Djakisback]

Salut,
peux-tu retenter le code de Benjamin mais en faisant plutôt :

Code :

1
2
3
$doc = new DOMDocument;
$doc->loadHTMLFile($url);
var_dump($doc);

si tu obtiens false c'est que le problème vient définitivement du parsing de la page et non pas de l'expression XPath qui ne retournerait rien.

Sinon pour info, la 2e requête de la 2e boucle dans ton code est inutile car l'expression //div[@class="ma_class"] est censée te retourner déjà tous les noeuds il me semble.

loadHTMLFile résout pas mal de problèmes lors de la construction de l'arbre DOM à partir de documents mal formés, ce que je veux dire par là c'est que les erreurs ne sont pas forcément critiques.

[cyberlp]

Sur le :

Code :

1
2
3
	$doc = new DOMDocument;
	$doc->loadHTMLFile($url);
	var_dump($doc);

j'obtiens :

Code :

object(DOMDocument)#1 (0) { }

[Djakisback]

On dirait donc que le document est finalement construit. Si tu fais ensuite :

Code :

var_dump($doc->getElementsByTagName('div')->length);

est-ce que tu as bien un chiffre différent de 0 ? qui devrait correspondre au nombre de div total dans ta page.

[cyberlp]

Oui il affiche 19 div

Code :

int(19)

[Djakisback]

Tu peux aussi vérifier avec :

Code :

echo htmlentities($doc->saveHTML());

que cela génère bien le HTML.
Ce qui est bizarre c'est que ça retournait false quand tu as fait le premier test avec le code de Benjamin. Je ne vois aucune raison pour que var_dump($doc) retourne bien l'identifiant du DOMDocument mais que $doc->saveHTML() ne fonctionne pas.

Si echo htmlentities($doc->saveHTML()); fonctionne tu pourrais vérifier de nouveau que tu as bien des <div class="ma_class"> dedans. Au final, c'est peut-être l'expression XPath qui ne retourne rien.

[cyberlp]

htmlentities ne retourne rien !

[Djakisback]

Dernière tentative :/ est-ce que tu n'aurais pas une autre erreur que l'une des 2 que tu as citées :

Warning: DOMDocument::loadHTMLFile() [function.DOMDocument-loadHTMLFile]: Unexpected end tag : div in URL, line: 57 in /home/monURL/index.php on line 44

Warning: DOMDocument::loadHTMLFile() [function.DOMDocument-loadHTMLFile]: error parsing attribute name in URL, line: 111 in /home/monURL/index.php on line 44

car aucune des 2 ne semble critique, en tout cas sous ma version de PHP, ceci fonctionne par exemple :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<html>
<head>
<title></title>
</head>
<body>
    <p>
    </div>
<gagu
    <div class="ma_class">(1)<div class="ma_class">(1.1)</div></div>
<div class="ma_class">(2)<div class="ma_class">(2.1)</div></div>
<div class="ma_class">(3)</div>
</body>
</html>
<?php
$doc = DOMDocument::loadHTMLFile("index.php");
var_dump($doc);
echo htmlentities($doc->saveHTML());
 
var_dump($doc->getElementsByTagName('div')->length);
 
$xpath = new DomXpath($doc);
$search = $xpath->query('//div[@class="ma_class"]');
 
for ($i = 0; $i < $search->length; $i++) {
    $class = $search->item($i)->nodeValue;
    echo "<br>div class : ".$class;
}

Sinon peux-tu poster le lien ou le code HTML de l'une des pages qui pose problème (ou par MP si tu préfères) ?