Parser page HTML - HtmlAgility

Version imprimable

Bonjour à tous,

j’essaye depuis des jours de récupérer les cellules d'un tableau HTML dans un array mais malheureusement sans succès.
Ceci avec le pack HTMLAGILITY.

Si quelqu'un peut me débloquer la situation, je suis preneur.

j'utilise teste ce code pour le tableau HTML ci-dessous

mon code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
    Dim wc = New WebClient()
        Dim doc = New HtmlDocument()
 
        Using stream = wc.OpenRead("MON SITE")
 
            doc.Load(stream)
        End Using
 
 
        Dim web = New HtmlWeb
 
 
        For Each tble As HtmlNode In doc.DocumentNode.SelectNodes("//table")
 
            For Each row As HtmlNode In tble.SelectNodes("./tr")
                'On parcoure les cellules
                For Each cell As HtmlNode In row.SelectNodes("./td")
 
                    Dim b = cell.InnerText
 
                    MsgBox(b)
                Next
            Next
        Next

Tableau HTML :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
<table>
    <thead class="partant">
    <tr class="participant-header">
 
 
        </td>
        <td class="column-separator optional"> </td>
        <td class="mode-b optional"> </td>
        <td class="advanced-mode-a optional"> </td>
    </tr>
    </thead>
    <tbody> <tr class="ligne-participant odd favorite"><td class="txtC"><strong>1</strong></td>
<td>
    <span class="name unit" title="voir la fiche de CLASS CONTI">
        class conti
    </span>
    <span class="unitRight paddingRight5">
        <b class=""> </b>
        <b class=""> </b>
 
    </span>
</td>
<td class="txtC">
 
<td class="txtC"><b class="SANS_OEILLERES"> </b></td>
<td class="txtC">H</td>
<td class="txtC">3</td>
<td>
    <span title="J.REVELEY">j.reveley</span>
</td>
<td class="txtC">70</td>
<td class="txtC">-</td>
<td class="txtC">-</td>
<td><span title="G.MACAIRE (S)">g.macaire (s)</span></td>
<td class="txtC">
  <span title="1h">
	  1h
  </span>
</td>
<td class="txtC rapport-probable">2,3</td>
<td class="txtC rapport-probable last">1,8</td>
<td class="column-separator optional"></td>
<td class="txtC mode-b optional">
    <div id="participant-base-1" class="participant-selector">
        <b data-type="base" class="participant-check base"> </b>
    </div>
</td>
<td class="txtC advanced-mode-a optional">
    <div id="participant-associate-1" class="participant-selector">
        <b data-type="associate" class="participant-check associate"> </b>
    </div>
</td>
</tr><tr class="ligne-participant even"><td class="txtC"><strong>2</strong></td>
<td>
    <span class="name unit" title="voir la fiche de COURVITE">
        courvite
    </span>
    <span class="unitRight paddingRight5">
        <b class=""> </b>
        <b class=""> </b>
 
    </span>
</td>
<td class="txtC">
 
</td>
<td class="txtC"><b class="SANS_OEILLERES"> </b></td>
<td class="txtC">H</td>
<td class="txtC">3</td>
<td>
    <span title="A.CHITRAY">a.chitray</span>
</td>
<td class="txtC">68</td>
<td class="txtC">-</td>
<td class="txtC">-</td>
<td><span title="G.CHEREL">g.cherel</span></td>
<td class="txtC">
  <span title="2h6p9p">
	  2h6p9p
  </span>
</td>
<td class="txtC rapport-probable">5,8</td>
<td class="txtC rapport-probable last">8,6</td>
<td class="column-separator optional"></td>
<td class="txtC mode-b optional">
    <div id="participant-base-2" class="participant-selector">
        <b data-type="base" class="participant-check base"> </b>
    </div>
</td>
<td class="txtC advanced-mode-a optional">
    <div id="participant-associate-2" class="participant-selector">
        <b data-type="associate" class="participant-check associate"> </b>
    </div>
</td>
</tr><tr class="ligne-participant odd"><td class="txtC"><strong>3</strong></td>
<td>
    <span class="name unit" title="voir la fiche de SAINT XAVIER">
        saint xavier
    </span>
    <span class="unitRight paddingRight5">
        <b class=""> </b>
        <b class=""> </b>
        A
    </span>
</td>
<td class="txtC">
 
</td>
<td class="txtC"><b class="SANS_OEILLERES"> </b></td>
<td class="txtC">H</td>
<td class="txtC">3</td>
<td>
    <span title="S.COLAS">s.colas</span>
</td>
<td class="txtC">68</td>
<td class="txtC">-</td>
<td class="txtC">-</td>
<td><span title="E.CLAYEUX (S)">e.clayeux (s)</span></td>
<td class="txtC">
  <span title="6h3h">
	  6h3h
  </span>
</td>
<td class="txtC rapport-probable">8,3</td>
<td class="txtC rapport-probable last">9,2</td>
<td class="column-separator optional"></td>
<td class="txtC mode-b optional">
    <div id="participant-base-3" class="participant-selector">
        <b data-type="base" class="participant-check base"> </b>
    </div>
</td>
<td class="txtC advanced-mode-a optional">
 
    <div id="participant-base-13" class="participant-selector">
        <b data-type="base" class="participant-check base"> </b>
    </div>
</td>
<td class="txtC advanced-mode-a optional">
    <div id="participant-associate-13" class="participant-selector">
        <b data-type="associate" class="participant-check associate"> </b>
    </div>
</td>
</tr></tbody>
 
</table>

23/11/2015, 09h38
jopopmk

Salut,

il faudrait savoir exactement où ton code se rate.
Ça plante ? Ça ne fait rien ? Ça fait un truc inattendu ?
Le SelectNodes("//table") te renvoie bien quelque chose ?
(j'ai quelques doutes sur cette ligne du fait qu'il y ait peu de chance de trouver un élément table à la racine du XML)
23/11/2015, 11h48
Kar2013

Citation:

Envoyé par jopopmk

Salut,

il faudrait savoir exactement où ton code se rate.
Ça plante ? Ça ne fait rien ? Ça fait un truc inattendu ?
Le SelectNodes("//table") te renvoie bien quelque chose ?
(j'ai quelques doutes sur cette ligne du fait qu'il y ait peu de chance de trouver un élément table à la racine du XML)

Salut jopopmk,

Merci pour ta réponse, je n'arrive pas à charger la table dès le départ celle-ci n'a pas d' ID : <table> --- </table>

Code:

or Each tble As HtmlNode In doc.DocumentNode.SelectNodes("//table")

Merci par avance.
23/11/2015, 14h25
jopopmk

Re,

déjà j'ai dit une niaiserie dans mon premier post (un an sans xpath et j'ai déjà oublié comment ça marche ...).
Pour ton souci je suis allé voir l'exemple fourni sur le codeplex de Html Agility Pack : ton code semble bon.
Es-tu sûr que ton stream s'est bien chargé ? Que ton doc est bien monté ?
23/11/2015, 21h55
Kar2013

Citation:

Envoyé par jopopmk

Re,

déjà j'ai dit une niaiserie dans mon premier post (un an sans xpath et j'ai déjà oublié comment ça marche ...).
Pour ton souci je suis allé voir l'exemple fourni sur le codeplex de Html Agility Pack : ton code semble bon.
Es-tu sûr que ton stream s'est bien chargé ? Que ton doc est bien monté ?

Je viens de vérifier le document se charger bien.

Maintenant quand je sélectionne mes balises <rr> j'ai l'erreur suivante :

Citation:

Une exception non gérée du type 'System.NullReferenceException' s'est produite dans WindowsApplication5.exe

Déterminer si l'objet est nul avant de l'appeller !
24/11/2015, 08h00
jopopmk

Ce bug est assez explicite : tu essaies d'accéder à un membre ou une méthode d'un objet qui n'est pas initialisé.
Le plus souvent ça arrive quand on récupère un objet depuis une fonction qui ne nous renvoie rien mais qu'on tente quand même d'utiliser un membre ou une méthode de cet objet. Dans ton cas je pense que tu tentes d'utiliser l'objet retourné par SelectNodes(string) alors que celle-ci ne te renvoie rien (peut-être du fait que tu recherches "<rr>" qui n'est pas une balise standard du HTML -en tout cas pas à ma connaissance- et que donc il n'existe pas dans le document).
24/11/2015, 08h24
Kar2013

Citation:

Envoyé par jopopmk

Ce bug est assez explicite : tu essaies d'accéder à un membre ou une méthode d'un objet qui n'est pas initialisé.
Le plus souvent ça arrive quand on récupère un objet depuis une fonction qui ne nous renvoie rien mais qu'on tente quand même d'utiliser un membre ou une méthode de cet objet. Dans ton cas je pense que tu tentes d'utiliser l'objet retourné par SelectNodes(string) alors que celle-ci ne te renvoie rien (peut-être du fait que tu recherches "<rr>" qui n'est pas une balise standard du HTML -en tout cas pas à ma connaissance- et que donc il n'existe pas dans le document).

Merci pour ta réponse, je cherche bien la balise tr c'est une erreur de saisie.

ça va me rendre chèvre, ce qui est dommage c'est que ma table n'a pas d'identifiant.

Du coup j'ai dl le packge NuGet HTML Agility pour tester.
Mauvaise nouvelle : ça fonctionne très bien chez moi.

Voilà le code testé (C#) :
Code:

1 2 3 4 HtmlAgilityPack.HtmlDocument hdoc = new HtmlAgilityPack.HtmlDocument(); hdoc.Load(@"C:\Work\html.html"); HtmlNodeCollection tables = hdoc.DocumentNode.SelectNodes("//table"); MessageBox.Show(tables.Count.ToString() + " table(s) found");
Mon document de test contient 3 tables et ce code confirme ce chiffre.

La seule différence avec ton code c'est que je taff sur un fichier html local. J'ai également dû préciser le namespace de HtmlDocument pour pas taper sur la classe du même nom dans le namespace System.Windows.Forms.

Salut à tous,

jopopmk merci beaucoup pour ton aide,

J'ai modifié mon code comme ci-dessous et j'avance un peu
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Dim url = "mon site" Dim web = New HtmlWeb Dim doc = web.Load(url) Try Dim tble As HtmlNode Dim row As HtmlNode tble = doc.DocumentNode.SelectSingleNode("//table") MsgBox(tble.InnerText) 'On parcoure les lignes row = doc.DocumentNode.SelectSingleNode("//tr") 'On parcoure les cellules For Each cell As HtmlNode In row.SelectNodes("//td") Dim b = cell.InnerText MsgBox(b) Next Catch ex As Exception MessageBox.Show(ex.Message) End Try
J'ai remplacé "./tr" & "./td" par "//tr" & "//td" mais je dois avouer que je ne comprends pas la différence.

Le code ne bloque plus mais je rencontre encore deux problèmes :

1 - Ce code ne fonctionne qu'en local impossible d'y accéder en ligne. (visiblement la page ne me retourne pas tout son code source)

2- Si le code ne bloque pas le résultat retourné n'est correspond pas à ma recherche en effet quand teste la table seule, les données sont "ok" pas de superflu.
Par contre quand je commence à boucler sur les cellules de la table, le système me retourne toutes les cellules de la page HTML sans se restreindre à la table.

Merci pour vos conseils,

Alors pour les expressions //tr vs ./tr il faut regarder du côté du xpath.
La première correspond à toutes les balises tr du document quelque soit leur profondeur,
la deuxième correspond au balises tr enfants de l'élément courant.

Dans ton cas c'est bien la deuxième forme que tu souhaites, mais tu ne recherches pas depuis le bon élément.
En effet il faut rechercher ./tr depuis la table trouvée, et non depuis le document total.
Tu devrais donc utiliser un code du genre :
Code:

1 2 3 4 5 6 7 8 9 10 string msg = ""; int i = 1; HtmlAgilityPack.HtmlDocument hdoc = new HtmlAgilityPack.HtmlDocument(); hdoc.Load(@"C:\Work\html.html"); HtmlNodeCollection tables = hdoc.DocumentNode.SelectNodes("//table"); foreach (HtmlNode table in tables) { HtmlNodeCollection rows = table.SelectNodes("./tr"); msg += "la table " + i++ + " contient " + rows.Count + " lignes\r\n"; } MessageBox.Show(msg);
Tu remarqueras alors que le deuxième appel à SelectNodes est fait depuis table et non hdoc.DocumentNode.

Pour le site que tu veux sniffer (que je ne citerai pas ... ami turfiste :mrgreen:) il est possible que certaines tables soient chargées en asynchrone (AJAX), du coup elles ne seront pas dans le DOM au simple appel de l'URL. Dans ces cas là il faut regarder le JS de la page en question pour voir quelle URL/WebService est appelé pour essayer de la taper en direct. Plusieurs problèmes risquent alors d'apparaitre :
- les données renvoyées sont formatée par du JS, ce n'est pas du HTML,
- les données sont directement du HTML mais il ne peut pas être considéré comme document (pas de balise html/body),
- les données sont inaccessibles d'ailleurs que depuis le site (protection XSS).

25/11/2015, 11h28
Kar2013

Citation:

Envoyé par jopopmk

Alors pour les expressions //tr vs ./tr il faut regarder du côté du xpath.

Pour le site que tu veux sniffer (que je ne citerai pas ... ami turfiste :mrgreen:) il est possible que certaines tables soient chargées en asynchrone (AJAX), du coup elles ne seront pas dans le DOM au simple appel de l'URL. Dans ces cas là il faut regarder le JS de la page en question pour voir quelle URL/WebService est appelé pour essayer de la taper en direct. Plusieurs problèmes risquent alors d'apparaitre :
- les données renvoyées sont formatée par du JS, ce n'est pas du HTML,
- les données sont directement du HTML mais il ne peut pas être considéré comme document (pas de balise html/body),
- les données sont inaccessibles d'ailleurs que depuis le site (protection XSS).

Salut jopopmk,

Merci infiniment pour ton aide, j'y vois beaucoup plus clair.
Mon application sera effectivement dédiée au Turf, je vois que tu es connaisseur !!! je souhaite en effet implémenter un module de suivi des enjeux (masses, variations...).

Si je comprends bien récuperer la totalité des codes sources html ne va pas être une mince affaire.

Depuis mon navigateur, j'arrive à lire le code HTML avec la fonction "examiner cet élement", je pensais ajouter l' api webbrowser pour essayer d'intercepter le code source mais je ne pense pas que celà fasse avancer le schmilblick !!!
25/11/2015, 11h51
jopopmk

C'est jamais simple de sniffer les sites modernes plein d'AJAX. Après tu pourrais faire tes stats depuis un autre site un peu moins lourdingue (celui dont tu parles l'est vraiment). Ou mieux, en trouver un qui file les info via un flux RSS (plus facile d'accès, plus facile à parser ...).
25/11/2015, 13h30
Kar2013

C'est malheureusement le seul qui donne les masses d'enjeux associées !!! :arf:

Salut kar2013

je fouille souvent dans les pages web et je n'utilise pas le HTMLAGILITY as-tu essayé autrement?

je te donne ici quelques façons que j'utilise le plus souvent
à partir d'un webbrowser

En gros ça ressemble à ça

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
Private Sub WebBrowser1_DocumentCompleted(sender As Object, e As WebBrowserDocumentCompletedEventArgs) Handles WebBrowser1.DocumentCompleted
      Dim TblGr As HtmlElementCollection = WebBrowser1.Document.GetElementsByTagName("table")
'Je fait le tour de tous les table
For Each tblEl As HtmlElement In TblGr
'je recherche un certain critère
If tblEl.GetAttribute("classname") = "table-players table-players-tous-les-joueurs" Then
Dim TrGr As HtmlElementCollection = tblEl.GetElementsByTagName("tr")
 For Each trEl As HtmlElement In TrGr
Etc.
next
end if
 
 
next
 
 
    End Sub

26/11/2015, 07h40
jopopmk

Quitte à changer de lib tu peux carrément changer de techno.
Perso quand il s'agit de manipuler des données depuis un site web je fais de l'injection JS via une extension Chrome.
Je sais pas si y'a une rubrique dédiée à ce sujet sur DVP mais c'est pas bien compliqué (et plutôt pas mal documenté).
26/11/2015, 07h49
Kar2013

Salut,

Mario merci pour ton aide mais la page ne me retourne pas tout le code source alors que quand j'utilise la fonctionner examiner cet élément, le code apparait bien !

Visiblement le code est généré par des script JAVA.

Jopopmk, merci également je vais regarder de ce coté là aussi !!!
26/11/2015, 09h15
jopopmk

Citation:

Envoyé par Kar2013

Mario merci pour ton aide mais la page ne me retourne pas tout le code source alors que quand j'utilise la fonctionner examiner cet élément, le code apparait bien !

Oui, mais si tu fais "afficher la source" tu ne verras qu'une page -presque- vide.

Citation:

Envoyé par Kar2013

Visiblement le code est généré par des script JAVA.

Javascript tu veux dire ? (script Java != Javascript)

edit : y'a un tuto sur les extensions Chrome ici mais il est pas à jour.
26/11/2015, 09h28
Mario Rousson

oui j'ai déjà eu ce problème

j'ai remarqué par contre qu'en mode pas à pas les infos recherchés apparaissent dans le innertext du nœud correspondant, même si on ne les vois pas dans le code source.

je te dit ça de mémoire
26/11/2015, 12h44
Kar2013

Citation:

Envoyé par jopopmk

Javascript tu veux dire ? (script Java != Javascript)

Désoolé, c'est bien de javascript dont je parlé

Citation:

Envoyé par Mario Rousson

oui j'ai déjà eu ce problème

j'ai remarqué par contre qu'en mode pas à pas les infos recherchés apparaissent dans le innertext du nœud correspondant, même si on ne les vois pas dans le code source.

Chez moi, il ne trouve même pas la table donc impossible d'avancer en pas à pas !!
26/11/2015, 14h26
jopopmk

Pour le coup du pas-à-pas ça peut fonctionner dans certains cas si :
- les chargements AJAX sont fait sur le onload du document,
- ET le point d'arrêt est positionné avant la tentative d'accès aux éléments chargés en asynchrone.
Comme ça, le temps que t'arrives au code qui va chercher tes balises, les chargements asynchrones auront été faits.
26/11/2015, 22h58
Mario Rousson

Il y a peut-être la possibilité d'exécuter le script dans ton code mais la ça dépasse mes modestes compétences.

petite question comme ça au début de ton poste tu présente un tableau html ... Est-ce que les infos recherchés y sont ? si oui tu le prend de ou ton tableau?
27/11/2015, 08h40
Kar2013

Bonjour à tous,

Sans succès même en pas à pas !

Visiblement les données sont stockées quelque part au format JSON.

Pouvez-vous me conseiller un outil assez puissant pour tracer toutes les URLs chargées pendant l'actualisation ?

L'outil réseau de"firefox me semble léger ou je me trompe?

Merci par avance.
27/11/2015, 08h52
DotNetMatt

Pour monitorer les URL, tu peux utiliser un genre de proxy comme Fiddler. A noter, tu peux le personnaliser en développant des extensions en javascript et/ou en C#/VB.NET...
27/11/2015, 11h41
Kar2013

Citation:

Envoyé par DotNetMatt

our monitorer les URL, tu peux utiliser un genre de proxy comme Fiddler. A noter, tu peux le personnaliser en développant des extensions en javascript et/ou en C#/VB.NET

Merci DotNetMatt, je vais regarder ça !

Citation:

Envoyé par Mario Rousson

Il y a peut-être la possibilité d'exécuter le script dans ton code mais la ça dépasse mes modestes compétences.

petite question comme ça au début de ton poste tu présente un tableau html ... Est-ce que les infos recherchés y sont ? si oui tu le prend de ou ton tableau?

En fait j'arrive à lire les élements une fois la page chargée quand je fais inspecter l'élement avec firefox par contre quand je fais afficher le code source de la page, le code est tronqué.
27/11/2015, 12h31
Mario Rousson

Pourrais tu nous montrer le code que tu as développé ça aiderais à comprendre

Citation:

Envoyé par Mario Rousson

Pourrais tu nous montrer le code que tu as développé ça aiderais à comprendre

J'utilise ce code mais impossible d'avancer avec le site cible !

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
        Dim web As New HtmlWeb()
        Dim html As HtmlAgilityPack.HtmlDocument = web.Load("MON SITE")
 
        Try
            'On extrait le tableau
            For Each tble As HtmlNode In html.DocumentNode.SelectNodes("//table")
                'On parcoure les lignes
                For Each row As HtmlNode In tble.SelectNodes("./tr")
                    'On parcoure les cellules
                    For Each cell As HtmlNode In row.SelectNodes("./td")
 
                        Dim b = cell.InnerText
                        MsgBox(b)  'test
                    Next
                Next
            Next
 
        Catch ex As Exception
            MessageBox.Show(ex.Message)
        End Try

27/11/2015, 19h55
Kar2013

1 pièce(s) jointe(s)

Bonne nouvelle (ou pas) en m'intéressant aux requêtes du site avec FIDDLER (un grand Merci à DotNetMatt), j'ai récupéré une URL avec les données et elles sont bien au format JSON.

Vous trouverez trouverez en PJ un exemple des données récupérées.

Le problème est maintenant comment traiter ce format en VB.NET sans trop souffrir !
28/11/2015, 17h55
DotNetMatt

Pour traiter du JSON, rien de tel que la librairie Json.Net. Tu peux sérialiser/déserializer comme du XML donc c'est très pratique, et il y a pas mal de fonctionnalités offertes.
29/11/2015, 09h49
Kar2013

Citation:

Envoyé par DotNetMatt

Pour traiter du JSON, rien de tel que la librairie Json.Net. Tu peux sérialiser/déserializer comme du XML donc c'est très pratique, et il y a pas mal de fonctionnalités offertes.

Merci DotNetMatt pour ce retour, j'ai vu pas mal de sujets dessus mais très peu commentés, je vais essayer de trouver de la doc et des exemples !