Discussion :

[tomlev]

Bonjour,

Extraction de données de pages web à l'aide de HTML Agility Pack

Il est souvent utile de récupérer automatiquement des données à partir d'une page web, en analysant le code HTML de la page pour extraire les informations qui nous intéressent. Si on n'utilise pas les outils adéquats, écrire du code pour faire ce genre de chose peut vite devenir fastidieux... Ce tutoriel présente un outil très facile à utiliser pour extraire des données d'une page web : HTML Agility Pack

Lire l'article

N'hésitez pas à noter et commenter l'article dans cette discussion

[Reward]

Salut,

C'est excellent je ne connaissais pas du tout cette bibliothèque !

J'en comprends tout l'intérêt car pour un projet perso, j'ai été amené à faire ce genre de traitement. Et je suis tombé dans le cas numéro 1 , à partir d'un webClient et de recherches fastidieuses dans le flux string Html.

C'est beaucoup plus souple de cette façon !

[amezghal]

En php j'utilise phpQuery.
je teste le code jQuery dans la console js et je le copie tout simplement.

[mermich]

Salut,

Très bon article, mais je pense qu'il aurait été utile de mentionner fizzler qui est une surcouche de AgilityPAck et permet d'utiliser des sélecteurs css au lieu de xsl: http://code.google.com/p/fizzler/

[tomlev]

Salut,

Très bon article, mais je pense qu'il aurait été utile de mentionner fizzler qui est une surcouche de AgilityPAck et permet d'utiliser des sélecteurs css au lieu de xsl: http://code.google.com/p/fizzler/

Salut,

Je ne l'ai pas mentionné tout simplement parce que je ne connaissais pas... effectivement ça a l'air sympa ! Par contre c'est encore en beta...

[poincare]

Le framework client Ada Web server (AWS) permet le web scraping très facilement :
exemple http://rosettacode.org/wiki/Web_scraping#Ada

[tomlev]

Le framework client Ada Web server (AWS) permet le web scraping très facilement :
exemple http://rosettacode.org/wiki/Web_scraping#Ada

Je n'ai pas l'impression que ça ait grand chose à voir... dans le code que tu indiques, AWS sert juste à récupérer le contenu de la page, pas à analyser le contenu. La lecture du HTML se fait ligne par ligne, sans tenir compte de la structure du DOM.

[umiak]

Bonjour,

Merci pour ce tutoriel, sympas et efficace. L'article stipule à la fin qu'il est possible de modifier des pages html, a tout hasard serait-il également possible de ce s'identifier sur un site web via cette librairie ?

[tomlev]

a tout hasard serait-il également possible de ce s'identifier sur un site web via cette librairie ?

Oui c'est possible, mais ça dépend du type d'authentification utilisé sur le site. Si c'est de l'authentification "Basic", il y a une surcharge de la méthode HtmlWeb.Load qui permet d'indiquer le user/password.
Si c'est basé sur un formulaire et des cookies, ce sera peut-être un peu plus complexe. Il faudra d'abord poster le user/password pour s'identifier avec HttpWebRequest et récupérer les cookies, puis renvoyer les cookies à chaque requête. A priori ce n'est pas faisable directement avec la classe HtmlWeb, mais rien n'empêche de faire les requêtes avec HttpWebRequest et de parser le résultat avec Html Agility Pack. Il suffit d'utiliser la méthode Load qui prend un Stream en paramètre dans la classe HtmlDocument.

[noftal]

Bonjour,

Je suis débutant sur Visual Studio 2010 Express.

Au 1.2 vous écrivez : "Dans l'explorateur de solution faites un clic droit sur le nœud Références de votre projet, et choisissez Ajouter une référence"


Comment fait-on pour faire apparaître le noeud Référence sur un projet dans l'explorateur de solutions ?

Le lien download de HAP du site http://htmlagilitypack.codeplex.com/ ne fonctionne pas chez moi.

Peut-on installer HAP sans Nuget dans la mesure où Nuget n'est pas disponible pour la version Express de Visual Studio :

http://www.developpez.net/forums/d11...t/#post7431310

[tomlev]

Comment fait-on pour faire apparaître le noeud Référence sur un projet dans l'explorateur de solutions ?

Normalement il est toujours là... Sinon, clic droit sur le projet lui-même, "Ajouter une référence"

Le lien download de HAP du site http://htmlagilitypack.codeplex.com/ ne fonctionne pas chez moi.

Bizarre, je viens de tester et ça fonctionne bien pour moi.
Je te le mets en PJ du message au cas où tu n'arrives pas à le télécharger

Peut-on installer HAP sans Nuget dans la mesure où Nuget n'est pas disponible pour la version Express de Visual Studio

Oui, en l'installant manuellement comme j'ai expliqué

[noftal]

Merci pour le fichier.
Le Zip contient plusieurs répertoires. Dans quel répertoire faut-il choisr le fichier DLL sachant qu'il y en a un dans chaque répertoire ?

Nota : je suis sous Win7 64 bits

[tomlev]

Merci pour le fichier.
Le Zip contient plusieurs répertoires. Dans quel répertoire faut-il choisr le fichier DLL sachant qu'il y en a un dans chaque répertoire ?

Nota : je suis sous Win7 64 bits

Ca dépend du type d'application. Si c'est une appli Windows Forms, WPF ou ASP.NET, choisis "Net40".

[noftal]

Là, dans l'immédiat c'est pour un simple code dans un module.
Mais plus généralement, où trouve-t-on la correspondance entre l'application et le répertoire où piocher le DLL ?

[tomlev]

Là, dans l'immédiat c'est pour un simple code dans un module.
Mais plus généralement, où trouve-t-on la correspondance entre l'application et le répertoire où piocher le DLL ?

Quand c'est NetXX, c'est le .NET framework "complet", avec XX qui représente la version
SL = Silverlight
WP = Windows Phone

Regarde la plateforme cible dans les propriétés de ton projet, mais si tu ne sais pas, c'est probablement .NET 4

[noftal]

Dans les propriétés du projet, onglet Compiler et Déboguer, il y a un champ "Plateforme" qui est sur "(x86) active" et c'est le seul choix possible.
C'est bien de ce champ là que tu parles ?
Et si oui, que dois-je en déduire ?

[tomlev]

Dans les propriétés du projet, onglet Compiler et Déboguer, il y a un champ "Plateforme" qui est sur "(x86) active" et c'est le seul choix possible.
C'est bien de ce champ là que tu parles ?
Et si oui, que dois-je en déduire ?

Non, en fait je me suis planté, je voulais dire "framework cible", dans l'onglet Application.

[noftal]

Je vais vérifier cela. En attendant, j'ai tenté avec N40 et ça semble marcher pour mon exemple présent.
Du coup, j'ai quelques questions découlant du tuto lui-même.
- quel est le type des objets Elements et SelectNodes ?
- Quand on a récupéré des objets dans avec un objet pointant vers plusieurs éléments (comme avec Elements ou SelectNodes) et que l'on veut récupérer seulement un des éléments, quelle est la meilleure méthode pour y aller (si cet élément n'a pas d'élément distinctif comme un attribut permettant de pointer directement dessus).
- Y a-t-il un moyen de récupérer un fichier d'aide qui permettrait d'avoir le détail de la syntaxe propre à HAP en tapant F1 comme on le fait sur VB.NET habituellement ?

Certaines questions peuvent te paraître naïves, mais je suis débutant sur VB.NET et je suis encore plus ignare sur C#, langage que tu utilises dans tes exemples. Donc j'ai du mal à traduire en VB.NET ton dernier exemple, d'où les 2 premières questions.

[tomlev]

- quel est le type des objets Elements et SelectNodes ?

Voilà les signatures des méthodes en question, traduites en VB :

Code VB.NET :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Public Elements(ByVal name As String) As IEnumerable(Of HtmlNode)
Public SelectNodes(ByVal xpath As String) As HtmlNodeCollection

Les deux sont des collections de HtmlNode, la différence c'est que IEnumerable(Of HtmlNode) peut ne pas encore être matérialisée au moment où tu la récupères. C'est une sorte de "lazy loading" : la collection est générée au fur et à mesure que tu l'énumères.

- Quand on a récupéré des objets dans avec un objet pointant vers plusieurs éléments (comme avec Elements ou SelectNodes) et que l'on veut récupérer seulement un des éléments, quelle est la meilleure méthode pour y aller (si cet élément n'a pas d'élément distinctif comme un attribut permettant de pointer directement dessus).

Les méthodes de Linq permettent de faire ça facilement :

Code VB.NET :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Dim elems = node.Elements("test")
Dim first = elems.First() ' Premier élément (attention, plante si elems est vide)
Dim first2 = elems.FirstOrDefault() ' Premier élément, ou Nothing si elems est vide
Dim e2 = elems.ElementAt(2) ' Element à l'index 2
Dim last = elems.Last() ' Dernier élement

- Y a-t-il un moyen de récupérer un fichier d'aide qui permettrait d'avoir le détail de la syntaxe propre à HAP en tapant F1 comme on le fait sur VB.NET habituellement ?

Pas à ma connaissance. Il n'y a même pas de documentation officielle sur le site...
Tu peux utiliser l'intellisense de Visual Studio, il affiche la liste des méthodes disponibles avec une description succincte.

Certaines questions peuvent te paraître naïves, mais je suis débutant sur VB.NET et je suis encore plus ignare sur C#, langage que tu utilises dans tes exemples. Donc j'ai du mal à traduire en VB.NET ton dernier exemple, d'où les 2 premières questions.

Tu peux t'aider du convertisseur disponible ici :
http://www.developerfusion.com/tools.../csharp-to-vb/
Il y a quelques bugs, mais ça marche à peu près

[noftal]

Merci, grâce à ces indications, j'arrive enfin à faire à peu près tout.