Discussion :

[Guilo]

Bonjour,

Je souhaiterais parser une page web pour récupérer des données dessus. Or, je crois qu'il n'y a pas de xml dans le code de cette page. Avez vous une méthode ou une librarie à me conseiller ? Faut-il convertir le HTML en xml puis parser ou bien parser directement le HTML ?

Il est à noter que les informations qui m'interessent sont toutes dans des tableaux.

Quelqu'un a t-il déja utilisé ça ? : C++ HTML parser for QT, sachant que Qt sera déja présent dans mon projet pour la partie IHM.

Quid de Tidy ? J'arrive pas à savoir si ça permet de faire uniquement de la conversion/vérification ou si les données parsées sont exploitables autrement.

J'ai également cru comprendre que l'on pouvait parser à l'aide de gecko, le poteur de firefox. Pour ne pas alourdir l'application inutilement je me suis penché du coté de wekbit, intégré à qt. Est-il limité à l'affichage ou bien permet-il de récuperer les tableaux dans des variables par exemple ?

Merci

[screetch]

ca pourrait etre plus simple de lire le texte et de garder seulement ce qui est entre <table></table>
une forme tres simple de parser et qui a l'avantage de resister au code HTML mal formé

[Guilo]

Oui mais comment faire ? A l'aide d'expressions régulières ou avec une librairie spécialisée ? En effet il ya plein de balises supplémentaires entre les <table></table>

[screetch]

qu'est ce que tu appelles plein ? a l'interieur tu dois trouver des <tr> et des <td> a peu de choses pres.
Ca depend de ce que tu souhaites extraire comme contenu. Et comment tu comptes le reformatter

[Guilo]

Exemple de code :

<TR BGCOLOR="#EEEEF1">
<TD WIDTH="70" rowspan=10 VALIGN="MIDDLE"><A class="bld" HREF="pos-4.8E.php">4.8&deg;E</a></TD>
<TD rowspan=10 WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE">&nbsp</TD>
<TD rowspan=10 WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE">&nbsp</TD>
<TD rowspan=10 WIDTH="30" ALIGN="CENTER" VALIGN="MIDDLE"><a href="news4.8E.php"><img src="/news.gif" border=0></a></td>
<TD rowspan=10 WIDTH="20"><a href="dl.php?pos=4.8E&fkhz=0"><img src="/disquette.gif" width="19" height="14" border=0></a></TD>
<TD rowspan=10 WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE"><a class="bld" href="pos-4.8E.php">697</a></TD>
<TD rowspan=10 WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE"><a class="bld" href="pos-4.8E.php">0</a></TD>
<TD rowspan=10 WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE"><a class="bld" href="pos-4.8E-fta.php">184</a></TD>
<TD rowspan=10 WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE"><a class="bld" href="tv-4.8E.php">537</a></TD>
<TD rowspan=10 WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE"><a class="bld" href="radio-4.8E.php">86</a></TD>
<TD rowspan=10 WIDTH="40" ALIGN="CENTER" VALIGN="MIDDLE"><a class="bld" href="data-4.8E.php">74</a></TD>
<TD WIDTH=120 bgcolor="#E6DFD1">Sirius 4</TD>
<TD WIDTH="30" bgcolor="#E6DFD1" VALIGN="MIDDLE">0.05&deg;</TD>
<TD WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE" bgcolor="#E6DFD1"><A class="bld" HREF="sat-sirius4.php">697</A></TD>
<TD WIDTH="50" ALIGN="CENTER" VALIGN="MIDDLE" bgcolor="#E6DFD1"><A class="bld" HREF="sat-sirius4-fta.php">184</A></TD>
<TD WIDTH="110" BGCOLOR="#FF5555" ALIGN="CENTER" VALIGN="MIDDLE">2009-11-22 14:21</TD></tr></table> <TABLE BORDER=0 ALIGN="CENTER" CELLPADDING=0 CELLSPACING=1 BGCOLOR="#000000" class="f">

Je compte garder les informations textuelles et non leur mise en forme. Elle vont etre entrées dans une base sql.

Merci

[screetch]

si tu es sur de ce formattage alors ca doit pouvoir se faire sans une lib tres compliquée.
tu as certaines garanties dont tu sembles pouvoir te servir.
l'idée serat de trouver le <table> qui t'interesse (je ne sais pas, mais ca pourrait etre simplement tous les <table> de la page?)
puis de supprimer tout jusqu'au prochain <tr> (nouvelle ligne)
puis de tout sauter jusqu'au prochain <td> (nouvelle colone)
et la degarder le contenu jusqu'au prochain </td>

[Guilo]

Ok, je vois. Je vais regarder du coté des Qregexp (mon programme utilise déja Qt)

[yan]

Si tu va utiliser Qt,
tu devrais regarder ceci :
http://qt.developpez.com/doc/4.6-snapshot/qwebelement/

C'est une nouvelle fonctionnalité prévue pour la 4.6 qui devrais sortir bientôt. Cela permet de parcourir le DOM de la page html.

[Guilo]

Le DOM n'est il pas restreint au XML ?

[yan]

Le DOM n'est il pas restreint au XML ?

Si je me trompe pas dans les définition, Le DOM c'est l'arbre de données. Le xml est une représentation et le html une autre. Le html est très proche du xml mais cela en est pas.

Le lien que je t'ai données est une nouvelle fonctionnalité de Qt qui donne un accès au DOM de la page affiché. C'est une interface inspiré du jquery, il me semble. Il te permet normalement de le parcourir et de le modifier. Mais je n'ai pas encore testé.
Regarde les exemple, voir si cela correspond bien à ton besoin :
http://qt.developpez.com/doc/4.6-sna...amples-webkit/