Extraction de données depuis un code HTML

Bonjour tout le monde,

Pour le boulot, je dois créer un "annuaire" de toutes les boutiques qui vendent de l'outillage dans l'état du New South Wales en Australie.

Pour ce faire, je suis parti sur yellow pages pour faire la recherche, qui me ressort 670 boutiques.

J'ai regardé un peu comment fonctionnait le code source de la page, et j'ai trouvé dans le code ou se trouvent les infos que je recherche.

Depuis deux jours j'essai de trouver comment extraires les données depuis ce code source, mais sans résultats...

En gros, sur un code qui ressemble à ça:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

data-product-version="3" data-product-id="501059128" data-product-code="YPD04-DC" data-business-name="Lachlan_Steel_Power_Tools_Plus" data-full-name="Lachlan Steel Power Tools Plus" data-result-type="O" data-heading-code="12033" data-heading-name="Tools &amp; Trade Tools" data-suburb="Cowra" data-state="NSW" <a href="mailto:sales%40lachlansteel.com.au?subject=Enquiry%2C%20sent%20from%20yellowpages.com.au&amp;body=%0A%0A%0A%0A%0A------------------------------------------%0AEnquiry%20via%20yellowpages.com.au%0Ahttps%3A%2F%2Fwww.yellowpages.com.au%2Fnsw%2Fcowra%2Flachlan-steel-power-tools-plus-15470421-listing.html%3FreferredBy%3Dwww.yellowpages.com.au%26context%3DbusinessTypeSearch" rel="nofollow" title="Email sales@lachlansteel.com.au" data-email="sales@lachlansteel.com.au" class="contact contact-main contact-email " > <a href="tel:0263424188" rel="nofollow" title="Phone" class="click-to-call contact contact-preferred contact-phone " > <span class='glyph icon-phone border border-dark-blue with-text'></span><span class="contact-text">(02) 6342 4188</span> </a>

---

Je dois donc récupérer toutes les infos en gras dans le code, et les transferer sur un fichier texte..


Quelqu'un a une idée de comment je peux m'y prendre?


Merci d'avance!


Antoine

En ne commençant pas par la.
Ce que tu t'apprête à faire est du "scrapping", il est très probable que tu n'en ai pas le droit.

essaye d'en trouver une version téléchargeable, ou xml ou json.

Si tu le fais quand même, utilise un outil adapté à la manipulateur de texte: les expressions régulières.
Et utilise donc des programmes qui font le travail: par exemple, sed et grep, deux utilitaires en ligne de commande (linux a la base).

En combinant avec une fonctionalité comme les "macros" de notepad++, d'habitude, je reformate ce genre d'informations en 5 minutes, même pour d'immenses listes.

Si par contre ton procédé doit être répétable, cette dernière possibilité n'est pas utilisable.

Par ailleurs, toutes les informations sont disponibles comme attributs spécifiques comme data-email ou data-full-name.
Un peu d'analyse xml devrait suffire.

quelques requetes xpath, probablement dans un xslt

Citation:

---

Envoyé par Antoine76

Pour ce faire, je suis parti sur yellow pages pour faire la recherche, qui me ressort 670 boutiques.
Depuis deux jours j'essai de trouver comment extraires les données depuis ce code source, mais sans résultats...

---

Bonjour
T'as essayé de voir si les yellow pages ne proposent pas par hasard un "webservice" qui te fournirait directement les infos dont tu as besoin dans un format numérique directement intégrable dans ton annuaire ?

C'est long et pénible mais tu peux faire une machine à états/ automate (<- :google:)

C'est pénible, parce qu'avec le HTML/ XML il faut chercher la balise de début '<XXX' et la balise de fin qui peut être soit '</XXX>' soit '/>' soit '>'.

Et en plus en C, il faut charger le fichier en mémoire avec des 'realloc' :mrgreen: