Web Scraping - navigation a travers l'HTML

Version imprimable

1 pièce(s) jointe(s)

Bonjour le Forum,

J'espère que vous allez bien ?!

Je viens vers vous parce que je me casse la tête sur la navigation à travers le code HTML et BeautifulSoup.

Je cherche à récupérer des données sur un site internet (date de publication et date de cloture des candidatures), sauf que les deux sont dans le même sous dossier "footer" sous le même nom "dd" et avec la même classe "datetime".

Pièce jointe 556696

Je vous met mon code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 from datetime import date import bs4 from urllib.request import urlopen as uReq from bs4 import BeautifulSoup as soup import os.path from datetime import date my_url='https://reliefweb.int/jobs?advanced-search=%28TY263.TY264%29_%28E261.E260%29_%28CC6864.CC20966.CC6867%29' # Opening a connection, grabbing the page uClient = uReq(my_url) # offloading the content into a variable page_html = uClient.read() # Closing uClient.close() # html parsing page_soup = soup(page_html,"html.parser") # Grab each product Jobs = page_soup.findAll("article",{"class":"job"}) for job in Jobs: try: country = job.header.p.a.text except AttributeError: country = "none" description = job.header.h4.text organisation = job.footer.dl.dd.ul.li.text posted = job.footer.dl.time['datetime'] closing = job.footer.dl.time['datetime'] link = job.header.h4.a['href']
J'ai essayé la méthode Jobs[0].find_all("dd",{"date":"data-last"}) mais même si je me rapproche du résultat, je n'arrive pas à sélectionner la date exacte, et je ne suis pas sur que cette méthode soit viable si je change de page, puisque l'on fait référence à la liste de la page screenée (Je débute en Python).

J'ai essayé de suivre le chemin proposé par le Xpath d'internet mais cela ne donne rien non plus, je sèche dans ce cas la :calim2:

Auriez-vous une piste ou un tuto qui expliquerait clairement comment faire en cas de doublon du nom dans un même répertoire (il y a énormement d'exemple sur internet mais je n'en ai trouvé aucun avec doublon).

Merci d'avance pour votre aide,

Bien cordialement,
Thallhos

15/04/2020, 19h50
Beginner.

Salut,

Citation:

Envoyé par Thallhos

...sauf que les deux sont dans le même sous dossier "footer" sous le même nom "dd" et avec la même classe "datetime".

"datetime" n'est pas une classe...

La première balise <dd> a deux classes : "date" et "posted" et la deuxième à une seule classe "date"...

Citation:

Envoyé par Thallhos

mais même si je me rapproche du résultat, je n'arrive pas à sélectionner la date exacte

Que veux-tu exactement est-ce le datetime : "2020-04-15T15:52:45+00:00" ou bien le texte : "15 Apr 2020" ?
16/04/2020, 08h37
Thallhos

Citation:

Envoyé par Beginner.

Salut,

"datetime" n'est pas une classe...

La première balise <dd> a deux classes : "date" et "posted" et la deuxième à une seule classe "date"...

Que veux-tu exactement est-ce le datetime : "2020-04-15T15:52:45+00:00" ou bien le texte : "15 Apr 2020" ?

Hello Beginner,

Merci de ta réponse,

Pour être plus clair :

1. En fait j'aimerais cibler le date time de la classe 'date posted' et de la classe 'date', puis de le convertir en date.

Quand j'écris

Code:

job.footer.dl.time['datetime']

ca ne me cible j'ai l'impression que la première balise <dd> et donc 'date posted' et non 'date' (donc ca fonctionne pour la première mais pas la deuxième).

J'ai essayé quelque chose comme ça

Code:

job.footer.dl.dd['posted'].time['datetime']

mais ca ne donne rien non plus.

2. J'aimerais comprendre comment naviguer dans un HTML avec des balises similaires pour aller cibler les infos précisement, si tu connais un bon tuto sur ce sujet je suis preneur, ou bien si tu as la patience de m'expliquer :oops::mrgreen:

Un grand merci d'avance pour ton aide.

Salut,

Citation:

Envoyé par Thallhos

Quand j'écris

Code:

job.footer.dl.time['datetime']

ca ne me cible j'ai l'impression que la première balise <dd> et donc 'date posted' et non 'date' (donc ca fonctionne pour la première mais pas la deuxième).

Oui c'est normal avec cette notation il cherche, parmi les descendants de la balise job.footer.dl, la première balise time donc job.footer.dl.time revoie toujours la même balise même si tu l'utilises plusieurs fois...

Citation:

Envoyé par Thallhos

2. J'aimerais comprendre comment naviguer dans un HTML avec des balises similaires pour aller cibler les infos précisement,

Deux balises peuvent avoir plusieurs points communs mais elles ne sont jamais identiques (ne serait-ce à cause du fait qu'elles ont une position différente dans le DOM), il y a donc forcément moyen de les différencier, à nous de trouver lequel, il peut y avoir plusieurs possibilités... Tu peux voir ça comme un jeu...

Voyons quelques possibilités pour ton exemple :

1- On voit qu'il y a deux balises time dans la balise job or on peut récupérer ces deux balises dans une liste comme ceci : lst = job.findAll("time")...

lst[0] contient la première balise et lst[1] la deuxième.

Du coup tu peux récupérer les deux dates :
Code:

1 2 posted = lst[0]['datetime'] closing = lst[1]['datetime']
2- On voit que les deux balises qui nous intéressent ont un attribut "datetime", on peut donc se servir de ce critère pour récupérer les deux balises : lst = job.findAll(attrs={"datetime":True})...

Le reste pareil qu'en 1...

---> Une remarque là on n'a pas besoin d'être plus précis mais si on voulait l'être on pourrait combiner le critères 1 (balise time) et le critère 2 (attribut "datetime").

3- On voit qu'il y a trois balises dd dans la balise job, la première nous permettra de récupérer l'organisation comme tu le fais dans ton code et les deux autres qui suivent contiennent les deux balises time : on peut récupérer ces trois balises dans une liste comme ceci : lst = job.find_all('dd')...

Du coup tu peux récupérer l'organisation et les deux dates :
Code:

1 2 3 4 5 organisation = lst[0].ul.li.text posted = lst[1].time['datetime'] closing = lst[2].time['datetime'] print(organisation, posted, closing, sep=" | ")
J'ai testé ce petit bout de code et j'ai obtenu ça :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Internews | 2020-04-16T16:00:52+00:00 | 2020-05-15T00:00:00+00:00 Chemonics | 2020-04-16T15:42:48+00:00 | 2020-04-23T00:00:00+00:00 UNICEF | 2020-04-16T15:33:00+00:00 | 2020-05-03T23:55:00+00:00 UNFPA | 2020-04-16T15:06:42+00:00 | 2020-05-08T00:00:00+00:00 Chemonics | 2020-04-16T14:56:55+00:00 | 2020-04-23T00:00:00+00:00 OAF | 2020-04-16T13:54:22+00:00 | 2020-05-16T00:00:00+00:00 NCBA CLUSA | 2020-04-16T13:07:37+00:00 | 2020-05-01T00:00:00+00:00 DRC | 2020-04-16T12:44:24+00:00 | 2020-05-06T00:00:00+00:00 UNICEF | 2020-04-16T12:33:00+00:00 | 2020-04-29T20:55:00+00:00 UNICEF | 2020-04-16T12:33:00+00:00 | 2020-04-30T19:25:00+00:00 IOM | 2020-04-16T12:32:48+00:00 | 2020-04-30T00:00:00+00:00 URI | 2020-04-16T12:02:45+00:00 | 2020-05-15T00:00:00+00:00 URI | 2020-04-16T11:54:50+00:00 | 2020-05-15T00:00:00+00:00 INTERSOS | 2020-04-16T11:22:38+00:00 | 2020-04-30T00:00:00+00:00 FHI 360 | 2020-04-16T11:09:32+00:00 | 2020-05-16T00:00:00+00:00 Plan | 2020-04-16T10:35:27+00:00 | 2020-05-03T00:00:00+00:00 CRS | 2020-04-16T10:17:07+00:00 | 2020-05-15T00:00:00+00:00 BBC Media Action | 2020-04-16T10:14:25+00:00 | 2020-05-03T00:00:00+00:00 Mercy Corps | 2020-04-16T10:13:06+00:00 | 2020-05-16T00:00:00+00:00 AECF | 2020-04-16T10:08:26+00:00 | 2020-04-28T00:00:00+00:00
Citation:

Envoyé par Thallhos

si tu connais un bon tuto sur ce sujet je suis preneur, ou bien si tu as la patience de m'expliquer

Je ne sais pas si il y a un bon tuto spécifiquement sur ça, c'est un sujet (la navigation DOM) plus général que BeautifulSoup ou selenium... Pour moi ces derniers reprennent ce qu'on voit en CSS/HTML/JS... Mais c'est vrai que j'ai vu que BeautifulSoup offre quand même des fonctionnalités assez puissantes...

Citation:

Envoyé par Thallhos

... ou bien si tu as la patience de m'expliquer

Ben je t'ai donné trois façons de faire que j’espère être claires, essaye et dis-nous si cela fonctionne chez toi...
Tu pourrais t'entrainer en cherchant et en testant d'autres façons (pour naviguer il y a les parents, les descendants, les frères...)...

17/04/2020, 08h51
Thallhos
Salut Beginner,

Un grand merci pour ta réponse et tes explications très claires, superbe ta solution ca marche impec ! En fait de mon côté comme de toute façon je ne suis pas sur le format date de datetime soit exploitable, je suis parti sur un :
Code:

1 2 posted = job.find_all("dd",{"class":"date"})[0].text closing = job.find_all("dd",{"class":"date"})[1].text
qui ressemble exactement à ta technique mais on ciblant directement le texte, et plus tard dans ma base de données, je remplacerais les données texte et date, via une loop et une fonction si.

Je vais creuser la navigation DOM, il y a beaucoup à faire sur ce sujet.

Encore merci pour ton aide, :ccool:
Très bonne journée et à bientôt sur les forums
Thallhos