Discussion :

[Kazvert]

Bonjour,

J'essaye de récupérer l'intitulé des offres d'emploi de la page 1

Pour m'initier au web scraping, j'ai suivi: https://www.dataquest.io/blog/web-sc...-beautifulsoup

Dans le code suivant, je demande à chercher dans les div toutes les class nommé "row flex-center" . J'essaye aussi "offre ng-scope" qui est dans l'intitulé parent. En PJ l'imprim écran du moment ou j'inspecte la page web.

On retrouve bien row flex-center à chaque nouvelle offre.

Pourtant je ne retrouve pas une liste de 20 (car 20 offres sur la page).

Ou est mon erreur ? (Après l'idée est de parcourir chaque élément et de faire du find ou find_all pour isoler postes et nom d'entreprise)
Si possible, pouvez vous m'indiquer la class à utiliser si ce n'est pas la bonne ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
from requests import get
from bs4 import BeautifulSoup
 
url = 'XXXX'
response = get(url)
html_soup = BeautifulSoup(response.text, 'html.parser')
 
postes = html_soup.find_all('div', class_="row flex-center")

Merci

Cordialement

Kaz

[Kazvert]

J'ai creusé la questions encore :

en faisant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

html_soup.find_all('div', class_='row flex-center')

Code HTML :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
<a bo-href="ro.goToDetailsOffre(offre,$index)" target="_self">
 <span bo-text="offre.intitule">{{offre.intitule}}</span>
 </a>

En examinant la page web :



Pourquoi je ne retrouve pas l'offre telle qu'elle est écrite ?

Sur Indeed et sur IMB, on retrouve bien le nom des offres et des films après avoir importé le tout.

[wiztricks]

Salut,

Pourquoi je ne retrouve pas l'offre telle qu'elle est écrite ?

Parce qu'elle n'y est pas: prenez response.text, sauvegardez le dans un fichier puis ouvrez le avec un éditeur de texte ou un navigateur.
En fait, ce que vous cherchez sera chargé par du Javascript qui n'est pas exécuté via un simple .get mais par le navigateur Web.

- W

[Kazvert]

Bonjour,

Merci pour le retour, je vais utiliser Selenium !

Bonne soirée

Kaz