Extraction web BeautifulSoup

Version imprimable

Bonjour,

Je débute en programmation, et j'essaye d'appliquer des exercices de scrapping.

Je dois extraire les prix de ce site :
https://www.annexx.com/box-garde-meuble/paris/igny.php

Voici mon code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
 
import csv
from bs4 import BeautifulSoup
import requests
 
url = "https://www.annexx.com/box-garde-meuble/paris/igny.php"
page = requests.get(url)
site = BeautifulSoup(page.content, "html.parser")
 
tailles = site.find_all("p", class_="surface")
liste_des_tailles = []
for taille in tailles:
    liste_des_tailles.append(taille.string)
 
 
promo = site.find_all("div", class_="alert-message hidden-xs hidden-sm offer")
liste_des_promos = []
 
for promos in promo:
    liste_des_promos.append(promos.text)
 
prix = site.find_all("span", class_="stroprix = site.find_all("span", class_="strong")ng")
 
liste_des_prix = []
 
for prixx in prix:
    liste_des_prix.append(prixx.text)
 
en_tete = ["Taille", "Promo", "Prix"]
 
with open("prix_annexx.csv", "w") as csv_psg:
    writer = csv.writer(csv_psg, delimiter=",")
    writer.writerow(en_tete)
 
    for titre_csv, categorie_csv, date_csv in zip(liste_des_tailles, liste_des_promos, liste_des_prix):
        ligne = [titre_csv.string, categorie_csv, date_csv]
        writer.writerow(ligne)

Ce que je n'arrive pas avec BeautifulSoup, c'est extraire le prix. En effet, le prix est dans cette balise :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
<span class="small-text">
<span class="text_before_price">
le 2
<sup>e</sup>
 et 3
<sup>e</sup> 
mois.
</span>
<strong>84€</strong>
 les autres mois                                        
</span>

Pouvez vous m'éclaircir sur le code a utiliser pour extraire la balise strong ?

Merci et bonne journée !

22/02/2023, 14h31
jurassic pork

Hello,
es-tu sur que BeautifulSoup soit le bon programme pour tes extractions. Comment fais-tu pour choisir le filtre de Box à utiliser ? Si tu veux pouvoir filtrer suivant la taille du Box et extraire les infos des Box qui sont affichés à l'écran selenium est une meilleure solution. Et dans le cas présent même avec Selenium cela risque d'être difficile car il y a du flex utilisé dans la page. Avec le code que tu proposes on travaille un peu en aveugle et si il faut une correspondance d'élément entre taille , promo et prix cela semble compromis.
Ami calmant, J.P

bonjour
Citation:
Envoyé par Sanito
Je débute en programmation
Code:

1 2 prix = site.find_all("span", class_="stroprix = site.find_all("span", class_="strong")ng")
Ce que je n'arrive pas avec BeautifulSoup, c'est extraire le prix
Débute ou n'a aucune notions ?
Ce code n'a aucun sens, je soupçonne un copié/collé au hasard :aie: Un minimum est de lire la doc de ta librairie (on peut avoir 5 ans de python mais débutant avec une librairie ! dans ce cas, on lit toujours la doc)

Ta recherche par colonne n'a rien de logique :roll:
Il est possible de rechercher une ligne du tableau , puis on recherche dans la ligne chaque élément qui nous convient.
Code:

1 2 3 4 5 6 7 8 resultats = [] for ligne in soup.select('div.box-choices-container div.box-choice.medium-size'): print('surface:', ligne.select_one('p.surface').get_text().removesuffix('m²'), end='\t') print('prix:', ligne.select_one('span strong').get_text().remove_suffix('€'), end='`t') dispo = ligne.select_one('p.availability') if dispo: print('Disponible', end='') print() resultats.append((a,b,c))
ps: comme jurassic pork, tu as sans doute besoin de plus que cette simple page ... sinon tu as toutes les url déjà dans une bd et cette lib est plus que suffisante.

1 pièce(s) jointe(s)

Voici un script python qui utilise selenium qui charge la page dans chrome, filtre les box sur toutes les tailles et affiche la taille, la promo, le prix des box affichés :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys ser = Service(r"D:\\Selenium\\WebDrivers\\chromedriver.exe") options = webdriver.ChromeOptions() options.add_argument("user-data-dir=D:\\Selenium\\Profil") #Path to your chrome profile w = webdriver.Chrome(service=ser, options=options) url1 = "https://www.annexx.com/box-garde-meuble/paris/igny.php" w.implicitly_wait(5) # seconds w.get(url1) w.find_element(By.CLASS_NAME, 'all-size-filter').click() container = w.find_element(By.CLASS_NAME, 'box-choices-container') boxes = container.find_elements(By.CLASS_NAME,'box-choice') for box in boxes: print(box.find_element(By.CLASS_NAME,'size').text) print(box.find_element(By.CLASS_NAME,'alert-message').get_attribute("innerHTML")) print(box.find_element(By.CLASS_NAME,'prices-container').text) print("======================")
le haut de la page affichée :
Pièce jointe 634697

le début des résultats :

Citation:

3 m²
2 mois à -50%
TARIF WEB
38,5€ /mois
le 2e et 3e mois.
77€ les autres mois
======================
3.5 m²
2 mois à -50%
TARIF WEB
41,5€ /mois
le 2e et 3e mois.
83€ les autres mois
======================
4 m²
2 mois à -50%
TARIF WEB
46€ /mois
le 2e et 3e mois.
92€ les autres mois
======================

A noter que si pour "l'alerte-message" je met text au lieu de get_attribute("innerHTML") une ligne vide s'affiche. Si quelqu'un sait d'où vient le problème.

23/02/2023, 07h23
jurassic pork

Hello,

Citation:

Envoyé par jurassic pork

A noter que si pour "l'alerte-message" je met text au lieu de get_attribute("innerHTML") une ligne vide s'affiche. Si quelqu'un sait d'où vient le problème.

cela fonctionne avec textContent :

Code:

print(box.find_element(By.CLASS_NAME,'alert-message').get_attribute("textContent"))

Ami calmant, J.P
23/02/2023, 08h46
Sanito

Merci !

Merci beaucoup pour ton aide @jurrassic Park !!!!