Discussion :

[Sanito]

Bonjour,

Je débute en programmation, et j'essaye d'appliquer des exercices de scrapping.

Je dois extraire les prix de ce site :
https://www.annexx.com/box-garde-meuble/paris/igny.php

Voici mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
 
import csv
from bs4 import BeautifulSoup
import requests
 
url = "https://www.annexx.com/box-garde-meuble/paris/igny.php"
page = requests.get(url)
site = BeautifulSoup(page.content, "html.parser")
 
tailles = site.find_all("p", class_="surface")
liste_des_tailles = []
for taille in tailles:
    liste_des_tailles.append(taille.string)
 
 
promo = site.find_all("div", class_="alert-message hidden-xs hidden-sm offer")
liste_des_promos = []
 
for promos in promo:
    liste_des_promos.append(promos.text)
 
prix = site.find_all("span", class_="stroprix = site.find_all("span", class_="strong")ng")
 
liste_des_prix = []
 
for prixx in prix:
    liste_des_prix.append(prixx.text)
 
en_tete = ["Taille", "Promo", "Prix"]
 
with open("prix_annexx.csv", "w") as csv_psg:
    writer = csv.writer(csv_psg, delimiter=",")
    writer.writerow(en_tete)
 
    for titre_csv, categorie_csv, date_csv in zip(liste_des_tailles, liste_des_promos, liste_des_prix):
        ligne = [titre_csv.string, categorie_csv, date_csv]
        writer.writerow(ligne)

Ce que je n'arrive pas avec BeautifulSoup, c'est extraire le prix. En effet, le prix est dans cette balise :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
<span class="small-text">
<span class="text_before_price">
le 2
<sup>e</sup>
 et 3
<sup>e</sup> 
mois.
</span>
<strong>84€</strong>
 les autres mois                                        
</span>

Pouvez vous m'éclaircir sur le code a utiliser pour extraire la balise strong ?

Merci et bonne journée !

[jurassic pork]

Hello,
es-tu sur que BeautifulSoup soit le bon programme pour tes extractions. Comment fais-tu pour choisir le filtre de Box à utiliser ? Si tu veux pouvoir filtrer suivant la taille du Box et extraire les infos des Box qui sont affichés à l'écran selenium est une meilleure solution. Et dans le cas présent même avec Selenium cela risque d'être difficile car il y a du flex utilisé dans la page. Avec le code que tu proposes on travaille un peu en aveugle et si il faut une correspondance d'élément entre taille , promo et prix cela semble compromis.
Ami calmant, J.P

[papajoker]

bonjour

Je débute en programmation

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
prix = site.find_all("span", class_="stroprix = site.find_all("span", class_="strong")ng")

Ce que je n'arrive pas avec BeautifulSoup, c'est extraire le prix

Débute ou n'a aucune notions ?
Ce code n'a aucun sens, je soupçonne un copié/collé au hasard Un minimum est de lire la doc de ta librairie (on peut avoir 5 ans de python mais débutant avec une librairie ! dans ce cas, on lit toujours la doc)

Ta recherche par colonne n'a rien de logique
Il est possible de rechercher une ligne du tableau , puis on recherche dans la ligne chaque élément qui nous convient.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
resultats = []
for ligne in soup.select('div.box-choices-container div.box-choice.medium-size'):
    print('surface:', ligne.select_one('p.surface').get_text().removesuffix('m²'), end='\t')
    print('prix:', ligne.select_one('span strong').get_text().remove_suffix('€'), end='`t')
    dispo = ligne.select_one('p.availability')
    if dispo: print('Disponible', end='')
    print()
    resultats.append((a,b,c))

ps: comme jurassic pork, tu as sans doute besoin de plus que cette simple page ... sinon tu as toutes les url déjà dans une bd et cette lib est plus que suffisante.

[jurassic pork]

Voici un script python qui utilise selenium qui charge la page dans chrome, filtre les box sur toutes les tailles et affiche la taille, la promo, le prix des box affichés :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
ser = Service(r"D:\\Selenium\\WebDrivers\\chromedriver.exe")
options = webdriver.ChromeOptions() 
options.add_argument("user-data-dir=D:\\Selenium\\Profil") #Path to your chrome profile
w = webdriver.Chrome(service=ser, options=options)
url1 = "https://www.annexx.com/box-garde-meuble/paris/igny.php"
w.implicitly_wait(5) # seconds
w.get(url1)
w.find_element(By.CLASS_NAME, 'all-size-filter').click()
container = w.find_element(By.CLASS_NAME, 'box-choices-container')
boxes = container.find_elements(By.CLASS_NAME,'box-choice')
for box in boxes:
    print(box.find_element(By.CLASS_NAME,'size').text)
    print(box.find_element(By.CLASS_NAME,'alert-message').get_attribute("innerHTML"))
    print(box.find_element(By.CLASS_NAME,'prices-container').text)
    print("======================")

le haut de la page affichée :


le début des résultats :

3 m²
2 mois à <span>-50%</span>
TARIF WEB
38,5€ /mois
le 2e et 3e mois.
77€ les autres mois
======================
3.5 m²
2 mois à <span>-50%</span>
TARIF WEB
41,5€ /mois
le 2e et 3e mois.
83€ les autres mois
======================
4 m²
2 mois à <span>-50%</span>
TARIF WEB
46€ /mois
le 2e et 3e mois.
92€ les autres mois
======================

A noter que si pour "l'alerte-message" je met text au lieu de get_attribute("innerHTML") une ligne vide s'affiche. Si quelqu'un sait d'où vient le problème.

[jurassic pork]

Hello,

A noter que si pour "l'alerte-message" je met text au lieu de get_attribute("innerHTML") une ligne vide s'affiche. Si quelqu'un sait d'où vient le problème.

cela fonctionne avec textContent :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

    print(box.find_element(By.CLASS_NAME,'alert-message').get_attribute("textContent"))

Ami calmant, J.P

[Sanito]

Merci beaucoup pour ton aide @jurrassic Park !!!!