Résultats Selenium vides

Version imprimable

Bonjour à tous.

Je débute en Python et je me retrouve donc facilement bloqué. Je sollicite donc votre aide pour m'aider à résoudre un problème.
Sur une page d'application, je souhaite récupérer les notes des utilisateurs. J'ai donc utilisé Selenium et notamment driver.find_element_by_class_name()
Le programme fonctionne bien mais les résultats sont vides.

La page de l'application : https://play.google.com/store/apps/d...roid.stopcovid

Mon hypothèse est que ça vient du fait que les étoiles sont des images, mais j'ai vu dans le code HTML de l'application qu'il y a un texte descriptif qui est présent et qui retranscrit le nombre d'étoiles.
Ex : "Deux étoiles sur 5".

Mon objectif est d'avoir la liste complète (en texte) du nombre d'étoiles attribuées par chaque utilisateur à l'application.
Pourriez-vous m'aider svp ?

Mon code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 from selenium import webdriver import os # url redirigeant vers l'application android StopCovid url = 'https://play.google.com/store/apps/details?id=fr.gouv.android.stopcovid&hl=fr&showAllReviews=true' chromedriver_path = 'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe' driver = webdriver.Chrome(chromedriver_path) driver.get(url) #Récupération des étoiles app_etoile = driver.find_elements_by_class_name('nt2C1d') print(len(app_etoile)) app_etoile reviews_etoile = [] for a in app_etoile: print(a.text) reviews_etoile.append(a.text)

Salut,

Citation:

Envoyé par Aliez

Mon hypothèse est que ça vient du fait que les étoiles sont des images, mais j'ai vu dans le code HTML de l'application qu'il y a un texte descriptif qui est présent et qui retranscrit le nombre d'étoiles.
Ex : "Deux étoiles sur 5".

Oui ça a l'air d'être cela... Mais ce texte n'est pas contenu dans une balise du coup ceci .text ne fonctionnera pas... Le texte que vous voulez est la valeur de l’attribut aria-label :
Code:

1 2 3 4 5 6 7 8 9 10 11 <span class="nt2C1d"> <div class="pf5lIe"> <div aria-label="5 étoiles sur 5" role="img"> <div class="vQHuPe bUWb7c"></div> <div class="vQHuPe bUWb7c"></div> <div class="vQHuPe bUWb7c"></div> <div class="vQHuPe bUWb7c"></div> <div class="vQHuPe bUWb7c"></div> </div> </div> </span>
Il faut donc récupérer la valeur de l'attribut aria-label et non le texte de la balise <span class="nt2C1d"> comme vous le faites...

Citation:

Envoyé par Aliez

Mon objectif est d'avoir la liste complète (en texte) du nombre d'étoiles attribuées par chaque utilisateur à l'application.

Le problème c'est que la liste n'est pas affichée complètement,une partie est affichée et pour afficher la suite il faut déplacer la scrollbar vers le bas et parfois il faut cliquer sur Plus...

Merci Beginner. pour ta réponse.

J'ai essayé d'utiliser BeautifulSoup, mais le résultat me retourne "none".

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
import bs4
from bs4 import BeautifulSoup
import requests
 
from requests import get
 
reponse = requests.get("https://play.google.com/store/apps/details?id=fr.gouv.android.stopcovid&showAllReviews=true")
 
html_soup = BeautifulSoup(reponse.text, "html.parser")
all_etoiles = html_soup.find("div aria-label")
print(all_etoiles)

29/06/2020, 21h51
Beginner.

Salut,

Le problème c'est que requests.get permet de récupérer la page "statique" or les infos que vous voulez ne s'y trouve que partiellement ---> les autres avis sont ajoutés dynamiquement lorsque l'on déplace la scrollbar vers le bas et lorsque qu'on clique Plus...

Si vous voulez utiliser BeautifulSoup il faut récupérer la page remplie dynamiquement, c'est faisable : vous faites ce qu'il faut (déplacement de la scrollbar vers le bas/clique sur Plus) pour afficher les avis que vous voulez et alors vous copiez/collez le code html via l'inspecteur (touche F12) du navigateur...
30/06/2020, 20h02
Aliez

Hello Beginner.

Lorsque j'exécute chromedriver_path et qu'une fenêtre s'ouvre sur la page des avis de l'application, je défile déjà jusqu'en bas de la page pour afficher l'ensemble des avis (je clique sur plus, je défile, je clique sur plus, je défile encore et encore jusqu'au moment où il n'y a plus d'avis à charger).
Donc quand j'exécute ensuite requests.get, ma page est déjà intégralement chargée.

Or, même après avoir fait ça, je n'ai pour réponse que "none".

Donc je ne comprends pas. Est-ce qu'il y a une erreur dans mon code ? Est-ce que je m'y prends comme un manche ?
01/07/2020, 19h03
Beginner.

Citation:

Envoyé par Aliez

Lorsque j'exécute chromedriver_path et qu'une fenêtre s'ouvre sur la page des avis de l'application, je défile déjà jusqu'en bas de la page pour afficher l'ensemble des avis (je clique sur plus, je défile, je clique sur plus, je défile encore et encore jusqu'au moment où il n'y a plus d'avis à charger).

Ok ça c'est la première étape...

Citation:

Envoyé par Aliez

Donc quand j'exécute ensuite requests.get, ma page est déjà intégralement chargée.

Ben non justement, avec requests.get vous récupérez seulement la page statique et non la page que vous voyez affichée dans le navigateur...

Pour récupérer la page que vous voyez affichée dans le navigateur, vous prouvez faire cela (sur firefox):

- Cliquez sur F12, les outils de développement web devraient apparaitre...
- Cliquez sur l'onglet "inspecteur", le code html devrait apparaitre...
- Faite un clic droit sur la balise html puis cliquez sur "Copier" puis sur "l'extérieur du HTML"
- Et enfin coller le code dans un fichier avec l'extension html.

A ce moment-là vous pouvez utiliser BeautifulSoup sur ce fichier...

Essayez cela après on verra le code...

Ah ok, pardon.

J'ai fait ce que tu m'as dit. Je pense que c'est bon.
Bon, par contre, le résultat est toujours none...

Voici mon code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
# url redirigeant vers l'application android
url = 'https://play.google.com/store/apps/details?id=fr.gouv.android.stopcovid&showAllReviews=true'
chromedriver_path = 'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe'
driver = webdriver.Chrome(chromedriver_path)
driver.get(url)
 
import bs4
from bs4 import BeautifulSoup
 
soup = BeautifulSoup(open("covid19.html", encoding='utf8'), "html.parser")
all_etoiles = soup.find("div aria-label")
print(all_etoiles)

Citation:

Envoyé par Aliez

J'ai fait ce que tu m'as dit. Je pense que c'est bon.
Bon, par contre, le résultat est toujours none...

Je suppose que vous avez enregistré le code html dans le fichier covid19.html alors voici un code à tester :
Code:

1 2 3 4 5 6 7 from bs4 import BeautifulSoup with open("covid19.html", 'r', encoding="UTF8") as file: soup = BeautifulSoup(file.read(), "html.parser") lst = soup.select(".nt2C1d div[aria-label]") for elem in lst: print(elem["aria-label"])