Discussion :

[Barth2501]

Bonjour,

Je souhaite récupérer des données météo sur une page web, mais je rencontre des problèmes car mon script récupère les données avant que celles ci ne soient chargées sur la page web.

Voici mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
import requests
from bs4 import BeautifulSoup
import time
 
page=requests.get("https://www.wunderground.com/history/daily/sg/singapore-payalebar/WSAP/date/2018-1-5")
soup=BeautifulSoup(page.content,'html.parser')
table=soup.find(class_='summary-table').get_text()
title=soup.find(class_='summary-title').get_text()
print(table)
print(title)

Ainsi, python me retourne No Data Recorded car la page web n'a pas eu le temps de charger les données.
J'aimerai donc savoir comment faire sans avoir à utiliser Selenium.
Merci pour votre aide.

[wiztricks]

Salut,

Ainsi, python me retourne No Data Recorded car la page web n'a pas eu le temps de charger les données.

requests.get se termine avec le contenu de la "page" ou un message d'erreur.
Pour vous en assurer, vous pouvez regarder ce que contiennent page.status_code, la taille du texte via len(page.content),...
Et si la page a bien été lue, c'est que votre soucis est ailleurs.

- W

[Barth2501]

Merci pour votre message.
La page en elle même se charge correctement mais c'est les données qu'elle contient qui n'ont pas eu le temps de se charger lorsque je récupère les données.

[wiztricks]

La page en elle même se charge correctement mais c'est les données qu'elle contient qui n'ont pas eu le temps de se charger lorsque je récupère les données.

Si votre page contient du Javascript qui, exécuté par le navigateur, chargera dynamiquement des bouts de ce qui s'affiche (dans la fenêtre de votre navigateur Web), vous pouvez les attendre longtemps...

- W

[Barth2501]

Oui je m’en doute et ce n’est pas ce que je veux dire.
Mon problème est que la page nécessite plusieurs secondes pour se charger alors que mon script, en utilisant BeautifulSoup, n’attend pas que la page se charge pour récupérer les infos.

[wiztricks]

Oui je m’en doute et ce n’est pas ce que je veux dire.
Mon problème est que la page nécessite plusieurs secondes pour se charger alors que mon script, en utilisant BeautifulSoup, n’attend pas que la page se charge pour récupérer les infos.

Si requests.get ou BeautifoulSoup étaient asynchrones, ce serait documenté et tous les exemples d'utilisations sur Internet montreraient comment attendre la fin du chargement avant d'y chercher quelque chose.

- W