IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

Chargement de données Beautifulsoup


Sujet :

Python

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre averti
    Homme Profil pro
    Étudiant
    Inscrit en
    Septembre 2018
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Septembre 2018
    Messages : 25
    Par défaut Chargement de données Beautifulsoup
    Bonjour,

    Je souhaite récupérer des données météo sur une page web, mais je rencontre des problèmes car mon script récupère les données avant que celles ci ne soient chargées sur la page web.

    Voici mon code:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    import requests
    from bs4 import BeautifulSoup
    import time
     
    page=requests.get("https://www.wunderground.com/history/daily/sg/singapore-payalebar/WSAP/date/2018-1-5")
    soup=BeautifulSoup(page.content,'html.parser')
    table=soup.find(class_='summary-table').get_text()
    title=soup.find(class_='summary-title').get_text()
    print(table)
    print(title)
    Ainsi, python me retourne No Data Recorded car la page web n'a pas eu le temps de charger les données.
    J'aimerai donc savoir comment faire sans avoir à utiliser Selenium.
    Merci pour votre aide.

  2. #2
    Expert éminent
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 741
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 741
    Par défaut
    Salut,

    Citation Envoyé par Barth2501 Voir le message
    Ainsi, python me retourne No Data Recorded car la page web n'a pas eu le temps de charger les données.
    requests.get se termine avec le contenu de la "page" ou un message d'erreur.
    Pour vous en assurer, vous pouvez regarder ce que contiennent page.status_code, la taille du texte via len(page.content),...
    Et si la page a bien été lue, c'est que votre soucis est ailleurs.

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

  3. #3
    Membre averti
    Homme Profil pro
    Étudiant
    Inscrit en
    Septembre 2018
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Septembre 2018
    Messages : 25
    Par défaut
    Merci pour votre message.
    La page en elle même se charge correctement mais c'est les données qu'elle contient qui n'ont pas eu le temps de se charger lorsque je récupère les données.

  4. #4
    Expert éminent
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 741
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 741
    Par défaut
    Citation Envoyé par Barth2501 Voir le message
    La page en elle même se charge correctement mais c'est les données qu'elle contient qui n'ont pas eu le temps de se charger lorsque je récupère les données.
    Si votre page contient du Javascript qui, exécuté par le navigateur, chargera dynamiquement des bouts de ce qui s'affiche (dans la fenêtre de votre navigateur Web), vous pouvez les attendre longtemps...

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

  5. #5
    Membre averti
    Homme Profil pro
    Étudiant
    Inscrit en
    Septembre 2018
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Septembre 2018
    Messages : 25
    Par défaut
    Oui je m’en doute et ce n’est pas ce que je veux dire.
    Mon problème est que la page nécessite plusieurs secondes pour se charger alors que mon script, en utilisant BeautifulSoup, n’attend pas que la page se charge pour récupérer les infos.

  6. #6
    Expert éminent
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 741
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 741
    Par défaut
    Citation Envoyé par Barth2501 Voir le message
    Oui je m’en doute et ce n’est pas ce que je veux dire.
    Mon problème est que la page nécessite plusieurs secondes pour se charger alors que mon script, en utilisant BeautifulSoup, n’attend pas que la page se charge pour récupérer les infos.
    Si requests.get ou BeautifoulSoup étaient asynchrones, ce serait documenté et tous les exemples d'utilisations sur Internet montreraient comment attendre la fin du chargement avant d'y chercher quelque chose.

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

Discussions similaires

  1. [DBA] Chargement de données via txt ou xls
    Par divail dans le forum SQL
    Réponses: 4
    Dernier message: 08/03/2006, 10h07
  2. Réponses: 1
    Dernier message: 09/02/2006, 10h11
  3. Réponses: 1
    Dernier message: 07/12/2005, 17h53
  4. Chargement de données texte.
    Par Guiadeur dans le forum Oracle
    Réponses: 1
    Dernier message: 19/10/2005, 11h42
  5. texture dynamique et chargement de données
    Par Mastero dans le forum DirectX
    Réponses: 6
    Dernier message: 03/05/2005, 14h37

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo