IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Réseau/Web Python Discussion :

Récupération de texte de page web en masse


Sujet :

Réseau/Web Python

  1. #1
    Candidat au Club
    Profil pro
    Inscrit en
    Décembre 2006
    Messages
    3
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Décembre 2006
    Messages : 3
    Points : 4
    Points
    4
    Par défaut Récupération de texte de page web en masse
    Bonsoir,

    Je suis "débutant" sous Python 3 et je dois parcourir un fichier texte ligne par ligne qui contient des références (une par ligne). Ajouter cette référence à mon url de base. Copier le texte contenu dans la page web de l'url en question dans mon fichier texte vierge, mettre deux ou trois retour chariot pour bien séparer le texte des différentes références.
    Passer à la référence suivante, et ainsi de suite sur plus de 1500 références...

    J'ai essayé avec les informations que j'ai trouvé sur ce forum (et dans les docs) de faire ceci:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    import urllib
     
    fichierRef = open('ref.txt', 'r')      # On ouvre le fichier des références en lecture
    fichierDesc = open('description', 'w') # On ouvre le fichier des descriptions en écriture
    espace = "---------------------------------------------------------------------"
     
    ligneRef = fichierRef.readline()
    while ligneRef != "":
        page = urllib.openurl('http://www.monurldebase.fr/description=' + str(ligneRef))
        fichierDesc = page.read()
        fichierDesc.write(espace)
    Je n'ai pas encore l'url qu'il faut en ma possession pour voir si ce code fonctionne correctement, donc vu que je suis débutant, j'ai pas vraiment de moyen de juger la qualité du code (enfin, si il fonctionne....).


    Par avance merci d'éclairer ma lanterne afin que mon chemin Pythonique soit plus "lumineux"

  2. #2
    Membre confirmé

    Profil pro
    Développeur Java
    Inscrit en
    Mars 2010
    Messages
    87
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur Java
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2010
    Messages : 87
    Points : 537
    Points
    537
    Par défaut
    Il y a un certain nombre de choses bien dans ton code, mais tu oublies quelques points ( et c'est normal, pas de soucis) :
    • l'ouverture d'un fichier ou d'une URL est une ressource donc elle doit se fermée après (en gros il faut appeler close quand tu as finis ou utiliser le mot clé "with")
    • ta clause de while n'est jamais remise à jour et un fichier est "itérable" en python, donc tu peux faire "for line in fichierRef:" à la place du while. Quant à ta clause ligneRef != "" tu la déplaces en if à l'intérieur du for.
    • urllib en python 3 est déprécié pour l'ouverture des URL, il te faudrait utiliser urllib2.urlopen("monurl") : http://docs.python.org/library/urlli...rllib2.urlopen


    En espérant que ces petits point t'aident, n'hésite pas à reposter sur des points qui te paraissent floues.
    ++

    Olivier.

Discussions similaires

  1. récupération données depuis une page web
    Par sofiane_bfm007 dans le forum Développement de jobs
    Réponses: 5
    Dernier message: 29/03/2011, 11h37
  2. Envoi d'une variable texte vers page web
    Par claire34 dans le forum Langage
    Réponses: 4
    Dernier message: 11/11/2010, 14h54
  3. Webbrowser : Impression de pages web en masse
    Par Youby dans le forum VB 6 et antérieur
    Réponses: 1
    Dernier message: 29/05/2008, 12h43
  4. [Système] Selection de text dans page web
    Par biggione dans le forum Langage
    Réponses: 3
    Dernier message: 02/03/2007, 16h35
  5. Extraction de texte de pages web?
    Par VinnieMc dans le forum Web
    Réponses: 4
    Dernier message: 01/03/2006, 19h42

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo