IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Réseau/Web Python Discussion :

Crawling / spidering


Sujet :

Réseau/Web Python

  1. #1
    Membre à l'essai
    Inscrit en
    Juin 2007
    Messages
    26
    Détails du profil
    Informations forums :
    Inscription : Juin 2007
    Messages : 26
    Points : 16
    Points
    16
    Par défaut Crawling / spidering
    Salut tout le monde,
    je voudrais savoir s'il etait possible de "crawler" le web ou certains websites pour recuperer des informations precises avec python,

    merci

  2. #2
    Membre expérimenté Avatar de pacificator
    Profil pro
    Inscrit en
    Août 2006
    Messages
    1 074
    Détails du profil
    Informations personnelles :
    Âge : 44
    Localisation : France

    Informations forums :
    Inscription : Août 2006
    Messages : 1 074
    Points : 1 728
    Points
    1 728
    Par défaut
    Salut,

    je voudrais savoir s'il etait possible de "crawler" le web ou certains websites pour recuperer des informations precises avec python,
    C'est possible, Google le fait tous les jours

    Il existe pas mal de module pour cela, urllib pour charger des pages, mechanize pour emuler un navigateur, beautifullsoup pour extraire des données de pages mals formatées... tous les outils sont disponibles
    "Etre conscient de la difficulté permet de l'éviter.."
    Lao-Tseu.

  3. #3
    Membre à l'essai
    Inscrit en
    Juin 2007
    Messages
    26
    Détails du profil
    Informations forums :
    Inscription : Juin 2007
    Messages : 26
    Points : 16
    Points
    16
    Par défaut
    Citation Envoyé par pacificator Voir le message
    Salut,

    C'est possible, Google le fait tous les jours

    Il existe pas mal de module pour cela, urllib pour charger des pages, mechanize pour emuler un navigateur, beautifullsoup pour extraire des données de pages mals formatées... tous les outils sont disponibles
    justement est-il possible d'intingrer un API de google ds un code python pour "crawler" des sites web?
    merci

  4. #4
    Membre expérimenté Avatar de pacificator
    Profil pro
    Inscrit en
    Août 2006
    Messages
    1 074
    Détails du profil
    Informations personnelles :
    Âge : 44
    Localisation : France

    Informations forums :
    Inscription : Août 2006
    Messages : 1 074
    Points : 1 728
    Points
    1 728
    Par défaut
    j'ai trouvé HarvestMan, qui fait du crawing, ce n'est pas un module mais une application en pur python donc tu devrais trouvé ton bonheur en cherchant dans le code.

    @+.
    "Etre conscient de la difficulté permet de l'éviter.."
    Lao-Tseu.

  5. #5
    Membre à l'essai
    Inscrit en
    Juin 2007
    Messages
    26
    Détails du profil
    Informations forums :
    Inscription : Juin 2007
    Messages : 26
    Points : 16
    Points
    16
    Par défaut
    Je pense que je vais essayer d'ultiliser un API de google ou de yahoo dans mon code python

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [MOSS 2007] Crawling sur bdc
    Par frechy dans le forum SharePoint
    Réponses: 3
    Dernier message: 15/05/2007, 11h34
  2. Spiders - Authentification
    Par alesq dans le forum C
    Réponses: 6
    Dernier message: 30/01/2007, 16h36
  3. [Tableaux] Tutoriels Spider PHP
    Par bbo1991 dans le forum Langage
    Réponses: 5
    Dernier message: 08/12/2006, 14h35
  4. [Tableaux] Crawl en PHP
    Par johnnyaque dans le forum Langage
    Réponses: 12
    Dernier message: 21/11/2006, 12h58
  5. Ou l'ont reparle des web spider
    Par mobscene dans le forum Web
    Réponses: 1
    Dernier message: 29/07/2005, 22h59

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo