IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

recuperer des données internet


Sujet :

Python

  1. #1
    Membre averti
    Homme Profil pro
    Déssinateur
    Inscrit en
    Mai 2014
    Messages
    14
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Déssinateur
    Secteur : Bâtiment Travaux Publics

    Informations forums :
    Inscription : Mai 2014
    Messages : 14
    Par défaut recuperer des données internet
    Bonjour,

    Je suis a la recherche d'un langage de programmation, Python a l'air pas mal et apparemment on peut faire beaucoup de chose avec assez simplement, cependant ce n'est peut être pas le bon pour ce que je veux faire, j’espère que vous pourrez m'apporter des réponses.

    Je précise qu'une grosse partie du programme est écrit en vba excel mais je voudrais m'orienter sur une solution gratuite qui puisse tourner sur Windows (dans un premier temps) puis android.

    Q1 : est-il facile de porter sur la plateforme android

    Q2 : je pense qu'il va falloir tout réécrire car je cois qu'il n'y a pas de traducteur

    Aujourd'hui le programme importe une page internet dans excel, extrait les lien hypertexte dans une colonne et après une recherche de certain mots, copie les liens hypertexte sur une autre feuille, modifie cette adresse, la stock dans une variable tableau (il y a de 100 à 550 liens). Ensuite j'importe ces pages et je récupère des données sur chacune d'elles, bien sur les données sont copiées et ordonnées sur une autre feuille, ce qui représente environs 350 000 cellules par jour maximum.

    Q3 : est-ce que je peux faire tout ça

    Q4 : combien de temps estimez vous pour apprendre et faire le programme (grosse maille), je peux y consacrer 2 à 3 h par jour.

    Q5 : est-ce le bon langage

    Q5 : faudra-t-il que j'apprenne Python et un autre langage ( genre php )

    Par la suite je voudrais que le programme travail avec ces données à une heure précise et me renvois un rapport par mail (si j'en suis la, je pense que ça ne posera pas de problème)

    D'avance je vous remercie pour toutes vos réponses.

  2. #2
    Expert éminent
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 699
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 699
    Par défaut
    Citation Envoyé par williams63 Voir le message
    Q1 : est-il facile de porter sur la plateforme android
    Python est un langage de programmation qui fonctionne sous Android (cherchez via Google).
    Android une plateforme assez décalée par rapport à un PC "classique" notamment côté interface utilisateur.
    "porter" facilement <=> avoir "construit" pour que... et c'est indépendant du langage.

    Q2 : je pense qu'il va falloir tout réécrire car je cois qu'il n'y a pas de traducteur
    Avoir choisi EXCEL et VBA n'est pas un problème en soi...
    Mais quand ce pose la question de "porter"...

    Q3 : est-ce que je peux faire tout ça
    oui.

    Q4 : combien de temps estimez vous pour apprendre et faire le programme (grosse maille), je peux y consacrer 2 à 3 h par jour.
    Pour un professionnel, ce sera une poignée de jours - vous disposez déjà d'une application fonctionnelle en VBA.
    Pour apprendre, tout dépend de votre "culture". Une à deux semaines pour se dépatouiller raisonnablement si vous savez ce qu'est la POO et avez l'habitude de travailler avec plusieurs langages, pour les débutants, c'est un voyage de plusieurs mois.

    Q5 : est-ce le bon langage
    un langage n'est pas bon ou mauvais, il sera plus ou moins adapté à ce que vous voulez faire.

    Q5 : faudra-t-il que j'apprenne Python et un autre langage ( genre php )
    Je l'espère bien! Mais ce ne sera peut être pas nécessaire pour ce projet là.

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

  3. #3
    Membre averti
    Homme Profil pro
    Déssinateur
    Inscrit en
    Mai 2014
    Messages
    14
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Déssinateur
    Secteur : Bâtiment Travaux Publics

    Informations forums :
    Inscription : Mai 2014
    Messages : 14
    Par défaut
    déjà merci wiztricks pour tes réponses

    effectivement quand j'ai dis "est-ce le bon langage" c’était bien "est-ce qu'il sera adapté à ce que je veux faire" qu'il fallait comprendre et au vus de tes réponses on va dire oui .

    Pour la durée ce sera plusieurs mois car débutant (mais je ne suis pas pressé), et je ne sais pas ce que c'est la POO.

    Devoir réécrire en python ne me dérange pas trop car si il est bien écrit pour Windows je pense qu'il sera assez facile par la suite de changer de plateforme. De plus pour un débutant comme moi, je pense que c'est un beau challenge.

    Autre questions :
    Si dans excel c'est très "visuel" quand on importe une page web pour travailler dessus, comment fait-on faire avec python, on recherche direct sur la page web?
    Pourrais tu m'indiquer les modules qu'il me faudra étudier, j'ai commencer le tuto "apprendre python 3" et je pense qu'il me faudra voir:
    - os pour la gestion des fichiers
    - urllib pour ce qui est d'internet
    - un module base de donnée mais lequel?
    - autres?

    merci

  4. #4
    Expert éminent
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 699
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 699
    Par défaut
    Citation Envoyé par williams63 Voir le message
    Si dans excel c'est très "visuel" quand on importe une page web pour travailler dessus, comment fait-on faire avec python, on recherche direct sur la page web?
    EXCEL + VBA (ou Python) peut permettre de construire une application avec une interface utilisateur assez sympa.
    En gros le GUI est réalisé par EXCEL.

    Je ne sais pas combien votre truc est joli, mais à priori, virer EXCEL c'est le remplacer par un GUI qui sera construit sur d'autres principes. La transition risque d'être difficile.
    Dans le tuto de Swinnen, vous avez une bonne introduction sur Tkinter. C'est le GUI qui est inclus avec Python par défaut. Si vous n'avez pas fait de POO, ce sera assez bien pour commencer.

    - urllib pour ce qui est d'internet
    BeautifoulSoup pour analyser le HTML mérite le détour
    - un module base de donnée mais lequel?
    SQLite3 est inclus dans Python. Pour commencer c'est bien, après il faut monter dans les abstractions avec SQLAlchemy (mais la marche est haute).

    - autres?
    Ah ben, progressez avec le tuto d'abord.
    Python est "open source": des solutions il y en a plein, mais si vous ne savez pas trop jauger si elles répondent ou pas à vos besoins vous allez coder plus que raisonnable.

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

  5. #5
    Membre averti
    Homme Profil pro
    Déssinateur
    Inscrit en
    Mai 2014
    Messages
    14
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Déssinateur
    Secteur : Bâtiment Travaux Publics

    Informations forums :
    Inscription : Mai 2014
    Messages : 14
    Par défaut
    Bonjour,

    mon but est au final de le faire fonctionner sur android et donc de ma passer d'excel.
    J'avais dans l'idée importer une page web un peu comme dans excel mais a la place des cellules ce serait du style variable tableau et du coup je pouvais faire des recherches et trouver la bonne et l'utiliser/modifier/stocker.
    Est-ce que mon approche est bonne ou il faut pas partir sur ce principe?

  6. #6
    Expert éminent
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 699
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 699
    Par défaut
    Citation Envoyé par williams63 Voir le message
    J'avais dans l'idée importer une page web un peu comme dans excel mais a la place des cellules ce serait du style variable tableau et du coup je pouvais faire des recherches et trouver la bonne et l'utiliser/modifier/stocker.
    Il va falloir lire la page, aller chercher les tags HTML <TABLE>, décortiquer les données qui sont dedans, les structurer sous forme de liste de listes pour avoir une structure qui ressemble à un tableau.
    Si EXCEL fait çà tout seul, avec Python il faudra coder (un peu).

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

  7. #7
    Membre averti
    Homme Profil pro
    Déssinateur
    Inscrit en
    Mai 2014
    Messages
    14
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Déssinateur
    Secteur : Bâtiment Travaux Publics

    Informations forums :
    Inscription : Mai 2014
    Messages : 14
    Par défaut
    bon ben merci pour toutes ces réponses,

    maintenant je vais essayer de faire quelque chose de toutes ces infos.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Recuperer des données Excel d'internet
    Par mea4502 dans le forum Macros et VBA Excel
    Réponses: 0
    Dernier message: 06/02/2013, 10h10
  2. Réponses: 3
    Dernier message: 08/03/2007, 08h51
  3. [VB.NET] Recuperer des données ds un fichier
    Par Aspic dans le forum VB.NET
    Réponses: 2
    Dernier message: 03/11/2005, 09h31
  4. Recuperer des données d'access
    Par Lucier dans le forum MFC
    Réponses: 18
    Dernier message: 25/11/2004, 10h29
  5. Réponses: 3
    Dernier message: 22/02/2004, 20h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo