IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Webmarketing Discussion :

API collecte de données web


Sujet :

Webmarketing

  1. #1
    Nouveau membre du Club
    Femme Profil pro
    Assistant aux utilisateurs
    Inscrit en
    décembre 2019
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 24
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Assistant aux utilisateurs
    Secteur : Arts - Culture

    Informations forums :
    Inscription : décembre 2019
    Messages : 139
    Points : 31
    Points
    31
    Par défaut API collecte de données web
    Bonjour à tous,

    Je souhaite collecter les données d'un site web, et cela grâce à une extension chrome ou Firefox pour plus de facilité.
    Existe-il des professionnel de la programmation d'API ici ? Les données à collecter sont assez basique et structuré de la même manière sur chacune des pages.

    Il s'agit d'une table comportant 10 lignes par page, la ou je bloque c'est pour récupérer les pages suivantes de manière automatique.
    Si des professionnel veulent tenter l'aventure, merci de me laisser un message je vous donnerais plus de détail contre devis

    Note : Collecter des données n'est pas du tout illégal comme le sous-entendent certaines personnes, et j'ai également l'autorisation explicite du site web, donc aucun risque qu'il le prenne mal.
    Pour la culture des ignorants https://www.archimag.com/univers-dat...nnees-legalite

    Cordialement,

  2. #2
    Expert éminent sénior
    Avatar de mathieu
    Profil pro
    Inscrit en
    juin 2003
    Messages
    8 442
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : juin 2003
    Messages : 8 442
    Points : 13 080
    Points
    13 080
    Par défaut
    Pendant que je rédigeais le message privé où je vous demandais des détails, j'étais en train de me dire que les dernières fois que j'ai eu besoin de récupérer des données, je n'avais pas créé une nouvelle extension à chaque fois.

    Et j'ai fini par retrouver le chainon que j'avais oublié : dans firefox, j'ai installé l'extension tampermonkey qui permet d'insérer du code javascript dans n'importe quelle page :
    https://addons.mozilla.org/fr/firefo.../tampermonkey/

    À l'aide de cette extension, vous pourrez faire un script javascript qui parcourt la page, recherche le lien de la page suivante pour cliquer dessus et ainsi récupérer automatiquement tout le contenu.

  3. #3
    Nouveau membre du Club
    Femme Profil pro
    Assistant aux utilisateurs
    Inscrit en
    décembre 2019
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 24
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Assistant aux utilisateurs
    Secteur : Arts - Culture

    Informations forums :
    Inscription : décembre 2019
    Messages : 139
    Points : 31
    Points
    31
    Par défaut
    Merci je vais examiner cela, par contre quand vous dites que ça "parcours" la page c'est visuel ? supposons qu'il y ai 20 pages à récupérer ça risquerais d’être assez long non ?

  4. #4
    Expert éminent sénior

    Homme Profil pro
    Directeur des systèmes d'information
    Inscrit en
    avril 2002
    Messages
    2 535
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 61
    Localisation : Luxembourg

    Informations professionnelles :
    Activité : Directeur des systèmes d'information
    Secteur : Finance

    Informations forums :
    Inscription : avril 2002
    Messages : 2 535
    Points : 16 955
    Points
    16 955
    Par défaut
    Citation Envoyé par Marionette Voir le message
    Note : Collecter des données n'est pas du tout illégal comme le sous-entendent certaines personnes, et j'ai également l'autorisation explicite du site web, donc aucun risque qu'il le prenne mal.
    Pour la culture des ignorants https://www.archimag.com/univers-dat...nnees-legalite
    Cet article ne dit pas du tout que le webscraping est légal, bien au contraire, il est par défaut généralement illégal, mais peut être parfois autorisé dans certains cas comme par exemple si tu as une autorisation explicite ou que le site indique clairement que ces données sont libres de droits.
    Ne prenez pas la vie au sérieux, vous n'en sortirez pas vivant ...

  5. #5
    Nouveau membre du Club
    Femme Profil pro
    Assistant aux utilisateurs
    Inscrit en
    décembre 2019
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 24
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Assistant aux utilisateurs
    Secteur : Arts - Culture

    Informations forums :
    Inscription : décembre 2019
    Messages : 139
    Points : 31
    Points
    31
    Par défaut
    Citation Envoyé par Pierre Louis Chevalier Voir le message
    Cet article ne dit pas du tout que le webscraping est légal, bien au contraire, il est par défaut généralement illégal, mais peut être parfois autorisé dans certains cas comme par exemple si tu as une autorisation explicite ou que le site indique clairement que ces données sont libres de droits.
    Oui c'est bien ce que j'ai voulu montré, que ce n'était pas forcément illégal, tout dépend de la situation.. quelques chose qui n'est pas illégal est forcément légal, mais sa veut pas dire que c'est sans limite.

    Quand le site mentionne clairement qu'il ne veut pas que ses données soit prise la forcément... mais les données public sont accessibles à tous et dans mon cas à usage personnel, et pour finir c'est ok pour le site ciblé

  6. #6
    Expert éminent sénior
    Avatar de mathieu
    Profil pro
    Inscrit en
    juin 2003
    Messages
    8 442
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : juin 2003
    Messages : 8 442
    Points : 13 080
    Points
    13 080
    Par défaut
    Citation Envoyé par Marionette Voir le message
    Merci je vais examiner cela, par contre quand vous dites que ça "parcours" la page c'est visuel ? supposons qu'il y ai 20 pages à récupérer ça risquerais d’être assez long non ?
    c'est le script qui va analyser le code html donc les étapes sont :
    • vous allez cliquer sur un bouton
    • le script récupère les données de la page courante
    • le script cherche s'il y a une autre page et si c'est le cas, il clique sur le lien
    • le navigateur charge la page suivante
    • le script récupère les données de cette nouvelle page
    • le script cherche s'il y a une autre page et si c'est le cas, il clique sur le lien
    • etc

  7. #7
    Responsable
    Office & Excel


    Homme Profil pro
    Formateur et développeur chez EXCELLEZ.net
    Inscrit en
    novembre 2003
    Messages
    18 269
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 54
    Localisation : Belgique

    Informations professionnelles :
    Activité : Formateur et développeur chez EXCELLEZ.net
    Secteur : Enseignement

    Informations forums :
    Inscription : novembre 2003
    Messages : 18 269
    Points : 52 909
    Points
    52 909
    Billets dans le blog
    121
    Par défaut
    Citation Envoyé par Marionette Voir le message
    [...]et pour finir c'est ok pour le site ciblé
    Ce n'est pas ce que tu disais dans une autre discussion que tu as initiée sur le même sujet...

    Citation Envoyé par Marionette Voir le message
    [...]
    Bah je vois mal la plateforme me donner les clé du succès non plus, c'est leur fond de commerce[...]
    Citation Envoyé par Marionette Voir le message
    [...]une plateforme (non affilié au site) existe déjà et fait le travail que je souhaite faire mais elle est payante donc je voulais me débrouiller moi même[...]
    "Plus les hommes seront éclairés, plus ils seront libres" (Voltaire)
    ---------------
    Mes billets de blog sur DVP
    Mes remarques et critiques sont purement techniques. Ne les prenez jamais pour des attaques personnelles...
    Pensez à utiliser les tableaux structurés. Ils vous simplifieront la vie, tant en Excel qu'en VBA ==> mon tuto
    Le VBA ne palliera jamais une mauvaise conception de classeur ou un manque de connaissances des outils natifs d'Excel...
    Ce ne sont pas des bonnes pratiques parce que ce sont les miennes, ce sont les miennes parce que ce sont des bonnes pratiques
    VBA pour Excel? Pensez D'ABORD en EXCEL avant de penser en VBA...
    ---------------

  8. #8
    Nouveau membre du Club
    Femme Profil pro
    Assistant aux utilisateurs
    Inscrit en
    décembre 2019
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 24
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Assistant aux utilisateurs
    Secteur : Arts - Culture

    Informations forums :
    Inscription : décembre 2019
    Messages : 139
    Points : 31
    Points
    31
    Par défaut
    Citation Envoyé par Pierre Fauconnier Voir le message
    Ce n'est pas ce que tu disais dans une autre discussion que tu as initiée sur le même sujet...
    Bonjour,

    Justement ton incompréhension ou le manque de clarté dans mon explication fait que tu as mal compris cette phrase,


    Quand je dis :

    Bah je vois mal la plateforme me donner les clé du succès non plus, c'est leur fond de commerce

    De qui je parle dans cette phrase ? Tu as mal interprété la chose. Je ne parle pas du site ciblé dont je souhaite scraper les données !

    Je réexplique, je souhaite collecter des données d'un site web de bizness en ligne .... répondant au nom de toto.com pour l'exemple

    Deux Français ont eu l'idée de crée une plateforme répondant au nom de nana.com, site web + extension chrome pour scraper les données du site toto.com et proposer à leur client de tirer des statistiques de rendement financier, visuel sur le futur ect basé sur les données toto.com ... Jusque la tu me suis ?

    Les deux plateforme sont toute deux indépendantes l'une de l'autre...Elle n'ont aucun rapport sur leur activité, l'une est un bizness en ligne et l'autre une plateforme de collecte de données.

    Un peu comme si tu crée toi même une plateforme qui irais chercher les data d'un site en bourse pour les analyser et proposer des graphiques différents que ceux disponibles les site de trading, et bien sur en partant du principe ou tu as eu l'autorisation avant de faire cela

    Moi à mon tour j'ai voulu scraper les données du site toto.com et j'ai donc besoin d'une extension pour faire le boulot.

    Je vole le boulot de qui en faisant ca ? Quand tu as un problème de voiture, soit tu la répare toi même , soit tu va chez le garagiste, mais si tu la répare toi même on part du principe que tu as volé le garagiste étant donné que tu lui enlève le pain de sa bouche ? C'est un peu ton raisonnement.


    Si j'avais les compétence informatique je pourrais même crée quelques chose de similaire à nana.com et on deviendrais concourant, mais pas sur qu'avec mon classeur Excel je puisse concurrencer qui que ce soit

    En espérant que ce soit un peu plus clair pour toi,


    Cordialement,

  9. #9
    Nouveau membre du Club
    Femme Profil pro
    Assistant aux utilisateurs
    Inscrit en
    décembre 2019
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Âge : 24
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Assistant aux utilisateurs
    Secteur : Arts - Culture

    Informations forums :
    Inscription : décembre 2019
    Messages : 139
    Points : 31
    Points
    31
    Par défaut
    Citation Envoyé par mathieu Voir le message
    c'est le script qui va analyser le code html donc les étapes sont :
    • vous allez cliquer sur un bouton
    • le script récupère les données de la page courante
    • le script cherche s'il y a une autre page et si c'est le cas, il clique sur le lien
    • le navigateur charge la page suivante
    • le script récupère les données de cette nouvelle page
    • le script cherche s'il y a une autre page et si c'est le cas, il clique sur le lien
    • etc
    Merci pour cette proposition d'ailleurs ca me rappel que j'avais déjà fait à l'époque ce genre de chose pour une tout autre chose mais malheureusement ca risquerais d'être compliqué car j'ai besoin de mettre à jour ces données assez rapidement, et dans mon espace perso j'ai actuellement 75 page et dans 10 jours au moins 20 de plus ainsi de suite... Je ne sais pas pourquoi il ne mette pas plus de données sur une seule et même page...

    Il me faudrait donc un script qui fasse tout en arrière plan et qui exporte cela dans un fichier CSV par exemple comme font certaine application de scraping.

Discussions similaires

  1. Réponses: 0
    Dernier message: 14/08/2014, 15h13
  2. ( Base de données + API ) pour son application web
    Par z4k4r14 dans le forum Hébergement
    Réponses: 1
    Dernier message: 02/09/2010, 10h02
  3. Réponses: 1
    Dernier message: 27/12/2008, 11h59
  4. [Access 2007 - Nouveauté] Collecter des données via Outlook
    Par Maxence HUBICHE dans le forum Sondages et Débats
    Réponses: 15
    Dernier message: 04/06/2007, 13h31
  5. [CR][ASP.Net]Connection base de données / web.config
    Par Dozer71 dans le forum SAP Crystal Reports
    Réponses: 7
    Dernier message: 10/05/2005, 08h41

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo