Discussion :

[Marionette]

Bonjour à tous,

Je souhaite collecter les données d'un site web, et cela grâce à une extension chrome ou Firefox pour plus de facilité.
Existe-il des professionnel de la programmation d'API ici ? Les données à collecter sont assez basique et structuré de la même manière sur chacune des pages.

Il s'agit d'une table comportant 10 lignes par page, la ou je bloque c'est pour récupérer les pages suivantes de manière automatique.
Si des professionnel veulent tenter l'aventure, merci de me laisser un message je vous donnerais plus de détail contre devis

Note : Collecter des données n'est pas du tout illégal comme le sous-entendent certaines personnes, et j'ai également l'autorisation explicite du site web, donc aucun risque qu'il le prenne mal.
Pour la culture des ignorants https://www.archimag.com/univers-dat...nnees-legalite

Cordialement,

[mathieu]

Pendant que je rédigeais le message privé où je vous demandais des détails, j'étais en train de me dire que les dernières fois que j'ai eu besoin de récupérer des données, je n'avais pas créé une nouvelle extension à chaque fois.

Et j'ai fini par retrouver le chainon que j'avais oublié : dans firefox, j'ai installé l'extension tampermonkey qui permet d'insérer du code javascript dans n'importe quelle page :
https://addons.mozilla.org/fr/firefo.../tampermonkey/

À l'aide de cette extension, vous pourrez faire un script javascript qui parcourt la page, recherche le lien de la page suivante pour cliquer dessus et ainsi récupérer automatiquement tout le contenu.

[Marionette]

Merci je vais examiner cela, par contre quand vous dites que ça "parcours" la page c'est visuel ? supposons qu'il y ai 20 pages à récupérer ça risquerais d’être assez long non ?

[Pierre Louis Chevalier]

Note : Collecter des données n'est pas du tout illégal comme le sous-entendent certaines personnes, et j'ai également l'autorisation explicite du site web, donc aucun risque qu'il le prenne mal.
Pour la culture des ignorants https://www.archimag.com/univers-dat...nnees-legalite

Cet article ne dit pas du tout que le webscraping est légal, bien au contraire, il est par défaut généralement illégal, mais peut être parfois autorisé dans certains cas comme par exemple si tu as une autorisation explicite ou que le site indique clairement que ces données sont libres de droits.

[Marionette]

Cet article ne dit pas du tout que le webscraping est légal, bien au contraire, il est par défaut généralement illégal, mais peut être parfois autorisé dans certains cas comme par exemple si tu as une autorisation explicite ou que le site indique clairement que ces données sont libres de droits.

Oui c'est bien ce que j'ai voulu montré, que ce n'était pas forcément illégal, tout dépend de la situation.. quelques chose qui n'est pas illégal est forcément légal, mais sa veut pas dire que c'est sans limite.

Quand le site mentionne clairement qu'il ne veut pas que ses données soit prise la forcément... mais les données public sont accessibles à tous et dans mon cas à usage personnel, et pour finir c'est ok pour le site ciblé

[mathieu]

Merci je vais examiner cela, par contre quand vous dites que ça "parcours" la page c'est visuel ? supposons qu'il y ai 20 pages à récupérer ça risquerais d’être assez long non ?

c'est le script qui va analyser le code html donc les étapes sont :

• vous allez cliquer sur un bouton
• le script récupère les données de la page courante
• le script cherche s'il y a une autre page et si c'est le cas, il clique sur le lien
• le navigateur charge la page suivante
• le script récupère les données de cette nouvelle page
• le script cherche s'il y a une autre page et si c'est le cas, il clique sur le lien
• etc

[Pierre Fauconnier]

[...]et pour finir c'est ok pour le site ciblé

Ce n'est pas ce que tu disais dans une autre discussion que tu as initiée sur le même sujet...

[...]
Bah je vois mal la plateforme me donner les clé du succès non plus, c'est leur fond de commerce[...]

[...]une plateforme (non affilié au site) existe déjà et fait le travail que je souhaite faire mais elle est payante donc je voulais me débrouiller moi même[...]

[Marionette]

Ce n'est pas ce que tu disais dans une autre discussion que tu as initiée sur le même sujet...

Bonjour,

Justement ton incompréhension ou le manque de clarté dans mon explication fait que tu as mal compris cette phrase,


Quand je dis :

Bah je vois mal la plateforme me donner les clé du succès non plus, c'est leur fond de commerce

De qui je parle dans cette phrase ? Tu as mal interprété la chose. Je ne parle pas du site ciblé dont je souhaite scraper les données !

Je réexplique, je souhaite collecter des données d'un site web de bizness en ligne .... répondant au nom de toto.com pour l'exemple

Deux Français ont eu l'idée de crée une plateforme répondant au nom de nana.com, site web + extension chrome pour scraper les données du site toto.com et proposer à leur client de tirer des statistiques de rendement financier, visuel sur le futur ect basé sur les données toto.com ... Jusque la tu me suis ?

Les deux plateforme sont toute deux indépendantes l'une de l'autre...Elle n'ont aucun rapport sur leur activité, l'une est un bizness en ligne et l'autre une plateforme de collecte de données.

Un peu comme si tu crée toi même une plateforme qui irais chercher les data d'un site en bourse pour les analyser et proposer des graphiques différents que ceux disponibles les site de trading, et bien sur en partant du principe ou tu as eu l'autorisation avant de faire cela

Moi à mon tour j'ai voulu scraper les données du site toto.com et j'ai donc besoin d'une extension pour faire le boulot.

Je vole le boulot de qui en faisant ca ? Quand tu as un problème de voiture, soit tu la répare toi même , soit tu va chez le garagiste, mais si tu la répare toi même on part du principe que tu as volé le garagiste étant donné que tu lui enlève le pain de sa bouche ? C'est un peu ton raisonnement.


Si j'avais les compétence informatique je pourrais même crée quelques chose de similaire à nana.com et on deviendrais concourant, mais pas sur qu'avec mon classeur Excel je puisse concurrencer qui que ce soit

En espérant que ce soit un peu plus clair pour toi,


Cordialement,

[Marionette]

c'est le script qui va analyser le code html donc les étapes sont :

• vous allez cliquer sur un bouton
• le script récupère les données de la page courante
• le script cherche s'il y a une autre page et si c'est le cas, il clique sur le lien
• le navigateur charge la page suivante
• le script récupère les données de cette nouvelle page
• le script cherche s'il y a une autre page et si c'est le cas, il clique sur le lien
• etc

Merci pour cette proposition d'ailleurs ca me rappel que j'avais déjà fait à l'époque ce genre de chose pour une tout autre chose mais malheureusement ca risquerais d'être compliqué car j'ai besoin de mettre à jour ces données assez rapidement, et dans mon espace perso j'ai actuellement 75 page et dans 10 jours au moins 20 de plus ainsi de suite... Je ne sais pas pourquoi il ne mette pas plus de données sur une seule et même page...

Il me faudrait donc un script qui fasse tout en arrière plan et qui exporte cela dans un fichier CSV par exemple comme font certaine application de scraping.