Discussion :

[Marionette]

Bonjour à tous;

Je ne sais pas du tout si je suis au bon endroit en seins de ce forum pour poser ma question mais je tente quand même, au besoin si un Modo peut déplacer mon sujet ce serait cool... en partant du principe où il trouve un endroit ou le caser !

Alors voilà, j'essaie d'exporter des données d'un site web vers mon bureau et après avoir bien trifouillé mon inspecteur d'éléments Chrome j'ai remarqué que les données rechercher se trouvait dans la partie "Network".

Après avoir sélectionné "Network" il me suffit de cliquer sur la page "1" et toutes les données de la page 1 sont affichées donc c'est parfait et nous pouvons même les exporter en fichier "Har"...

Le souci est que si j'ai 400 pages à exporter, et que je dois réitérer cette manipulation pour chaque page c'est un peu chiant...

Existe-il un moyen d'exporter les données de toutes les pages sans avoir à cliquer sur chacune d'elles ?
J'ai également testé en cliquant sur plusieurs pages et j'ai bien les données de chaque page cliqué qui s'ajoute dans un fichier différent dans network, ce n'est pas mal mais là idem si j'ai trop de page à faire...

Voilà, si quelqu'un un peu d'expérience dans ce genre de

Cordialement,

[darkstar123456]

Bonjour,

Si je ne me trompe pas et que j'ai bien compris, ce que vous cherchez s'appelle un "aspirateur de site web"

Je ne m'y connais pas assez pour vous en conseiller un en particulier mais j'espère que cette information pourra vous aider ou amener quelqu'un qui s'y connait mieux que moi

[Marionette]

Bonjour,

Si je ne me trompe pas et que j'ai bien compris, ce que vous cherchez s'appelle un "aspirateur de site web"

Je ne m'y connais pas assez pour vous en conseiller un en particulier mais j'espère que cette information pourra vous aider ou amener quelqu'un qui s'y connait mieux que moi

Bonjour,

Pour l'aspirateur web je ne pense pas que ce soit cela, surtout que le site en question je dois m'identifier au préalable pour avoir accès au données.
Exporter la page web non plus car si je devais le faire pour chaque page

Cordialement,

[darkstar123456]

Bonjour,

Pour récupérer les contenus d'un site, de manière automatique et en suivant les liens internes, on utilise un aspirateur de site.

Cependant, s'il vous faut un format .HAR, alors il n'existe que très peu d'outils permettant cela (et à première vue, tout est manuel comme vous le faites avec Chrome).
Il existe une liste sur Wikipedia

C'est étrange néanmoins. Si vous devez récupérer des données et que la connexion est authentifiée, n'existe-t-il pas une API ?

Que faites-vous avec le fichier .HAR ?
Celui-ci contient énormément de données inutiles (si on considère que seules les données directement visibles sur le site sont importantes).
Si vous utilisiez un aspirateur de site, vous n'auriez que des documents HTML

Sinon, il est également possible de "scraper" les contenus d'un site.
C'est à dire, développer un algorithme qui va aller "lire" les contenus afin de les sauvegarder. On peut même faire en sorte de suivre les liens (attention, il faut demander l'autorisation aux administrateurs du site pour faire ça et il y a des chances d'être automatiquement bloqué en essayant de le faire)

[Marionette]

Re,

Alors en faite dans ma première question j'essayer de détailler la méthode que j'avais trouvé et dont je pensais être sur le bon chemin, évidement si une autre méthode me permet d'avoir le résultat voulu je suis toute ouïe.

Le but ultime et de pouvoir automatiser l'export des différentes pages présente sur mon espace, et surtout exporter tout d'un coup... car les données évolue, je ne peux pas me permettre de regarder quel donné exporter, ainsi je remplacerai d'une traite tout d'un coup.

Peut importe le format du fichier final, le but est d'exporter vers Excel ensuite et trier les données pour les classer dans mon tableau, ca m'éviterais ainsi des copier coller interminable des données du site vers mon tableau.

J'ai déjà essayé d'importer depuis Excel et j'ai déjà tout tenté avec le navigateur intégré, j'ai même confié mon classeur à des expert Excel, apparemment mon site ne permet pas qu'on lise les données.... ou alors il es mal foutu et Excel plante quand il essai de charger les pages... donc la méthode Excel ont peu oublier.

J'ai également essayé quelques extensions chrome et Firefox, aucune n'a vraiment aboutie...

Je vais voir si je trouve quelques chose sur le srapping, aspirateur web ect

Cordialement,

[Doksuri]

attention, la frontiere avec l'illegalite n'est pas loin

[darkstar123456]

Oui je comptais aborder le sujet également (et j'avais déjà fait mention plus haut de demande d'autorisation)

[Marionette]

attention, la frontiere avec l'illegalite n'est pas loin

Lol le site permet ce genre de chose, une plateforme (non affilié au site) existe déjà et fait le travail que je souhaite faire mais elle est payante donc je voulais me débrouiller moi même avec excel et avoir ma propre version gratos.

De plus ce sont mes données personnel sur mon compte, et pour finir c'est un site non basé en France. Pour l'illégalité je crois qu'on en es loin.
Si vous souhaitez je peux vous envoyer en DM le site ciblé et la plateforme en question qui récolte les données.

Cordialement Mr le procureur.

[Doksuri]

le site permet ce genre de chose

dans ce cas, il doit surment exister une API publique (ce qui est mille fois plus performant)

De plus ce sont mes données personnel sur mon compte

ca ne change pas le probleme que d'apirer un site web reste illegal (propriete intellectuelle)

Cordialement Mr le procureur.

[Pierre Fauconnier]

Salut

400 pages de données perso sur un site? Wouah, joli

Au delà du clin d'oeil septique, je rejoins Darkstar et Doksuri. Voir s'il n'existe pas une api genre Swagger qui permet l'interrogation du site et récupère des json. Peut-être devrais-tu contacter le webmaster du site et lui demander quelles sont les possibilités. Lorsque tu récupères le json, l'exploiter en Excel est un jeu d'enfants.

[Marionette]

dans ce cas, il doit surment exister une API publique (ce qui est mille fois plus performant)
ca ne change pas le probleme que d'apirer un site web reste illegal (propriete intellectuelle)

Illégal en France..... qu’ecce qui n'est pas illégal en France ?

Bah je vois mal la plateforme me donner les clé du succès non plus, c'est leur fond de commerce, ce n'est pas un site très connu, enfaite c'est un bizzness en ligne dont ont parle et la plateforme qui collecte les donnée du site sert à faire des statistiques , graphique, chiffres d'affaire, rendement ect.. j'ai déja fait un classeur excel mais c'est un peu chiant les copier coller....

Du coup impossible de récupéré les données de toutes les pages sans avoir cliqué sur le numéro de page voulu a fin de les voir afficher sur mon inspecteur d’élément chrome ?

[Pierre Fauconnier]

[...]
Bah je vois mal la plateforme me donner les clé du succès non plus, c'est leur fond de commerce[...]

Il s'agit dès lors bien d'une activité à caractère illégal.