Discussion :

[FrereTibius]

Bonjour,

Voila je cherche a faire une script bash ou python qui enregistre une page web dans un fichier. (une des étapes pour faire un lecteur de flux RSS)
Sa a l'air très simple MAIS cet page html n'est généré uniquement si on est identifié. Ce qui veut dire qu'il est impossible d'utilisé curl car du coups curl enregistre une redirection vers la page d'authentification.

pour tester dans une terminal taper :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl https://www-labase-lextenso-fr.ezpaarse.univ-paris1.fr/flux-rss.xml > test.txt

vous devriez avoir un beau fichier XML mais que nenni, vous obtenez la page de redirection pour vous identifié. Alors que lorsque je tape directement cette adresse dans safari j'optaient mon beau fichier XML.

Du coups la question est la suivante : Est-il possible en utilisant une commande bash, de faire enregistré a safari une page internet ?

Qui a une idée ?

[Flodelarab]

Bonjour

Peux-tu être plus précis ? Car, avec l'adresse "https://www.labase-lextenso.fr/flux-rss.xml", on obtient bien le fichier de flux RSS sans connexion.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wget https://www.labase-lextenso.fr/flux-rss.xml

Et le résultat, flux-rss.xml (coupé ci-dessous)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<?xml version="1.0" encoding="utf-8" ?> <rss version="2.0" xml:base="https://www.labase-lextenso.fr/" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:dc="http://purl.org/dc/elements/1.1/"> <channel> <title>La base Lextenso</title>
 <link>https://www.labase-lextenso.fr/</link>
 <atom:link rel="self" href="https://www.labase-lextenso.fr/flux-rss.xml" />
 <language>fr</language>
 <pubDate>Sun, 11 Apr 2021 10:00:33 +0200</pubDate>
 <lastBuildDate>Sun, 11 Apr 2021 16:12:30 +0200</lastBuildDate>
 <item> <title>Consultez les dernières mises à jour du Joly Sociétés</title>
 <link>https://www.labase-lextenso.fr/consultez-les-dernieres-mises-jour-du-joly-societes-89</link>
 <description>Les éléments suivants ont été récemment mis en ligne*:41 formules relatives à l’approbation des comptes, à jour des mesures exceptionnelles prises en raison de l'épidémie de Covid-19*: assemblée annuelle tenue à distance, à huis clos, consultation par écrit des associés (ord. 25*mars 2020 et D.*10*avr. 2020 complétés par ord. n°*2020-1497, 2*déc. 2020 et D. n°*2020-1614, 18*déc. 2020, prorogés dernièrement par D.*n°*2021-255, 9*mars 2021) :SA à conseil d’administration (S_FC120_01 et*s.)SA à directoire et conseil de surveillance (S_FC120_05)24 formules relatives aux conventions réglementées, à jour des mesures exceptionnelles prises en raison de l'épidémie de Covid-19*:SAS à direction unique (S_FC190_17 et*s.)SAS pluripersonnelle à direction collégiale (S_FC190_22 et*s.)SARL (S_FC190_01 et*s.)SA à conseil d’administration (S_FC190_08 et*s.)11 formules relatives à la distribution de dividendes, à jour des mesures exceptionnelles prises en raison de l'épidémie de Covid-19*:SA à conseil d’administration (S_FD060_01 et*s.)SA à directoire et conseil de surveillance (S_FD060_22)*L’étude «*Assemblées d’actionnaires*» (S_EA150) de Thibault de Ravel d’Esclapon, à jour des mesures exceptionnelles prises en raison de l'épidémie de Covid-19 et de la codification du droit applicable aux sociétés cotées dans un nouveau chapitre du Code de commerce (ord. 16*sept. 2020 et D.*29 déc. 2020)</description>
 <guid isPermaLink="false">4600 at https://www.labase-lextenso.fr</guid>
 <source url="https://www.labase-lextenso.fr/flux-rss.xml">La base Lextenso</source>
</item>
 <item> <title>(JO) Publication de la loi améliorant l’efficacité de la justice de proximité et de la réponse pénale</title>
 (...)
</item>
</channel>
</rss>

Après, wget ou curl, c'est pareil. Selon les goûts. Logiciels avec lesquels on peut récupérer un contenu en se connectant, ou non.

[FrereTibius]

Bien vue mais si tu est connecté ton fichier XML n'est pas le même.
Autre exemple plus pertinent :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl "https://www.lemonde.fr/planete/article/2021/04/11/apres-avoir-recu-le-vaccin-contre-le-covid-19-des-fremissements-de-liberte_6076346_3244.html" > article.html

le seul moyen d'avoir l'intégralité de l'article est d'être connecter. comme tu peut le voir tu n'as qu'une partie de l'article. sauf que impossible de ce connecter avec curl (en tout cas je ne vois vraiment pas comment).

Je commence a me tournée vers lynx peut être que lui peut me permettre de me connecter automatiquement avant de m'enregistrée a page html.
en tout cas c'est pas aussi simple qu'un curl

une méthode viable serait la suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

lynx "https://www.lemonde.fr/planete/article/2021/04/11/apres-avoir-recu-le-vaccin-contre-le-covid-19-des-fremissements-de-liberte_6076346_3244.html"

mais il faudrais que je puisse dire que la commande doit faire down, down, enter, ...
un peut comme la commende yes qui renvoie oui a toute les question.
Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

yes | apt-get update

sauf que la sa ne répondrai pas y a chaque fois mais une série de touche prédéfinie.
Qui sait faire cela ?

[Flodelarab]

J'insiste : tu peux récupérer du contenu nécessitant un identifiant et un mot de passe sur un serveur HTTP ou FTP en indiquant cet identifiant et ce mot de passe.

Autre méthode : si le site nécessite un cookie, tu peux utiliser le cookie de ton navigateur pour faire marcher ton script avec wget ou curl. À mon avis, cette solution est la plus crédible et rapide, maintenant.

Note: si le site internet a décidé de casser les pieds des utilisateurs, il se peut qu'il n'y ait aucune solution "simple".