Script Bash > Decrypter une page html

Bonjour,

Pour un projet étudiant je dois créer un script bash qui va me permettre de récupérer chaque jour des fichiers en ligne via HTTPS.
Pour cela je dois venir me connecter à l'aide d'un curl à une adresse que je nommerais http://test.com/.
Sur cette adresse, chaque jour est déposé un ou plusieurs fichiers .xml comme ceci :

Code:

---

1 2 3 4

<tr><td><a href='https://test.com/fichier1.xml' target='_blank'>file1.xml</a><td>09 April 2019 10:00:00</td><td>1 KB</td></tr> <tr><td><a href='https://test.com/fichier2.xml' target='_blank'>file2.xml</a><td>09 April 2019 10:00:00</td><td>1 KB</td></tr> <tr><td><a href='https://test.com/fichier3.xml' target='_blank'>file3.xml</a><td>08 April 2019 10:00:00</td><td>1 KB</td></tr>

---

Débutant en programmation, je me permets de vous solliciter car j'aimerais pouvoir venir récupérer uniquement les fichiers xml du jour au moment où je lance mon script. Pour cela j'aimerais aussi en + en sortie obtenir une liste des urls utilisées, sur l'exemple ci-dessus et en se disant que nous sommes le 9 avril, j'aimerais obtenir une liste de ce style :

https://test.com/fichier1.xml
https://test.com/fichier2.xml

Une idée ?
Merci par avance.

Climux

Bonjour :coucou:

Citation:

---

Merci par avance.

---

Ce n'est pas poli.

Citation:

---

Une idée ?

---

Avant le service, on dit "s'il vous plaît".
Après le service, on dit "merci".
Dire merci à l'avance signifie que l'autre est un esclave; C'est équivalent à "Merci mon chien".
Ce n'est pas poli.

Bon. Tu vas télécharger tes fichiers et en faire la liste.
Quelle est la difficulté ?
Qu'as-tu fait ?

Bonjour,

le XML se traite avec XSLT.

salut,

Citation:

---

Envoyé par Climux

je dois (...) curl (...) http://test.com/.
(...) chaque jour est déposé un ou plusieurs fichiers .xml comme ceci :

Code:

---

(...)

---

(...) j'aimerais obtenir une liste de ce style :

https://test.com/fichier1.xml
https://test.com/fichier2.xml

---

un truc comme ça pourrait fonctionner :

Code:

---

curl -sk https://test.com/ | grep -Po "href=.\Khttps://test.com.+?xml"

---

Bonjour à tous,

Tout d'abord merci pour vos retours.

Citation:

---

Envoyé par BufferBob

salut,
un truc comme ça pourrait fonctionner :

Code:

---

curl -sk https://test.com/ | grep -Po "href=.\Khttps://test.com.+?xml"

---

---

@BufferBob, merci de ton aide, cependant j'aimerais établir la liste uniquement avec les fichiers du jour :(

Citation:

---

Envoyé par Climux

j'aimerais établir la liste uniquement avec les fichiers du jour

---

:koi:

tu peux donner un exemple clair de ce que tu as au départ et ce que tu attends à l'arrivée stp ?

Désolé si je n'ai pas été clair. Je m'explique :

J'ai en entrée un fichier .html construit comme cela :

Code:

---

1 2 3 4

<table cellspacing='0'><tr><th>LeNom</th><th>LaDate</th><th>LePoids</th></tr> <tr><td><a href='https://test.com/truc1.xml' target='_blank'>fichier1.xml</a><td>18 April 2019 10:00:00</td><td>1 KB</td></tr> <tr><td><a href='https://test.com/truc2.xml' target='_blank'>fichier2.xml</a><td>18 April 2019 10:00:00</td><td>1 KB</td></tr> <tr><td><a href='https://test.com/truc3.xml' target='_blank'>fichier3.xml</a><td>11 April 2019 10:00:00</td><td>1 KB</td></tr>

---

Disons que je lance mon script et que nous sommes aujourd'hui le 18 avril, je voudrais donc en sortie ceci :

Code:

---

1 2	https://test.com/truc1.xml https://test.com/truc2.xml

---

En gros, je voudrais parcourir ma page html et prélever uniquement les lien url qui sont à la date du jour.
Voila :)

ok au temps pour moi, j'avais pas fais gaffe à la date dans la suite de la ligne

alors on peut imaginer un truc comme ça :

Code:

---

curl -sk https://test.com/ | grep -Po "href=.\Khttps://test.com.+?xml(?=.+18 April 2019)"

---

quant à prendre la date du jour, telle qu'elle semble être spécifiée dans l'exemple que tu donnes, on peut touiller ça avec LANG=C date +"%d %A %Y", ce qui à l'arrivée pourrait donner quelque chose du genre :

Code:

---

curl -sk https://test.com/ | grep -Po "href=.\Khttps://test.com.+?xml(?=.+$(LANG=C date +'%d %A %Y'))"

---

Merci beaucoup ! Ça marche nickel ! :D

Juste dernière question si je peux me permettre :

Code:

---

grep -Po "href=.\Khttps://www.test.com.+?xml(?=.+09 April 2019)"`

---

Pour prévoir le coup, si demain mes fichiers ne sont plus des .xml, mais des .pdf ou .xlsx etc (en gros n'importe quel format) ... je remplace le "+?xml" par quoi ? :)

Les fichiers xml et html sont des fichiers texte plats.
Les pdf et xlsx ne sont pas des fichiers texte.
En général, pas de solution. Si ce n'est, un copier/coller à la main.
Les URLs peuvent apparaître par chance dans le fichier, mais bon.

Citation:

---

Envoyé par Climux

Pour prévoir le coup, si demain mes fichiers ne sont plus des .xml, mais des .pdf ou .xlsx etc (en gros n'importe quel format) ... je remplace le "+?xml" par quoi ? :)

---

par l'extension des nouveaux fichiers :lol:

s'il peut y avoir 3 extensions différentes par exemple ça pourrait donner .+?(xml|pdf|xlsx)

au delà du bash, ce qu'on utilise ici ce sont des expression rationnelles (regular expressions)

Merci beaucoup du coup de main ! Je mets le sujet en résolu :D.

mouais. grep, c'est pas un "script bash".

Re-Bonjour à tous,

Je me permets de déterrer cet ancien sujet pour une petite question.

Aujourd'hui j'utilise cette solution pour récupérer mes fichiers :

Code:

---

grep -Po "href=.\Khttps://www.test.com.+?(pdf|xlsx|pptx)(?=.+$(LANG=C date +'%d %B %Y'))"`

---

Et cela fonctionne, sauf pour un cas :(
En effet, si mon lien comporte des espaces, impossible de récupérer mon fichier, exemple :

Code:

---

1 2	<tr><td><a href='https://test.com/truc1.xml' target='_blank'>fichier1.xml</a><td>18 April 2019 10:00:00</td><td>1 KB</td></tr> <tr><td><a href='https://test.com/truc1 version 2.pdf' target='_blank'>truc1 version 2.pdf</a><td>19 April 2019 10:00:00</td><td>1 KB</td></tr>

---

Dans ce cas là, si ma page html est de ce type, mon script récupérera le fichier "truc1.xml" mais pas le fichier "truc1 version 2.pdf" ...
Une idée pour me débloquer ?

Climux

Désolé de jouer encore le rabat-joie, mais une URL ne peut pas contenir d'espaces.

:roll: Suivant !

salut,

Citation:

---

Envoyé par Climux

Code:

---

grep -Po "href=.\Khttps://www.test.com.+?(pdf|xlsx|pptx)(?=.+$(LANG=C date +'%d %B %Y'))"`

---

(...) exemple :

Code:

---

1 2	<tr><td><a href='https://test.com/truc1.xml' target='_blank'>fichier1.xml</a><td>18 April 2019 10:00:00</td><td>1 KB</td></tr> <tr><td><a href='https://test.com/truc1 version 2.xml' target='_blank'>fichier1.xml</a><td>19 April 2019 10:00:00</td><td>1 KB</td></tr>

---

---

pour le moins il y a un problème entre ta regex et les données d'exemple, en l'état c'est normal que rien ne match

Citation:

---

Envoyé par Flodelarab

Désolé de jouer encore le rabat-joie, mais une URL ne peut pas contenir d'espaces.

:roll: Suivant !

---

Et pourtant ... Je te confirme que j'en reçois bien, et je dois les traiter.

Citation:

---

Envoyé par BufferBob

salut,



pour le moins il y a un problème entre ta regex et les données d'exemple, en l'état c'est normal que rien ne match

---

Ah ? Ca marche de mon côté :lol: Où vois-tu une erreur ?

C'est peut-être aussi parce qu'on est plus en avril mais en août... et que c'est pas https://www.test.com mais https://test.com.

Citation:

---

j'en reçois bien,

---

Que signifie cette phrase ? Quel est le contexte ? D'où vient ce fichier ? Xml ? Qui l'a écrit ? Le but est-il de l'intégrer à une page html ?


Une URL n'accepte pas toute sorte de caractère.
Pour "intégrer" des caractères exotiques, on écrit généralement un "%" suivi du code hexadécimal de son code "ascii".
En l'occurrence, une espace a pour code 32₁₀, soit 20₁₆.

Code:

---

https://test.com/truc1%20version%202.xml

---

Citation:

---

Envoyé par Climux

Ah ? Ca marche de mon côté :lol: Où vois-tu une erreur ?

---

là où j'ai mis des couleurs dans mon précédent post ;)

disedorgue t'a en partie répondu, la regex cherche à matcher le fqdn www.test.com alors que les données contiennent seulement test.com et la date sur chaque enregistrement est une subtilité à prendre en compte également
mais surtout ce n'est pas avec la regex (pdf|xlsx|pptx) que tu vas pouvoir matcher un nom de fichier avec l'extention xml

Ok je reprends :lol:

Je dois me connecter à une page html.
Dans cette page se trouve plusieurs choses sous cette forme :

Code:

---

1 2	<tr><td><a href='https://www.test.com/truc1.xml' target='_blank'>fichier1.xml</a><td>18 April 2019 10:00:00</td><td>1 KB</td></tr> <tr><td><a href='https://www.test.com/truc2.pdf' target='_blank'>truc2.pdf</a><td>19 April 2019 10:00:00</td><td>1 KB</td></tr>

---

Etc ...
Ce sont des fichiers uploadé que je dois récupérer chaque jour.

De mon côté, jusqu'à aujourd'hui, je récupérais mon contenu comme ceci :
1 boucle pour le xml (car il est traité à part après) :

Code:

---

grep -Po "href=.\Khttps://www.test.com.+?xml(?=.+$(LANG=C date +'%d %B %Y'))"`

---

1 autre boucle pour le reste :

Code:

---

grep -Po "href=.\Khttps://www.test.com.+?(pdf|xlsx|pptx)(?=.+$(LANG=C date +'%d %B %Y'))"`

---

Seulement j'ai remarqué que parfois, il arrivait que je trouve du contenu sous cette forme :

Code:

---

<tr><td><a href='https://www.test.com/truc1 version 2.pdf' target='_blank'>truc1 version 2.pdf</a><td>19 April 2019 10:00:00</td><td>1 KB</td></tr>

---

Et donc avec des espaces dans le lien !

Le problème c'est que en l'état je ne peux pas récupérer "truc1 version 2.pdf" car il va être récupéré comme ceci :

Code:

---

1 2 3

truc1 version 2.pdf

---

Concernant la date, c'était seulement pour l'exemple, je n'ai pas de problème à ce niveau-là. Mon script est lancé tous les jours et donc je récupère chaque jour ce qui a été uploadé.

J'espère vous avoir apporté un peu plus de précisions :D

Climux

:cristal:

Tu comprends bien qu'on ne peut pas corriger ton mauvais code si tu ne donnes pas ton mauvais code.

C'est bien toi qui dois protéger ou remplacer les espaces. Ce que, manifestement, tu ne fais pas.