Discussion :

[kafifi]

Bonsoir,

Pourriez-vous m'aider à résoudre le problème suivant ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
#!/bin/bash
 
# Récupération / mise en forme de l'url du fichier à télécharger :
urld[1]=`cat "/user/url.lst" | grep ^url1 | sed s/url1=// `
 
# Affiche l'url pour vérifier le stockage correct dans le tableau (OK):
echo i= 1 :  ${urld[1]}
 
# Télécharge la page web (NOK).
wget ${urld[1]}

contenu de /user/url.lst

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

url1=<a href="http://www.monsite1.com.index.php%od/" target="_blank">www.monsite1.com.index.php</a>

Bien que la page à télécharger soit correctement stockée dans le tableau, le téléchargement ne marche pas.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
http:// <a href="http://www.monsite1.com.index.php%od/" target="_blank">www.monsite1.com.index.php%OD</a>
=> index.php%0D
Bad Request

Il semble que ce %OD apparaisse au moment ou je lis et stocke le contenu du fichier externe.
Pouvez-vous m'expliquer ce qui se passe, et me dire comment supprimer ce %OD ?

Merci pour votre aide.

[Michaël]

je crois que c'est à cause des caractères de retour qui sont pris quand tu récupères ton url de url.lst. tu dois avoir des caractères de retour microsoft et non des caractères unix.
télécharges dos2unix et fais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

dos2unix /user/url.lst

et relances ton script. comment tu génères ce fichier url.lst ?

bref pour supprimer cela, tu fais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wget $(sed 's/%OD//' ${urld[1]})

c'est pas beau mais ça devrait marcher.

[kafifi]

je crois que c'est à cause des caractères de retour qui sont pris quand tu récupères ton url de url.lst. tu dois avoir des
aractères de retour microsoft et non des caractères unix.
télécharges dos2unix et fais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
os2unix /user/url.lst

et relances ton script. comment tu génères ce fichier url.lst ?

Bien vu ! Le fichier usr.lst est généré sur une machine Window, à partir de "notepad++",
le pb vient de là. Je viens d'essayer avec un "usr.lst" créé sous Linux, tout fonctionne parfaitement. En revanche, la moulinette dos2unix ne corrige pas le pb du fichier sous Windows.

De plus, bizarrement, après quelques modifications dans mon fichier usr.lst, je me retrouve plusieurs %OD concaténés en fin de ligne au lieu d'un seul ...

bref pour supprimer cela, tu fais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wget $(sed 's/%OD//' ${urld[1]})

c'est pas beau mais ça devrait marcher.

Cette syntaxe ne marche pas, la console retourne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
aucun fichier ou répertoire de ce typete.fr/index.php
wget url manquant

Peut-on filtrer dès l'enregistrement dans le tableau ? J'ai essayé cette syntaxe mais elle ne marche pas. Ai-je loupé quelque chose ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
urld[1]=`cat "/user/url.lst" | grep ^url1 | sed s/url1=// | sed s/%0D//g `

Help

[vosaray]

Pour pruner les retour chariots windozines tu peux essayer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -pi.save -e 's/\r//g' /user/url.lst

[kafifi]

Pour pruner les retour chariots windozines tu peux essayer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -pi.save -e 's/\r//g' /user/url.lst

Merci, mais pour ce projet, je n'ai pas la possibilité d'utiliser PERL.
Je dois trouver une solution via le script bash.

[Celelibi]

la solution de Michaël devrait marcher, à ceci près que c'est wget qui transforme le \r en %0D, donc ce n'est pas %0D qu'il faut supprimer, mais \r.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

urld[1]=`cat "/user/url.lst" | grep ^url1 | sed s/url1=// | sed s/\r$//g