Utilisation de sftp et wget en ssh

Version imprimable

20/05/2011, 16h25
marouene_

Utilisation de sftp et wget en ssh

Bonjour,
je veux lancer une commande en ssh sur une machine distance, cette commande (sftp ou wget) me permettera de télécharger un fichier soit en ftp soit en http...j'aimerai savoir si c'est possible de connaitre le débit de téléchargement avec sftp ou wget?
20/05/2011, 16h45
delovan

Citation:

Envoyé par marouene_

Bonjour,
je veux lancer une commande en ssh sur une machine distance, cette commande (sftp ou wget) me permettera de télécharger un fichier soit en ftp soit en http...j'aimerai savoir si c'est possible de connaitre le débit de téléchargement avec sftp ou wget?

Tu peux peut-etre compter la taille du fichier destination... Pas précis pour un sou, mais ça donne une idée...

que veux tu faire, le débit est indiqué avec wget :

Code:

1
2
 
wget http://www.developpez.net/template/images/logo.gif -o log

Code:

1
2
3
4
5
6
7
8
9
10
11
cat log 
--2011-05-21 12:57:51--  http://www.developpez.net/template/images/logo.gif
Resolving www.developpez.net... 87.98.128.200
Connecting to www.developpez.net|87.98.128.200|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 8596 (8.4K) [image/gif]
Saving to: "logo.gif.1"

     0K ........                                              100%  177K=0.05s

2011-05-21 12:57:51 (177 KB/s) - "logo.gif.1" saved [8596/8596]

tu peux toujours faire une recherche de motif avec grep si tu veux récupérer le nombre.
a +,
ben

Salut,

En partant de l'idée de ben.IT (merci à lui) :
Code:

1 2 $ wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s' 224 KB/s
;)

21/05/2011, 16h42
marouene_

super je vais tester ca maitenant :)
22/05/2011, 01h31
marouene_

jai utilisé ta requete mais elle n'affiche rien !!
22/05/2011, 09h23
zipe31

Ma boule de cristal étant toujours en panne, merci d'étoffer ton retour de test :(

Quelle version de wget ?
Quelle commande as-tu tapée ?
Que renvoie la sortie sans le pipe vers grep ?
etc.
23/05/2011, 00h06
marouene_

Citation:

Envoyé par zipe31

Ma boule de cristal étant toujours en panne, merci d'étoffer ton retour de test :(

Quelle version de wget ?
Quelle commande as-tu tapée ?
Que renvoie la sortie sans le pipe vers grep ?
etc.

j'ai exactement tapé la meme commande que vous, j'ai fait étape par étape au début, je trouve la ligne qui contient le débit mais en tapant cette commande

Code:

wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'

je n'obtient rien
23/05/2011, 08h01
zipe31

Ok.

Donc que renvoie la sortie de :

Code:

wget http://www.developpez.net/template/images/logo.gif

elle affiche

Code:

1
2
3
4
5
6
7
8
 
Connecting to www.developpez.net|87.98.128.200|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 8596 (8.4K) [image/gif]
Saving to: "logo.gif.1"
 
     0K ........                                              100%  270K=0.05s
2011-05-23 12:30.25 (270 KB/s) - "logo.gif.1" saved

Ben normalement elle devrait marcher :(

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ wget http://www.developpez.net/template/images/logo.gif
--2011-05-23 17:50:56--  http://www.developpez.net/template/images/logo.gif
Résolution de www.developpez.net... 87.98.128.200
Connexion vers www.developpez.net|87.98.128.200|:80...connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: 8596 (8,4K) [image/gif]
Sauvegarde en : «logo.gif»

100%[===================================================================================================================================================>] 8 596       --.-K/s   ds 0,04s

2011-05-23 17:50:56 (222 KB/s) - «logo.gif» sauvegardé [8596/8596]


$ wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'
221 KB/s
$

salut,
chez moi non plus ça ne fonctionne pas :
Code:

1 2 wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'
essayes ça, cela fonctionne chez moi :
Code:

1 2 3 wget http://www.developpez.net/template/images/logo.gif -o log && grep -oE "[[:digit:]]* KB/s" log && rm log 178 KB/s
Ici, je passe par un fichier temporaire puis je fais un grep et le supprime.

a+,
ben ;)

24/05/2011, 08h41
ben.IT
je viens de tester la regex que j'ai posté précédemment sur mon pc de bureau, elle ne fonctionne que si le motif contient KB/S (kilobit par seconde) or il se peut que tu télécharges plus vite en MB/s ou GB/s ;) et dans ce cas la regex ne fonctionne plus :

en voici une plus générique qui devrait mieux fonctionner :
Code:

1 2 grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s" log
soit l'expression totale :
Code:

1 2 wget https://bitbucket.org/galaxy/galaxy-central/get/fd3391bcd903.tar.gz -o log && grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s" log && rm -f log 388 KB/s
a+
ben
24/05/2011, 13h22
zipe31
Citation:
Envoyé par ben.IT

je viens de tester la regex que j'ai posté précédemment sur mon pc de bureau, elle ne fonctionne que si le motif contient KB/S (kilobit par seconde) or il se peut que tu télécharges plus vite en MB/s ou GB/s ;) et dans ce cas la regex ne fonctionne plus :

en voici une plus générique qui devrait mieux fonctionner :

Code:

1 2 grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s" log
Ah oui effectivement, merci :ccool:

Par contre ça n'explique toujours pas pourquoi ça ne marche pas à la volée, mais qu'avec un fichier de log :?

rediriger sortie erreur : 2>&1

salut zip31 ;),
je viens de faire un petit test :
Code:

1 2 3 4 wget http://www.developpez.net/template/images/logo.gif > log cat log #vide
alors que :
Code:

1 2 3 4 5 6 7 8 9 10 11 wget http://www.developpez.net/template/images/logo.gif 2> log cat log --2011-05-24 15:11:00-- http://www.developpez.net/template/images/logo.gif Proxy request sent, awaiting response... 200 OK Length: 8596 (8.4K) [image/gif] Saving to: `logo.gif.27' 0K ........ 100% 123M=0s 2011-05-24 15:11:00 (123 MB/s) - `logo.gif.27' saved [8596/8596]
wget renvoie son affichage vers la sortie d'erreur ! !:calim2:
Pour faire une recherche de motif à la volée avec grep, il faut donc rediriger la sortie d'erreur contenant le motif d'intérêt vers la sortie standard comme suit :

Code:

wget http://www.developpez.net/template/images/logo.gif 2>&1

on peut alors utiliser un pipe et appliquer grep :
Code:

1 2 wget http://www.developpez.net/template/images/logo.gif 2>&1 | grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s" 126 MB/s
je pense que la solution au problème de départ est :

Code:

wget http://www.developpez.net/template/images/logo.gif 2>&1 | grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s"

à bientôt,
ben :ccool:

24/05/2011, 18h12
zipe31
Salut ben,

Citation:

Pour faire une recherche de motif à la volée avec grep, il faut donc rediriger la sortie d'erreur contenant le motif d'intérêt vers la sortie standard comme suit :

Code:

wget http://www.developpez.net/template/images/logo.gif 2>&1

Ben justement c'est ce qui est bizarre dans la mesure où c'est ce qu'est sensé faire le "-o-" :
Code:

1 2 -o log => renvoie dans un fichier -o- => renvoie vers la sortie standard
Va comprendre Charles :?
24/05/2011, 22h36
ben.IT
ok, je ne connaissais pas, je n'ai pas vu l'option -o- dans la man page de wget ?
Cette différence peut elle être liée à la distribution ? Je suis sous Fedora 14 ...
Code:

1 2 3 4 5 6 7 uname -a Linux benoit 2.6.35.13-91.fc14.i686 #1 SMP Tue May 3 13:36:36 UTC 2011 i686 i686 i386 GNU/Linux #wget type wget wget is hashed (/usr/bin/wget)
a+,
ben ;)
24/05/2011, 23h23
N_BaH

wget -o- n'affiche rien :(
par contre, ça crée un fichier nommé -

Bon on va essayé de détailler. Après il est fort possible qu'en fonction des versions de chacun de wget, de son environnement (système, distrib, noyau, etc.) et que sais-je encore, il y ait des différences :?

# Listing du répertoire
$ ls

# La commande qui marche chez moi et qui me dirige la sortie initialement prévue dans un fichier (-o) vers la sortie standard (-). Le grep fonctionnant bien en me retournant le résultat escompté.
$ wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'
223 KB/s

# Listing du répertoire pour constater que le fichier est bien présent
$ ls
logo.gif

# On efface
$ rm -f logo.gif

# La même commande sans le pipe vers le grep, qui me renvoie la sortie verbeuse
$ wget -o- http://www.developpez.net/template/images/logo.gif
--2011-05-25 06:31:23-- http://www.developpez.net/template/images/logo.gif
Résolution de www.developpez.net... 87.98.128.200
Connexion vers www.developpez.net|87.98.128.200|:80...connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: 8596 (8,4K) [image/gif]
Sauvegarde en : «logo.gif»

0K ........ 100% 221K=0,04s

2011-05-25 06:31:23 (221 KB/s) - «logo.gif» sauvegardé [8596/8596]

# On liste à nouveau et le fichier est encore là
$ ls
logo.gif

# On re-efface
$ rm -f logo.gif

# Maintenant on redirige dans un fichier avec l'option "-o log". On constate qu'il n'y a aucune sortie à l'écran
$ wget -o log http://www.developpez.net/template/images/logo.gif

# On liste et on a donc le fichier de log en plus (log)
$ ls
log logo.gif

# Et son contenu
$ cat log
--2011-05-25 06:31:54-- http://www.developpez.net/template/images/logo.gif
Résolution de www.developpez.net... 87.98.128.200
Connexion vers www.developpez.net|87.98.128.200|:80...connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: 8596 (8,4K) [image/gif]
Sauvegarde en : «logo.gif»

0K ........ 100% 222K=0,04s

2011-05-25 06:31:55 (222 KB/s) - «logo.gif» sauvegardé [8596/8596]

# On efface
$ rm -f log*

# Maintenant la commande seule (sans redirection), qui affiche donc sur la sortie standard et on va essayer de filtrer au travers d'un pipe via grep... Comme on peut le constater, le pipe et le grep ne filtre rien du tout :(
# D'où la nécessité du "-o-"
$ wget http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'
--2011-05-25 07:30:08-- http://www.developpez.net/template/images/logo.gif
Résolution de www.developpez.net... 87.98.128.200
Connexion vers www.developpez.net|87.98.128.200|:80...connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: 8596 (8,4K) [image/gif]
Sauvegarde en : «logo.gif»

100%[=============================>] 8 596 --.-K/s ds 0,04s

2011-05-25 07:30:09 (221 KB/s) - «logo.gif» sauvegardé [8596/8596]

# Listing
$ ls
logo.gif

Voilà, si quelqu'un a les explications, je suis preneur ;)

Ma version de wget :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 $ wget -V GNU Wget 1.12 compilé sur linux-gnu. +digest +ipv6 +nls +ntlm +opie +md5/openssl +https -gnutls +openssl -iri Wgetrc : /etc/wgetrc (système) Locale : /usr/share/locale Compilation : gcc -DHAVE_CONFIG_H -DSYSTEM_WGETRC="/etc/wgetrc" -DLOCALEDIR="/usr/share/locale" -I. -I../lib -O2 -g -pipe -Wformat -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -fomit-frame-pointer -march=i586 -mtune=generic -fasynchronous-unwind-tables Lien : gcc -O2 -g -pipe -Wformat -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -fomit-frame-pointer -march=i586 -mtune=generic -fasynchronous-unwind-tables -Wl,--as-needed -Wl,--no-undefined -Wl,-z,relro /usr/lib/libssl.so /usr/lib/libcrypto.so -ldl -lrt ftp-opie.o openssl.o http-ntlm.o gen-md5.o ../lib/libgnu.a Copyright © 2009 Free Software Foundation, Inc. Licence GPLv3+: GNU GPL version 3 ou ultérieure <http://www.gnu.org/licenses/gpl.html>. Logiciel libre : vous êtes libre de le modifier ou de le redistribuer. Il n'y a AUCUNE GARANTIE, dans les limites permises par la loi. Écrit à l'origine par Hrvoje Niksic <hniksic@xemacs.org>. Actuellement maintenu par Micah Cowan <micah@cowan.name>. Transmettre les anomalies ou demandes à <bug-wget@gnu.org>.

06/06/2011, 16h05
marouene_

ca n'as pas marché pour moi, peut-etre parceque j'utilise SSH en java donc j'arrive pas à recupperer la valeur pour l'afficher dans une variable ?