Utilisation de sftp et wget en ssh

[marouene_]

Bonjour,
je veux lancer une commande en ssh sur une machine distance, cette commande (sftp ou wget) me permettera de télécharger un fichier soit en ftp soit en http...j'aimerai savoir si c'est possible de connaitre le débit de téléchargement avec sftp ou wget?

[delovan]

Envoyé par marouene_

Bonjour,
je veux lancer une commande en ssh sur une machine distance, cette commande (sftp ou wget) me permettera de télécharger un fichier soit en ftp soit en http...j'aimerai savoir si c'est possible de connaitre le débit de téléchargement avec sftp ou wget?

Tu peux peut-etre compter la taille du fichier destination... Pas précis pour un sou, mais ça donne une idée...

[ben.IT]

que veux tu faire, le débit est indiqué avec wget :

Code :

1
2
 
wget http://www.developpez.net/template/images/logo.gif -o log

Code :

1
2
3
4
5
6
7
8
9
10
11
cat log 
--2011-05-21 12:57:51--  http://www.developpez.net/template/images/logo.gif
Resolving www.developpez.net... 87.98.128.200
Connecting to www.developpez.net|87.98.128.200|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 8596 (8.4K) [image/gif]
Saving to: "logo.gif.1"

     0K ........                                              100%  177K=0.05s

2011-05-21 12:57:51 (177 KB/s) - "logo.gif.1" saved [8596/8596]

tu peux toujours faire une recherche de motif avec grep si tu veux récupérer le nombre.
a +,
ben

[zipe31]

Salut,

En partant de l'idée de ben.IT (merci à lui) :

Code :

1
2
$ wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'
224 KB/s

[marouene_]

super je vais tester ca maitenant

[marouene_]

jai utilisé ta requete mais elle n'affiche rien !!

[zipe31]

Ma boule de cristal étant toujours en panne, merci d'étoffer ton retour de test

Quelle version de wget ?
Quelle commande as-tu tapée ?
Que renvoie la sortie sans le pipe vers grep ?
etc.

[marouene_]

Envoyé par zipe31

Ma boule de cristal étant toujours en panne, merci d'étoffer ton retour de test

Quelle version de wget ?
Quelle commande as-tu tapée ?
Que renvoie la sortie sans le pipe vers grep ?
etc.

j'ai exactement tapé la meme commande que vous, j'ai fait étape par étape au début, je trouve la ligne qui contient le débit mais en tapant cette commande

Code :

wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'

je n'obtient rien

[zipe31]

Ok.

Donc que renvoie la sortie de :

Code :

wget http://www.developpez.net/template/images/logo.gif

[marouene_]

elle affiche

Code :

1
2
3
4
5
6
7
8
 
Connecting to www.developpez.net|87.98.128.200|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 8596 (8.4K) [image/gif]
Saving to: "logo.gif.1"
 
     0K ........                                              100%  270K=0.05s
2011-05-23 12:30.25 (270 KB/s) - "logo.gif.1" saved

[zipe31]

Ben normalement elle devrait marcher

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ wget http://www.developpez.net/template/images/logo.gif
--2011-05-23 17:50:56--  http://www.developpez.net/template/images/logo.gif
Résolution de www.developpez.net... 87.98.128.200
Connexion vers www.developpez.net|87.98.128.200|:80...connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: 8596 (8,4K) [image/gif]
Sauvegarde en : «logo.gif»

100%[===================================================================================================================================================>] 8 596       --.-K/s   ds 0,04s

2011-05-23 17:50:56 (222 KB/s) - «logo.gif» sauvegardé [8596/8596]


$ wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'
221 KB/s
$

[ben.IT]

salut,
chez moi non plus ça ne fonctionne pas :

Code :

1
2
 
wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'

essayes ça, cela fonctionne chez moi :

Code :

1
2
3
 
wget http://www.developpez.net/template/images/logo.gif -o log && grep -oE "[[:digit:]]* KB/s" log && rm log
178 KB/s

Ici, je passe par un fichier temporaire puis je fais un grep et le supprime.

a+,
ben

[ben.IT]

je viens de tester la regex que j'ai posté précédemment sur mon pc de bureau, elle ne fonctionne que si le motif contient KB/S (kilobit par seconde) or il se peut que tu télécharges plus vite en MB/s ou GB/s et dans ce cas la regex ne fonctionne plus :

en voici une plus générique qui devrait mieux fonctionner :

Code :

1
2
 
grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s" log

soit l'expression totale :

Code :

1
2
wget https://bitbucket.org/galaxy/galaxy-central/get/fd3391bcd903.tar.gz -o log && grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s" log && rm -f log
388 KB/s

a+
ben

[zipe31]

Envoyé par ben.IT

je viens de tester la regex que j'ai posté précédemment sur mon pc de bureau, elle ne fonctionne que si le motif contient KB/S (kilobit par seconde) or il se peut que tu télécharges plus vite en MB/s ou GB/s et dans ce cas la regex ne fonctionne plus :

en voici une plus générique qui devrait mieux fonctionner :

Code :

Ah oui effectivement, merci

Par contre ça n'explique toujours pas pourquoi ça ne marche pas à la volée, mais qu'avec un fichier de log

[ben.IT]

salut zip31 ,
je viens de faire un petit test :

Code :

1
2
3
4
 
wget http://www.developpez.net/template/images/logo.gif > log
cat log
#vide

alors que :

Code :

1
2
3
4
5
6
7
8
9
10
11
 
wget http://www.developpez.net/template/images/logo.gif 2> log
cat log
--2011-05-24 15:11:00--  http://www.developpez.net/template/images/logo.gif
Proxy request sent, awaiting response... 200 OK
Length: 8596 (8.4K) [image/gif]
Saving to: `logo.gif.27'
 
     0K ........                                              100%  123M=0s
 
2011-05-24 15:11:00 (123 MB/s) - `logo.gif.27' saved [8596/8596]

wget renvoie son affichage vers la sortie d'erreur ! !
Pour faire une recherche de motif à la volée avec grep, il faut donc rediriger la sortie d'erreur contenant le motif d'intérêt vers la sortie standard comme suit :

Code :

wget http://www.developpez.net/template/images/logo.gif 2>&1

on peut alors utiliser un pipe et appliquer grep :

Code :

1
2
wget http://www.developpez.net/template/images/logo.gif 2>&1 | grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s"
126 MB/s

je pense que la solution au problème de départ est :

Code :

wget http://www.developpez.net/template/images/logo.gif 2>&1 | grep -oE "[[:digit:]]*[[:blank:]][[:alpha:]]B/s"

à bientôt,
ben

[zipe31]

Salut ben,

Pour faire une recherche de motif à la volée avec grep, il faut donc rediriger la sortie d'erreur contenant le motif d'intérêt vers la sortie standard comme suit :

Code :

wget http://www.developpez.net/template/images/logo.gif 2>&1

Ben justement c'est ce qui est bizarre dans la mesure où c'est ce qu'est sensé faire le "-o-" :

Code :

1
2
-o log => renvoie dans un fichier
-o- => renvoie vers la sortie standard

Va comprendre Charles

[ben.IT]

ok, je ne connaissais pas, je n'ai pas vu l'option -o- dans la man page de wget ?
Cette différence peut elle être liée à la distribution ? Je suis sous Fedora 14 ...

Code :

1
2
3
4
5
6
7
 
uname -a
Linux benoit 2.6.35.13-91.fc14.i686 #1 SMP Tue May 3 13:36:36 UTC 2011 i686 i686 i386 GNU/Linux
 
#wget
type wget
wget is hashed (/usr/bin/wget)

a+,
ben

[N_BaH]

wget -o- n'affiche rien
par contre, ça crée un fichier nommé -

[zipe31]

Bon on va essayé de détailler. Après il est fort possible qu'en fonction des versions de chacun de wget, de son environnement (système, distrib, noyau, etc.) et que sais-je encore, il y ait des différences

# Listing du répertoire
$ ls


# La commande qui marche chez moi et qui me dirige la sortie initialement prévue dans un fichier (-o) vers la sortie standard (-). Le grep fonctionnant bien en me retournant le résultat escompté.
$ wget -o- http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'
223 KB/s


# Listing du répertoire pour constater que le fichier est bien présent
$ ls
logo.gif


# On efface
$ rm -f logo.gif


# La même commande sans le pipe vers le grep, qui me renvoie la sortie verbeuse
$ wget -o- http://www.developpez.net/template/images/logo.gif
--2011-05-25 06:31:23-- http://www.developpez.net/template/images/logo.gif
Résolution de www.developpez.net... 87.98.128.200
Connexion vers www.developpez.net|87.98.128.200|:80...connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: 8596 (8,4K) [image/gif]
Sauvegarde en : «logo.gif»

0K ........ 100% 221K=0,04s

2011-05-25 06:31:23 (221 KB/s) - «logo.gif» sauvegardé [8596/8596]


# On liste à nouveau et le fichier est encore là
$ ls
logo.gif


# On re-efface
$ rm -f logo.gif


# Maintenant on redirige dans un fichier avec l'option "-o log". On constate qu'il n'y a aucune sortie à l'écran
$ wget -o log http://www.developpez.net/template/images/logo.gif


# On liste et on a donc le fichier de log en plus (log)
$ ls
log logo.gif


# Et son contenu
$ cat log
--2011-05-25 06:31:54-- http://www.developpez.net/template/images/logo.gif
Résolution de www.developpez.net... 87.98.128.200
Connexion vers www.developpez.net|87.98.128.200|:80...connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: 8596 (8,4K) [image/gif]
Sauvegarde en : «logo.gif»

0K ........ 100% 222K=0,04s

2011-05-25 06:31:55 (222 KB/s) - «logo.gif» sauvegardé [8596/8596]


# On efface
$ rm -f log*


# Maintenant la commande seule (sans redirection), qui affiche donc sur la sortie standard et on va essayer de filtrer au travers d'un pipe via grep... Comme on peut le constater, le pipe et le grep ne filtre rien du tout
# D'où la nécessité du "-o-"
$ wget http://www.developpez.net/template/images/logo.gif | egrep -o '[[:digit:]]* KB/s'
--2011-05-25 07:30:08-- http://www.developpez.net/template/images/logo.gif
Résolution de www.developpez.net... 87.98.128.200
Connexion vers www.developpez.net|87.98.128.200|:80...connecté.
requête HTTP transmise, en attente de la réponse...200 OK
Longueur: 8596 (8,4K) [image/gif]
Sauvegarde en : «logo.gif»

100%[=============================>] 8 596 --.-K/s ds 0,04s

2011-05-25 07:30:09 (221 KB/s) - «logo.gif» sauvegardé [8596/8596]


# Listing
$ ls
logo.gif



Voilà, si quelqu'un a les explications, je suis preneur

Ma version de wget :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
$ wget -V                  
GNU Wget 1.12 compilé sur linux-gnu.          

+digest +ipv6 +nls +ntlm +opie +md5/openssl +https -gnutls +openssl 
-iri                                                                

Wgetrc :
    /etc/wgetrc (système)
Locale : /usr/share/locale
Compilation : gcc -DHAVE_CONFIG_H -DSYSTEM_WGETRC="/etc/wgetrc"
    -DLOCALEDIR="/usr/share/locale" -I. -I../lib -O2 -g -pipe -Wformat
    -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -fexceptions
    -fstack-protector --param=ssp-buffer-size=4 -fomit-frame-pointer
    -march=i586 -mtune=generic -fasynchronous-unwind-tables
Lien : gcc -O2 -g -pipe -Wformat -Werror=format-security
    -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector
    --param=ssp-buffer-size=4 -fomit-frame-pointer -march=i586
    -mtune=generic -fasynchronous-unwind-tables -Wl,--as-needed
    -Wl,--no-undefined -Wl,-z,relro /usr/lib/libssl.so
    /usr/lib/libcrypto.so -ldl -lrt ftp-opie.o openssl.o http-ntlm.o
    gen-md5.o ../lib/libgnu.a

Copyright © 2009 Free Software Foundation, Inc.
Licence GPLv3+: GNU GPL version 3 ou ultérieure
<http://www.gnu.org/licenses/gpl.html>.
Logiciel libre : vous êtes libre de le modifier ou de le redistribuer.
Il n'y a AUCUNE GARANTIE, dans les limites permises par la loi.

Écrit à l'origine par Hrvoje Niksic <hniksic@xemacs.org>.
Actuellement maintenu par Micah Cowan <micah@cowan.name>.
Transmettre les anomalies ou demandes à <bug-wget@gnu.org>.

[marouene_]

ca n'as pas marché pour moi, peut-etre parceque j'utilise SSH en java donc j'arrive pas à recupperer la valeur pour l'afficher dans une variable ?