[Bash] Barre de progression YAD en fonction de log

Version imprimable

14/03/2018, 15h32
PopCorn78

[Bash] Barre de progression YAD en fonction de log

Bonjour à tous,

Je me permets de lancer une discussion pour savoir si l'un d'entre vous pourrait m'aider a écrire un petit script.
Après avoir regarder plusieurs Forum/cours etc.. je n'arrive pas a monter quelque chose qui fonctionne.

Le sujet est le suivant:

J'aimerai créer une barre de progression YAD (jusqu'à la je me débrouille ;) ) qui traduit un fichier de log (fichier qui s'actualise en temps réel). Pour faire simple je récupère des fichiers en TFTP via une console (GTKTERM). Le transfère de ses fichier prends environ 2H donc j'aimerai placer une barre de progression qui m'indique ou j'en suis. Lorsque je regarde mon log de transfert chaque retour de chariot correspond a un fichier transférer. Lorsque le log m'indique un fail je pourrait alors faire remonter un message d'erreur et arrêter le transfert. (je ne sais pas si c'est bien clair)
En regardant la cmd AWK je me dis que tout est possible mais que je ne la gère pas encore (hé oui je suis comme vous pouvez dire un noob en la matière).

Y aurait-il parmis vous tous un petit génie qui pourrait m'aider ?
15/03/2018, 09h36
al1_24

Pour pouvoir t'aider à améliorer ou corriger ton script, il faudrait que tu commences par nous présenter ce que tu as déjà fait, en précisant exactement où tu rencontres un problème.
15/03/2018, 09h41
BufferBob

salut,

Citation:

Envoyé par PopCorn78

l'un d'entre vous pourrait m'aider a écrire un petit script

possible, t'as quoi comme code jusqu'à présent ?

Citation:

un fichier de log (fichier qui s'actualise en temps réel)

le tout étant de savoir au départ combien de fichiers vont être copiés, sinon globalement ça doit pas poser de problème particulier

Citation:

Y aurait-il (...) un petit génie

c'est comme l'emploi de "pas glop" ou "top moumoute", il devrait y avoir des lois interdisant les clichés et/ou expressions de +30 ans :mouarf:

re: YAD progression

bonjour,

Voici le petit script que j'ai commencé a faire. ma boucle While ne fonctionne pas je ne connais pas tellement sa syntaxe. et d'autre part je ne sais pas non plus comment faire comprendre a mon YAD le pourcentage achevé du programme ..
Code:

1 2 3 4 5 6 7 8 #! /bin/bash fichier_temp=/var/log/pif_atftpdlog truncate -s 0 $fichier_temp while [ ! {grep user_data.3 $fichier_temp } ]; do tail -n 1 $fichier_temp done | yad --title='Téléchargements' --window-icon=emblem-downloads --progress
Merci pour votre aide!

Bonjour :coucou:

Citation:

Envoyé par PopCorn78

Voici le petit script que j'ai commencé a faire. ma boucle While ne fonctionne pas je ne connais pas tellement sa syntaxe. et d'autre part je ne sais pas non plus comment faire comprendre a mon YAD le pourcentage achevé du programme ..

Et oui. Tu n'as fait ni la boucle, ni la barre, et tu voudrais que developpez.com fasse tout.
Ce n'est pas le genre de la maison.

Citation:

je ne sais pas non plus comment faire comprendre a mon YAD le pourcentage achevé du programme

C'est à toi de le calculer.

Je ne pratique pas yad. Je suis plus zenity. Voilà un exemple pour t'inspirer :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 #!/bin/bash ( echo "10" ; sleep 1 echo "# Mise à jour des journaux de mail" ; sleep 1 echo "20" ; sleep 1 echo "# Remise à zéro des paramètres" ; sleep 1 echo "50" ; sleep 1 echo "Cette ligne est ignorée" ; sleep 1 echo "75" ; sleep 1 echo "# Redémarrage du système" ; sleep 1 echo "100" ; sleep 1 ) | zenity --progress \ --title="Mise à jour des journaux système" \ --text="Analyse des journaux de mail..." \ --percentage=0 if [ "$?" = -1 ] ; then zenity --error \ --text="Mise à jour annulée." fi
La ligne avec # change le texte de la boîte de progression et les lignes de nombres sont évidemment le pourcentage.

15/03/2018, 16h50
PopCorn78

re:

Je ne voulais en aucun cas manquer de respect a developpez.net merci pour ton aide je vais continuer a developper tout seul et posterai le script une fois résolu.
Bien à toi,

Citation:

Envoyé par PopCorn78

je ne sais pas non plus comment faire comprendre a mon YAD le pourcentage achevé du programme

Citation:

Envoyé par Flodelarab

C'est à toi de le calculer.

Citation:

Envoyé par BufferBob

le tout étant de savoir au départ combien de fichiers vont être copiés

/me sifflote..

Citation:

Envoyé par PopCorn78

Je ne voulais en aucun cas manquer de respect a developpez.net

c'est un peu fort à mon avis, il n'est pas question de manque de respect, juste de s'assurer que t'es pas dans une position attentiste pour qu'on fasse le boulot à ta place, mais regarde que Flodelarab finalement a pris la peine de te faire un exemple sur mesure dont tu peux t'inspirer

un autre exemple pour la route, on considère qu'on veut copier tous les fichier* depuis le répertoire src/ vers le répertoire dst/ :
Code:

1 2 3 4 5 6 7 8 9 10 11 nbFic=$(printf "%s\n" src/fichier* | wc -l) step=$(( 100 / nbFic )) { for fic in src/fichier*; do echo "copie du fichier $fic" >&2 ((num+=1)) echo "$(( step * num ))" >&1 cp -a $fic dst/ done echo "100" } | zenity --progress
la difficulté risque plutôt d'être de parvenir à stoper ton tail -f au bout de X fichiers, une fois arrivé à 100%

Merci à toi BufferBob,

J'ai réussi a crée le script!
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 fichier_temp=/var/log/pif_atftpdlog export user_data=0 while [ $user_data != 42 ]; do user_data=$(tail -n 1 $fichier_temp | cut -c110-113) # Je récupère le numéro du fichier echo "transfert de userdata.$user_data" >&2 echo "$(( $user_data*100 / 42 ))" >&1 sleep 30 # Un transfert dure 30s environ if [ $? != 0 ]; then msgerror "Erreur lors du dump!! le dernier fichier transferer est userdata.$user_data."; exit 1 ;fi done | yad --title='Téléchargements' --window-icon=emblem-downloads --text="je transfert user_data.$user_data" --progress
Voici la page de log au cas ou :) :
Mar 16 16:58:00 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.1
Mar 16 16:58:28 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.2
Mar 16 16:58:56 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.3
Mar 16 16:59:24 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.4
Mar 16 16:59:52 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.5
Mar 16 17:00:20 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.6
Mar 16 17:00:49 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.7
Mar 16 17:01:17 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.8
Mar 16 17:01:45 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.9
Mar 16 17:02:13 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.10
Mar 16 17:02:41 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.11
Mar 16 17:03:09 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.12
Mar 16 17:03:37 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.13
Mar 16 17:04:05 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.14
Mar 16 17:04:33 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.15
Mar 16 17:05:01 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.16
Mar 16 17:05:29 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.17
Mar 16 17:05:58 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.18
Mar 16 17:06:26 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.19
Mar 16 17:06:54 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.20
Mar 16 17:07:23 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.21
Mar 16 17:07:51 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.22
Mar 16 17:08:19 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.23
Mar 16 17:08:47 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.24
Mar 16 17:09:15 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.25
Mar 16 17:09:43 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.26
Mar 16 17:10:11 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.27
Mar 16 17:10:39 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.28
Mar 16 17:11:07 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.29
Mar 16 17:11:35 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.30
Mar 16 17:12:03 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.31
Mar 16 17:12:31 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.32
Mar 16 17:12:59 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.33
Mar 16 17:13:27 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.34
Mar 16 17:13:55 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.35
Mar 16 17:14:23 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.36
Mar 16 17:14:52 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.37
Mar 16 17:15:20 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.38
Mar 16 17:15:48 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.39
Mar 16 17:16:16 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.40
Mar 16 17:16:45 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.41
Mar 16 17:17:13 poleindus-BTX68991 atftpd[8862.-1219847360]: Fetching from 192.168.1.12 to eMMCimg/user_data.42

Autrement j'essaie dans mon script d'extraire ma variable "$user_data" dans mon YAD seulement elle ne s'incrémente pas :(

16/03/2018, 19h39
Flodelarab
Citation:

Envoyé par PopCorn78

Autrement j'essaie dans mon script d'extraire ma variable "$user_data" dans mon YAD seulement elle ne s'incrémente pas :(
- Méfiance : tu as moins de fichiers que 100 (ici 42). Donc, la valeur peut être incrémentée. Mais si tu as 10000 fichiers, la division ne bougera pas car ta console ne manipule que des nombres entiers.
- Tu comptes environ 30s par transfert. Mais si cela prend plus de 30s, ta dernière ligne de log sera la même.
- Pour récupérer des données particulières, tu peux utiliser une entête reconnaissable au début de tes lignes et glisser un filtre entre la sortie de while et yad.
  Exemple:
  
  Code:
  
  { echo 42; echo "INFO $user_data"; } | tee >(sed '/^INFO/!d' >mon_fichier) | sed '/^INFO/d' | yad ...
  
  Ici, les lignes qui commencent par INFO vont dans "mon_fichier".
  Les autres alimentent yad.

Citation:

Envoyé par Flodelarab

Méfiance : tu as moins de fichiers que 100 (ici 42). Donc, la valeur peut être incrémentée. Mais si tu as 10000 fichiers, la division ne bougera pas car ta console ne manipule que des nombres entiers.

c'est très pertinent, j'avais zappé ce détail :aie:

en tenant compte de ce cas de figure + utilisation d'un tail -f en bonne et due forme on doit pouvoir écrire un truc comme ça :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 nbFichiers=42 # on est obligé de le connaitre à l'avance, sinon ça marche pas num=0 regex="atftpd.+Fetching from.+to (.+)$" log=/var/log/pif_atftpdlog { tail -fn0 "$log" | while [[ $num -ne $nbFichiers ]]; do read line if [[ "$line" =~ $regex ]]; then ((num+=1)) echo "# copie de ${BASH_REMATCH[1]} en cours..." awk '{printf("%.0f\n", 100*$1/$2)}' <<< "$num $nbFichiers" # calcul & affichage pourcentage fi done echo "# tous les fichiers ont été copiés." echo "100" } | yad --progress
note l'utilisation des regex bash et du BASH_REMATCH pour à la fois valider la ligne comme étant à conserver et en extraire le nom du fichier