Mise en page en shell

Version imprimable

16/10/2014, 14h22
djamat

Mise en page en shell

Bonjour,

Description:
J'aimerai consulter plusieurs fichiers compressé afin de compter le nombre d’élément par rapport à un fichier.

fichier compressés:
file_compresse01.gz
file_compresse02.gz
file_compresse03.gz

zcat file_compresse01.gz:
blabla test list
example list...

Fichier cible:
list
test
...

voici mon code actuel:

Code:

for cible in $(cat /tmp/element ); do echo "$cible: $(zgrep -c "$cible" file_compresse*)"; done > /tmp/result

le probleme est l'affichage du resultat:
list:
file_compresse01:45
file_compresse02:80
...
test:
file_compresse01:10
file_compresse02:60

J'aimerai avoir dans mon fichier final:
list: 125
test: 70

Je pense pas que ce soit très compliqué mais je galère un peu la. On m'a parlé de la commande 'sed' mais pas évident à l'utiliser.
Quelqu'un pourrait m'aider ?

Bonjour,

Code:

1
2
3
4
5
6
7
8
9
10
11
$ cat /tmp/sep.txt
list:
file_compresse01:45
file_compresse02:80
...
test:
file_compresse01:10
file_compresse02:60
$ awk -F':' '/test/{t[""]="list";t[1]="test";fic=1;} {a[fic] += $2;} END{for (i in a) print t[i],":",a[i];}' /tmp/sep.txt
list : 125
test : 70

j'y arrive petit à peitt :)

Code:

1
2
3
4
5
6
7
8
9
10
11
DATE=201408*
 
for cible in $(cat /data/pmx6/etc/whitelisted-senders );
do 
 
	echo "$cible: >> /tmp/final.txt
	zgrep -c "$cible" '$DATE' | cut -c25- | awk 'BEGIN{ somme=0 } { somme=somme+$0 } END{ print '"total:' somme } ' > /tmp/tmp_final.txt
	cat /tmp/tmp_final.txt >> /tmp/final.txt
done
 
rm -f /tmp/tmp_final.txt

mais probleme de syntaxe :(

16/10/2014, 17h31
disedorgue

Bonjour,

Ton problème ressemble étrangement au problème suivant que tu avais ouvert:
boucle-d-tableau-grep

Citation:

Envoyé par djamat

j'y arrive petit à peitt :)

Code:

1
2
3
4
5
6
7
8
9
10
11
DATE=201408*
 
for cible in $(cat /data/pmx6/etc/whitelisted-senders );
do 
 
	echo "$cible: >> /tmp/final.txt
	zgrep -c "$cible" '$DATE' | cut -c25- | awk 'BEGIN{ somme=0 } { somme=somme+$0 } END{ print '"total:' somme } ' > /tmp/tmp_final.txt
	cat /tmp/tmp_final.txt >> /tmp/final.txt
done
 
rm -f /tmp/tmp_final.txt

mais probleme de syntaxe :(

il manque un guillemet dans la commande 'écho'

16/10/2014, 17h46
disedorgue

Citation:

Envoyé par JeanMi3000

il manque un guillemet dans la commande 'écho'

Pas que, en fait si tu regarde bien, il a fermé son echo dans la commande awk et je ne pense pas que cela soit un oubli...
Je pense que c'est plus une incompréhension, mais je me trompe peut-être.

Citation:
Envoyé par djamat
Code:

1 2 3 4 5 6 7 8 9 10 11 DATE=201408* for cible in $(cat /data/pmx6/etc/whitelisted-senders ); do echo "$cible: >> /tmp/final.txt zgrep -c "$cible" '$DATE' | cut -c25- | awk 'BEGIN{ somme=0 } { somme=somme+$0 } END{ print '"total:' somme } ' > /tmp/tmp_final.txt cat /tmp/tmp_final.txt >> /tmp/final.txt done rm -f /tmp/tmp_final.txt
mais probleme de syntaxe :(
Salut

C'est généralement pas facile de "bien" travailler en utilisant des fichiers temporaires. Même si tu tentes de bien faire les choses (travail dans "/tmp" ce qui est très bien), tu as d'autres problèmes qui peuvent survenir. Par exemple que se passerait-il pour /tmp/tmp_final.txt si le script était lancé plusieurs fois en parallèle ? Hé oui, Unix/Linux étant multi-tâches, tu ne peux pas garantir que ça n'arrivera pas.

On peut se prémunir en introduisant la variable "$$" (n° pid) dans le nom de fichier mais si on peut éviter c'est encore mieux. Par exemple, comme le bash connait les tableaux associatifs, on peut alors travailler totalement en mémoire
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 #!/bin/bash declare -A total # Comptage et calcul total for cible in $* do echo echo "$cible:" tot=0 for count in $(zgrep -c "$cible" file*.gz) do echo "$count" tot=$((tot + $(echo $count |cut -f2 -d:))) done total["$cible"]="$tot" done # Affichage total echo "Résumé" for cible in $* do echo "$cible: ${total[$cible]}" done
Et le résultat
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 $ ./cpt.sh list test list: file_01.gz:2 file_02.gz:2 file_03.gz:2 file_04.gz:2 file_05.gz:2 file_06.gz:2 file_07.gz:2 file_08.gz:2 file_09.gz:2 test: file_01.gz:1 file_02.gz:1 file_03.gz:1 file_04.gz:1 file_05.gz:1 file_06.gz:1 file_07.gz:1 file_08.gz:1 file_09.gz:1 Résumé list: 18 test: 9
Maintenant si tes items sont dans un fichier, te suffit d'appeler le script en lui passant le contenu du fichier. Et si tu veux le résultat dans un fichier, rien ne t'interdit alors de le rediriger => ./cpt.sh $(cat /tmp/element) >/tmp/final.txt...

17/10/2014, 00h39
disedorgue

Citation:

Envoyé par djamat

Bonjour,

Description:
J'aimerai consulter plusieurs fichiers compressé afin de compter le nombre d’élément par rapport à un fichier.
...

voici mon code actuel:

Code:

for cible in $(cat /tmp/element ); do echo "$cible: $(zgrep -c "$cible" file_compresse*)"; done > /tmp/result

J'aimerai avoir dans mon fichier final:
list: 125
test: 70

Je pense pas que ce soit très compliqué mais je galère un peu la. On m'a parlé de la commande 'sed' mais pas évident à l'utiliser.
Quelqu'un pourrait m'aider ?

Voici un exemple via awk (qui traite le tout en une fois):

Code:

zcat file_compresse* | awk 'FNR == NR {A[$0]=0;next};{for (l in A){match($0,l) && A[l]++}};END{for (l in A){print l":"A[l]}}' /tmp/element -

Et le petit "-" à la fin de la ligne de commande est important (ce n'est pas une erreur), cela sert à positionner l'input du pipe pour la commande awk.
17/10/2014, 10h22
Sve@r

Citation:

Envoyé par disedorgue

Voici un exemple via awk (qui traite le tout en une fois):

Joli démo de ta maitrise de awk :applo:

Attention toutefois car ça ne fonctionne que si les items du fichier /tmp/element sont sur des lignes distinctes. Mais ça n'enlève rien à l'exploit 8-)
17/10/2014, 11h14
disedorgue

Citation:

Envoyé par Sve@r

Attention toutefois car ça ne fonctionne que si les items du fichier /tmp/element sont sur des lignes distinctes. Mais ça n'enlève rien à l'exploit 8-)

Ce qui est le cas dans sont post initial (au pire, il connait le format de son fichier et le traite en conséquence) ;)