Discussion :

[djamat]

Bonjour,

Description:
J'aimerai consulter plusieurs fichiers compressé afin de compter le nombre d’élément par rapport à un fichier.

fichier compressés:
file_compresse01.gz
file_compresse02.gz
file_compresse03.gz

zcat file_compresse01.gz:
blabla test list
example list...

Fichier cible:
list
test
...

voici mon code actuel:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

for cible in $(cat /tmp/element ); do echo "$cible: $(zgrep -c "$cible" file_compresse*)";  done > /tmp/result

le probleme est l'affichage du resultat:
list:
file_compresse01:45
file_compresse02:80
...
test:
file_compresse01:10
file_compresse02:60


J'aimerai avoir dans mon fichier final:
list: 125
test: 70

Je pense pas que ce soit très compliqué mais je galère un peu la. On m'a parlé de la commande 'sed' mais pas évident à l'utiliser.
Quelqu'un pourrait m'aider ?

[Flodelarab]

Bonjour,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
$ cat /tmp/sep.txt
list:
file_compresse01:45
file_compresse02:80
...
test:
file_compresse01:10
file_compresse02:60
$ awk -F':' '/test/{t[""]="list";t[1]="test";fic=1;} {a[fic] += $2;} END{for (i in a) print t[i],":",a[i];}' /tmp/sep.txt
list : 125
test : 70

[djamat]

j'y arrive petit à peitt

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
DATE=201408*
 
for cible in $(cat /data/pmx6/etc/whitelisted-senders );
do 
 
	echo "$cible: >> /tmp/final.txt
	zgrep -c "$cible" '$DATE' | cut -c25- | awk 'BEGIN{ somme=0 } { somme=somme+$0 } END{ print '"total:' somme } ' > /tmp/tmp_final.txt
	cat /tmp/tmp_final.txt >> /tmp/final.txt
done
 
rm -f /tmp/tmp_final.txt

mais probleme de syntaxe

[disedorgue]

Bonjour,

Ton problème ressemble étrangement au problème suivant que tu avais ouvert:
boucle-d-tableau-grep

[JeanMi3000]

j'y arrive petit à peitt

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
DATE=201408*
 
for cible in $(cat /data/pmx6/etc/whitelisted-senders );
do 
 
	echo "$cible: >> /tmp/final.txt
	zgrep -c "$cible" '$DATE' | cut -c25- | awk 'BEGIN{ somme=0 } { somme=somme+$0 } END{ print '"total:' somme } ' > /tmp/tmp_final.txt
	cat /tmp/tmp_final.txt >> /tmp/final.txt
done
 
rm -f /tmp/tmp_final.txt

mais probleme de syntaxe

il manque un guillemet dans la commande 'écho'

[disedorgue]

il manque un guillemet dans la commande 'écho'

Pas que, en fait si tu regarde bien, il a fermé son echo dans la commande awk et je ne pense pas que cela soit un oubli...
Je pense que c'est plus une incompréhension, mais je me trompe peut-être.

[Sve@r]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
DATE=201408*
 
for cible in $(cat /data/pmx6/etc/whitelisted-senders );
do 
 
	echo "$cible: >> /tmp/final.txt
	zgrep -c "$cible" '$DATE' | cut -c25- | awk 'BEGIN{ somme=0 } { somme=somme+$0 } END{ print '"total:' somme } ' > /tmp/tmp_final.txt
	cat /tmp/tmp_final.txt >> /tmp/final.txt
done
 
rm -f /tmp/tmp_final.txt

mais probleme de syntaxe

Salut

C'est généralement pas facile de "bien" travailler en utilisant des fichiers temporaires. Même si tu tentes de bien faire les choses (travail dans "/tmp" ce qui est très bien), tu as d'autres problèmes qui peuvent survenir. Par exemple que se passerait-il pour /tmp/tmp_final.txt si le script était lancé plusieurs fois en parallèle ? Hé oui, Unix/Linux étant multi-tâches, tu ne peux pas garantir que ça n'arrivera pas.

On peut se prémunir en introduisant la variable "$$" (n° pid) dans le nom de fichier mais si on peut éviter c'est encore mieux. Par exemple, comme le bash connait les tableaux associatifs, on peut alors travailler totalement en mémoire

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#!/bin/bash
 
declare -A total
 
# Comptage et calcul total
for cible in $*
do
	echo
	echo "$cible:"
	tot=0
	for count in $(zgrep -c "$cible" file*.gz)
	do
		echo "$count"
		tot=$((tot + $(echo $count |cut -f2 -d:)))
	done
	total["$cible"]="$tot"
done
 
# Affichage total
echo "Résumé"
for cible in $*
do
	echo "$cible: ${total[$cible]}"
done

Et le résultat

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
$ ./cpt.sh list test
 
list:
file_01.gz:2
file_02.gz:2
file_03.gz:2
file_04.gz:2
file_05.gz:2
file_06.gz:2
file_07.gz:2
file_08.gz:2
file_09.gz:2
 
test:
file_01.gz:1
file_02.gz:1
file_03.gz:1
file_04.gz:1
file_05.gz:1
file_06.gz:1
file_07.gz:1
file_08.gz:1
file_09.gz:1
 
Résumé
list: 18
test: 9

Maintenant si tes items sont dans un fichier, te suffit d'appeler le script en lui passant le contenu du fichier. Et si tu veux le résultat dans un fichier, rien ne t'interdit alors de le rediriger => ./cpt.sh $(cat /tmp/element) >/tmp/final.txt...

[disedorgue]

Bonjour,

Description:
J'aimerai consulter plusieurs fichiers compressé afin de compter le nombre d’élément par rapport à un fichier.
...

voici mon code actuel:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

for cible in $(cat /tmp/element ); do echo "$cible: $(zgrep -c "$cible" file_compresse*)";  done > /tmp/result

J'aimerai avoir dans mon fichier final:
list: 125
test: 70

Je pense pas que ce soit très compliqué mais je galère un peu la. On m'a parlé de la commande 'sed' mais pas évident à l'utiliser.
Quelqu'un pourrait m'aider ?

Voici un exemple via awk (qui traite le tout en une fois):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

zcat file_compresse* | awk 'FNR == NR {A[$0]=0;next};{for (l in A){match($0,l) && A[l]++}};END{for (l in A){print l":"A[l]}}' /tmp/element -

Et le petit "-" à la fin de la ligne de commande est important (ce n'est pas une erreur), cela sert à positionner l'input du pipe pour la commande awk.

[Sve@r]

Voici un exemple via awk (qui traite le tout en une fois):

Joli démo de ta maitrise de awk

Attention toutefois car ça ne fonctionne que si les items du fichier /tmp/element sont sur des lignes distinctes. Mais ça n'enlève rien à l'exploit

[disedorgue]

Attention toutefois car ça ne fonctionne que si les items du fichier /tmp/element sont sur des lignes distinctes. Mais ça n'enlève rien à l'exploit

Ce qui est le cas dans sont post initial (au pire, il connait le format de son fichier et le traite en conséquence)