Discussion :

[Antares75]

Bonjour,

alors voila, je suis un Mooc sur Linux et je dois, pour un exercice, écrire un script pour le shell.
Ce script, à partir d'un fichier (dico.txt) doit me dire combien de fois il y a chaque lettres de l'alphabet dans la liste de mots du fichier dico.txt

Malgrès mes recherches, je ne sais pas trop comment commencer ...

je dois obtenir un resultat qui ressemble à ça :
278814 - E
229938 - A
219131 - I
210391 - R
...

J'ai donc pensé à la commande grep.

Voici mon debut de script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
#!/bin/bash
grep -c A | grep -c B | grep -c C ... >> resultats.txt

mais ça ne marche pas vraiment à l’exécution ... (Command not found). De plus, je me demande si il n'y a pas une meilleure méthode que taper cette commande pour chaque lettre de l'alphabet ...

Merci pour vos idées.

[BufferBob]

salut,

effectivement -et au plus simpliste- en jouant avec les options de grep y'a moyen de s'en sortir, je rajouterai probablement wc aussi, en commençant par ne compter qu'une seule lettre pour commencer, le reste suivra

nb :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
echo "abracadabra" | grep -c a
1   # on devrait avoir 5 ici, pas 1 ;)

[Invité]

Pense à vider le fichier avant de passer ta commande et il faut indiquer un fichier à grep pour ne pas avoir d'erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
> resultats.txt
grep -c A dico.txt >> resultats.txt
grep -c B dico.txt >> resultats.txt
grep -c C dico.txt >> resultats.txt

Par contre grep tient compte de la casse par défaut et comptera le nombre de ligne et non le nombre de caractère.

Voici une solution pour ignorer la casse et compter le nombre de caractère:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -io A dico.txt | wc -l

D'autres solutions ici :
http://www.developpez.net/forums/d14...ence-d-lettre/

Mais ça n'affichera que le nombre de caractère et au final tu voudras quelque chose comme ça : 229938 - A
Il va donc falloir utiliser la commande echo qui peut afficher le résultat d'une commande si on l'entoure de :

$()

Dans ton cas ceci devrait te plaire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo "$(grep -io A dico.txt | wc -l) - A"

Je te laisse combiner ça avec une boucle for pour passer tout l'alphabet, ce fera un script beaucoup plus court au final et tout aussi efficace
Il y a un exemple dans le lien que je t'ai donné.

[disedorgue]

Bonjour,
La commande awk semble être la plus pertinante pour ce genre d'exercice.

[Invité]

Je ne vois pas trop comment faire quelque chose de simple avec awk dans ce cas ...
Ici je compte tout les caractères et je différencie les majuscules et les minuscules :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/bin/bash
 
awk '{ #NF = nb element
  for (i=1;i<=NF;i++) {
    nb=length($i)
    for (j=0;j<nb;j++) {
      tableau_id[substr($i,j,1)] += 1
    }  
  }
}
END { for (id in tableau_id) {
    printf "%s - %s\n", tableau_id[id], id
  }
}' dico.txt

Ceci n'est-il pas plus pertinent pour son exercice ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
#!/bin/bash
 
for i in {a..z}
do
  echo "$( grep -io $i dico.txt | wc -l | sed 's/^ *//' ) - $i"
done

ps: zut j'ai fait l'exercice en entier

[disedorgue]

@ecatomb:
Une autre version awk:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F '' '{for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' dico.txt

L'avantage de passé par awk est de ne parser le fichier qu'une seule fois.
La version bash avec la boucle for, le grep, le wc et le sed, peut paraître plus simple, mais elle est loin d'être efficace.

Ou alors, il faudrait qu'elle ne parse qu'une seul fois le fichier (et pourquoi pas juste en Builtin )

[disedorgue]

Ok, une version plus simple avec grep (et en ne traversant qu'une seule fois le fichier...)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -io '[a-z]' dico.txt | sort | uniq -ic

[Flodelarab]

Bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
$ sed 's/./&\n/g' dico |awk '{a[$1]++;} END{for (i in a) print a[i]" - "i;}'                                                                                               
274415 - N
378989 - 
368117 - A
226858 - O
54861 - B
89364 - P
131355 - C
20026 - Q
88210 - D
322051 - R
558095 - E
49147 - F
382495 - S
62781 - G
259030 - T
47167 - H
140018 - U
34954 - V
356342 - I
1057 - W
6538 - J
3766 - K
10186 - X
15625 - Y
152245 - L
39665 - Z
96798 - M

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
$ sed 's/./&\n/g' dico|sed '/^$/d'|awk '{a[$1]++;} END{for (i in a) print a[i]" - "i;}' |sort -k2
368117 - A
54861 - B
131355 - C
88210 - D
558095 - E
49147 - F
62781 - G
47167 - H
356342 - I
6538 - J
3766 - K
152245 - L
96798 - M
274415 - N
226858 - O
89364 - P
20026 - Q
322051 - R
382495 - S
259030 - T
140018 - U
34954 - V
1057 - W
10186 - X
15625 - Y
39665 - Z

[Invité]

L'avantage de passé par awk est de ne parser le fichier qu'une seule fois.

Exact, en plus j'y ai pensé un peu après avoir donné ma réponse ...

awk est pour moi plus un langage de programmation qu'une commande. C'est pour ça que je ne le propose pas d'office comme solution, bon et aussi parce que je met toujours un bon moment pour me remettre dedans

Sur ce, il faut que je regarde un peu plus en détail ton dernier awk.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F '' '{for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' dico.txt

En tout cas, mon mac n'aime pas le séparateur vide (idem pour le sed de Flodelarab, il ne fait pas le retour chariot ...) :p
Je ne savais pas qu'on pouvait mettre le motif à cet endroit dans le awk, j'avais l'habitude de le mettre avant les crochets ...
? = motif bien trouvé
: 0 = ??? Motif non trouvé ?

En tout cas, ça fait toujours du bien de regarder les postes ici pour se remémorer des informations ou apprendre de nouveaux trucs

[BufferBob]

awk est pour moi plus un langage de programmation qu'une commande.

c'est le cas

for fun une version perl:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -lane 'foreach $i(split("",uc($_))){++$k{$i}if $i=~/[A-Z]/}END{foreach $j(sort keys %k){print $k{$j}." - ".$j}}' fichier

[Flodelarab]

idem pour le sed de Flodelarab, il ne fait pas le retour chariot ...

Ne faut-il pas séparer 2 choses: le comportement de sed et l'affichage sur mac ?

J'imagine que c'est le problème classique de la fin de ligne qui est \n ( = LF = Line feed ) sous GNU Linux et \r\n ( = CRLF = Carriage Return Line Feed ) sous 20doses ( et manifestement sous Mac ).

Mais cela ne devrait rien changer au procédé. C'est juste l'affichage qui diffère. (à moins que des caractères \r se baladent )

[disedorgue]

Il est vrai que le séparateur "vide" pour awk n'est pas déterminé par posix.

Essaye ceci, je suis curieux de savoir si cela fonctionne avec le awk de MAC:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{gsub(/./,"& ");for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' dico.txt

Sinon, le motif est bien en principe avant les crochets, ici on n'évalue pas le motif, on évalue:
$i ~ /[A-Za-z]/ : c'est le tilde qui compte ici.
Après, le : 0 est bien le "sinon" et il est présent car obligatoire car on est sur un opérateur ternaire: expr ? expr : expr

[disedorgue]

Pour le fun, la version Builtin bash (version 4+):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
declare -u ligneU
declare -A ALPHA
while read ligneU
do
  ligneU=${ligneU//[^A-Z]/}
  for i in {A..Z}
  do
      [[ $ligneU =~ $i ]] && { XX=${ligneU//[^${i}]/}; (( ALPHA[$i]+=${#XX} ));}
  done
done <dico.txt
for i in {A..Z}
do
  [[ ${ALPHA[$i]} ]] && echo $i "-" ${ALPHA[$i]}
done

[Invité]

Ne faut-il pas séparer 2 choses: le comportement de sed et l'affichage sur mac ?

Ci-dessous ce que ça me donne. Si je me souviens bien, j'ai déjà eu un problème sur les retours chariot sur un système AIX.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
ecatomb@iMac:~$ cat test.txt 
bonjour tout le monde
deuxième ligne
ecatomb@iMac:~$ sed 's/./&\n/g' test.txt 
bnonnnjnonunrn ntnonuntn nlnen nmnonnndnen
dnenunxninènmnen nlningnnnen
ecatomb@iMac:~$

Il est vrai que le séparateur "vide" pour awk n'est pas déterminé par posix.

Essaye ceci, je suis curieux de savoir si cela fonctionne avec le awk de MAC:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{gsub(/./,"& ");for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' dico.txt

Sinon, le motif est bien en principe avant les crochets, ici on n'évalue pas le motif, on évalue:
$i ~ /[A-Za-z]/ : c'est le tilde qui compte ici.
Après, le : 0 est bien le "sinon" et il est présent car obligatoire car on est sur un opérateur ternaire: expr ? expr : expr

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
ecatomb@iMac:~$ awk -F '' '{for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' test.txt 
awk: field separator FS is empty
 
1 - LIGNE
1 - LE
1 - TOUT
1 - BONJOUR
1 - MONDE
1 - DEUXIèME
ecatomb@iMac:~$ awk '{gsub(/./,"& ");for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' test.txt
1 - B
2 - D
5 - E
1 - G
2 - I
1 - J
2 - L
2 - M
3 - N
4 - O
1 - R
2 - T
3 - U
1 - X

Tiens, il me semblait que le gsub de awk utilisait 3 paramètres et non 2 O_o
En tout cas, bien vu d'ajouter des espaces entre chaque lettres avant de faire l'opération

[Flodelarab]

Chaque caractère est considéré comme un champ d'enregistrement. Existe-t-il une méthode pour considérer chaque caractère comme un enregistrement ? J'ai essayé BEGIN {RS="";} mais sans succès.

[Invité]

Merci pour l'idée, c'est FS et non RS qu'il faut utiliser

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
ecatomb@iMac:~$ awk 'BEGIN {FS=""} {for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' test.txt 
1 - B
2 - D
5 - E
1 - G
2 - I
1 - J
2 - L
2 - M
3 - N
4 - O
1 - R
2 - T
3 - U
1 - X
ecatomb@iMac:~$

[disedorgue]

Bizarre, l'option -F redéfini justement FS. Et si au lieu d'utiliser BEGIN tu le fais en awk -v FS="" '.........' ?

De toute façon, la chaîne vide comme séparateur crée un comportement indéfini selon posix:

An extended regular expression can be used to separate fields by using the -F ERE option or by assigning a string containing the expression to the built-in variable FS. The default value of the FS variable shall be a single <space>. The following describes FS behavior:

If FS is a null string, the behavior is unspecified.

If FS is a single character:

If FS is <space>, skip leading and trailing <blank>s; fields shall be delimited by sets of one or more <blank>s.

Otherwise, if FS is any other character c, fields shall be delimited by each single occurrence of c.

Otherwise, the string value of FS shall be considered to be an extended regular expression. Each occurrence of a sequence matching the extended regular expression shall delimit fields.

Ce qui revient à dire que cela ne fonctionne pas pour tous les awk...

[Invité]

Même résultat avec les deux commandes :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk 'BEGIN {FS=""} {for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' test.txt

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -v FS="" '{for (i=1;i<=NF;i++) $i ~ /[A-Za-z]/ ? A[toupper($i)]+=1 : 0};END{for (i in A) {printf "%s - %s\n", A[i], i}}' test.txt

[disedorgue]

for fun une version perl:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -lane 'foreach $i(split("",uc($_))){++$k{$i}if $i=~/[A-Z]/}END{foreach $j(sort keys %k){print $k{$j}." - ".$j}}' fichier

Pour le fun, une autre version aussi en perl:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -ne '$k.=uc s/[^A-Za-z]//gr;END{print map { $k=~$_ && $_." : ".$k=~ s/$_//g ."\n" } (A..Z)}' dico.txt

C'est juste pour la beauté, ici le code est gourmand en mémoire...

[jack-ft]

Que de réponses... pour un utilisateur qui n'a posté qu'un seul message!
Probablement un challenge motivant!
et qui a quand même son utilité (donner une réponse sur le forum, malgré le peu de réponse de l'utilisateur qui a posté la question)