Compter le nombre de mots uniques dans un fichier

Bonjour,

Je dois trouver une commande qui permet de compter le nombre de mots dans un fichier mais sans compter les mots identiques (pas tenir compte de la casse aussi).
Exemple :

Code:

---

1 2	cat fichier a1 A1 b1 b1 b2 c1

---

La commande dans ce cas doit normalement retourner 2 (a1 et A1 sont vu comme identique et b1 et b1 aussi, on ne les comptes donc pas)
J'ai essayé de voir avec les commande wc, grep ainsi qu'avec le pipe mais impossible de trouver quelque chose qui marche. En effet dans grep il faut déjà mettre un mot qu'on veux chercher.

Merci de votre aide :)

Bonjour,

uniq est la commande dont tu dois lire la page man.
il faudra auparavant afficher ton fichier sous forme d'une seule colonne.

Bonjour,

Pour faire une seule colonne:

Code:

---

awk '{for (i=1;i<=NF;i++) print $i;}' fichier

---

Puis sort, uniq avec les bonnes options.

Bonjour,

@Flodelarab: Si on passe par awk pour la mise en colonne, autant qu'il fasse tout, non ? ;)

Sinon, une version sans awk ou sed:

Code:

---

tr -s "[[:space:]]" "\n" fichier | sort -f | uniq -i -u | wc -l

---

Après, qu'appelle-t-on un mot dans ton cas ?
Ici, on considère qu'un mot est uniquement ce qui est séparé par la classe espace (espace,tabulation,...)

Après, selon la volumétrie du fichier à parser, une version awk sera plus rapide mais plus couteuse en mémoire...

Ok merci beaucoup !

Par contre je ne dois pour l'instant pas utiliser de boucle for mais la méthode de disedorgue marche très bien, enfin j'ai juste fais une modif :

Code:

---

cat fichier | tr -s "[:space:]" "\n" | sort -f | uniq -ui | wc -l

---

J'ai appris les commandes tr et uniq qui sont bien utile :)

Merci.

Autant pour moi, il est vrai que tr ne travail que sur l'entrée standart, donc le passage par un cat est utile si plusieurs fichiers sinon pour juste un fichier,une simple redirection est suffisant:

Code:

---

tr -s "[[:space:]]" "\n" < fichier | sort -f | uniq -i -u | wc -l

---

Code:

---

xargs -n1 < fichier | sort | uniq -iu

---

Citation:

---

Envoyé par disedorgue

@Flodelarab: Si on passe par awk pour la mise en colonne, autant qu'il fasse tout, non ? ;)

---

Code:

---

1 2	$ echo "a1 A1 b1 b1 b2 c1"| awk '{for (i=1;i<=NF;i++){nb[tolower($i)]++;}} END{for (i in nb) if (nb[i]==1) total++; print total;}' 2

---