Discussion :

[ammah]

Bonjour,

j'ai un fichier texte brut qui contient des millions de lignes. J'aimerais m'assurer qu'il ne contient pas de doublons (càd la même ligne ne se répète pas deux fois).
Une personne m'a dit que c'est possible avec awk mais je n'arrive pas à le faire.
qqn peut m'aider?

Merci d'avance
ammah

[matafan]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort fichier | uniq -d

[ammah]

Je te remercie beaucoup.

[souviron34]

Pour éliminer les lignes, il y a plus simple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort -u fichier