Supprimer doublons dans fichier

Bonjour,

J'ai un fichier d'environ 10 000 lignes qui contient des lignes de 5 champs séparés par un ;

Exemple:

69857;475;56;48;454;
5464;156;1464;415;21;
5468;12;1354;150;25;
5468;12;1357;1545;278;

Comment faire pour supprimer les doublons du premier champ?
Dans l'exemple il faudrait supprimer l'une des deux lignes commençant par le champ 5468 pour arriver au fichier:

69857;475;56;48;454;
5464;156;1464;415;21;
5468;12;1354;150;25;

La ligne supprimée n'a pas d'importance.

Merci pour votre aide!

Afin de supprimer les doublons, il faut d'abord être sûr que les clés identiques soient consécutives. Pour cela, la commande sort sur le premier champ est adéquate.

Code:

---

sort -t ';' -k 1,1 fichier_in > fichier_out

---

Puis il faut supprimer les doublons. C'est une simple option de sort.

Code:

---

sort -u -t ';' -k 1,1 fichier_in > fichier_out

---