Discussion :

[neo.net]

Bonjour à tous,

Je vous explique mon problème.

J'ai un fichier avec 1 700 000 lignes d'informations du type :

numéro;clé;A;NOM;PRENOM;....
numéro;clé;B;NOM;PRENOM;....

Certaines lignes sont en double et je souhaiterais pouvoir les exclure en supprimant ces lignes.

J'ai déjà essayé la commande sort, uniq mais ça ne fonctionne pas. Les commandes me suppriment aucunes lignes.
Auriez-vous une commande à me conseiller ?

Merci par avance.

Stéphane

[N_BaH]

Bonjour,

donne un échantillon plus large de ton fichier, stp.
les lignes sont-elles vraiment identiques ?
il n'y a pas de raisons a priori que les commandes que tu évoques ne fonctionnent pas.

si quelques champs seulement sont identiques, c'est ces informations qu'il faudra utiliser pour discriminer les doublons.
ça se fait fréquemment avec (g)awk.
tu dois pouvoir retrouver des discussions qui en traitent sur notre forum.

[vttman]

Je crois que uniq ne s'occupe que de comparer les lignes se suivant, mais ne les classe pas avant ...
Tester ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort -u fichierorigin.txt > monfichieruniq.txt

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort fichierorigin.txt  | uniq > monfichieruniq.txt

[neo.net]

Quelle rapidité... merci...

Voici un extrait de mon fichier, mais je ne peux vous donner l'exact reproduction car il s'agit de données sensibles.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
1222222222222;10;E;JOJO;RAMIREZ;ARIANA;11012015;1;0;0;0;0
1333333333333;74;E;LOULOU;LOULOU;LOKMANN;16122005;1;1;0;0;0
1444444444444;30;E;FIFI;FIFI;ASSAN;20062002;1;0;0;0;0
1444444444444;30;E;FIFI;FIFI;ASSAN;20062002;1;0;0;0;0
1444444444444;30;E;FIFI;FIFI;ROBERT;20002015;1;0;0;0;0
1555555555555;73;A;RIRI;RIRI;AHMET;20021969;1;0;0;0;0

Par exemple, la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1444444444444;30;E;FIFI;FIFI;ASSAN;20062002;1;0;0;0;0

est présente deux fois et j'aimerais donc pouvoir supprimer la ligne en trop

J'ai déjà essayé la commande
sort fichierorigin.txt | uniq > monfichieruniq.txt
mais cela ne fonctionne pas

[vttman]

J'utilise "Linux" sous Windows10 ...
J'ai stocké

1222222222222;10;E;JOJO;RAMIREZ;ARIANA;11012015;1;0;0;0;0
1333333333333;74;E;LOULOU;LOULOU;LOKMANN;16122005;1;1;0;0;0
1444444444444;30;E;FIFI;FIFI;ASSAN;20062002;1;0;0;0;0
1444444444444;30;E;FIFI;FIFI;ASSAN;20062002;1;0;0;0;0
1444444444444;30;E;FIFI;FIFI;ROBERT;20002015;1;0;0;0;0
1555555555555;73;A;RIRI;RIRI;AHMET;20021969;1;0;0;0;0

dans test.txt

et cette commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ sort -u test.txt

me renvoie
=>

1222222222222;10;E;JOJO;RAMIREZ;ARIANA;11012015;1;0;0;0;0
1333333333333;74;E;LOULOU;LOULOU;LOKMANN;16122005;1;1;0;0;0
1444444444444;30;E;FIFI;FIFI;ASSAN;20062002;1;0;0;0;0
1444444444444;30;E;FIFI;FIFI;ROBERT;20002015;1;0;0;0;0
1555555555555;73;A;RIRI;RIRI;AHMET;20021969;1;0;0;0;0

[neo.net]

Je vais d'essayer la commande et cela n'a pas fonctionné

Je me retrouve avec le même nombre de ligne et des lignes en double

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
1840652448010;48;A;LEFLAIRE;LEFLAIRE;JONATHAN;12061983;1;0;0;0;0
1840652448010;48;A;LEFLAIRE;LEFLAIRE;JONATHAN;12061983;1;0;0;0;0
1840652448010;48;E;LEFLAIRE;LEFLAIRE;NOE;07122014;1;0;0;0;0

Petite précision je suis sous RHEL Server 6.7