Discussion :

[Liamm]

Bonjour,
À partir d'un fichier .csv trié sur un des champs du fichier (par exemple "champ_1"), comment par une commande ou un script Shell, obtenir en sortie, le même fichier contenant uniquement les lignes où "champ-1" n'est pas unique ?

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
01;a;b;c
02;1;2;3
02;A;B;C
04;m;n;o
07;l;i;a
07;L;I;A
07;L;i;a
09;e;;n;d

produit :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
02;1;2;3
02;A;B;C
07;l;i;a
07;L;I;A
07;L;i;a

[N_BaH]

Bonjour,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ join -t';' -j1 <(cut -d ';' -f1 entree.txt | uniq -d) <(sort -t ';' -k1,1 entree.txt)

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ join -t';' -j1 -o 2.1 2.2 2.3 2.4 <(uniq -d -w2 entree.txt) <(sort -t ';' -k1,1 entree.txt)

[Liamm]

Merci N_BaH
Je testerai demain matin.

[Flodelarab]

Bonjour

N'aurais-tu pas déjà posé la question ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$ awk -F';' -vc=1 '(tab[$c]!=""){if (p[$c]==0) {print tab[$c];p[$c]=1;}; print;next;} {tab[$c]=$0;}' fichier.txt 
02;1;2;3
02;A;B;C
07;l;i;a
07;L;I;A
07;L;i;a
$ awk -F';' -vc=2 '(tab[$c]!=""){if (p[$c]==0) {print tab[$c];p[$c]=1;}; print;next;} {tab[$c]=$0;}' fichier.txt 
07;L;I;A
07;L;i;a
$ awk -F';' -vc=3 '(tab[$c]!=""){if (p[$c]==0) {print tab[$c];p[$c]=1;}; print;next;} {tab[$c]=$0;}' fichier.txt 
07;l;i;a
07;L;i;a
$ awk -F';' -vc=4 '(tab[$c]!=""){if (p[$c]==0) {print tab[$c];p[$c]=1;}; print;next;} {tab[$c]=$0;}' fichier.txt 
07;l;i;a
07;L;i;a

[Liamm]

À Flodelarab : je ne crois pas. (ou je ne m'en souviens plus)

Le premier code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ join -t';' -j1 <(cut -d ';' -f1 entree.txt | uniq -d) <(sort -t ';' -k1,1 entree.txt)

marche avec l'exemple proposé, mais ne marche pas sur mes fichiers en réel; j'ai dû faire une erreur; je vais chercher.

J'aurais quatre autres questions :

Q1/ Si je voulais mettre le résultat du "join" (première commande) dans un fichier, je ferais comment ?

Q2/ Décomposer la première commande "join" avec des fichiers intermédiaires temporaires en l'écrivant sur trois lignes; ça donnerait quoi ?

Q3/ Pourrait_on s'en sortir avec la commande "sed" ?
Je demande ça car j''ai vu que "sed" possède deux buffers (1. active_pattern_ space et 2.auxiliary_hold_ space)
D’où une la dernière question plus générale :

Q4/ La commande "sed" peut-elle gérer les ruptures premières ou dernières sur un champ ?

[N_BaH]

1/ tu rediriges la sortie standard de la commande vers un fichier.
2/ je ne fais pas ça. Quel gain espères-tu ?
3,4/ quand on travaille sur des colonnes/champs (typiquement des .csv) awk est beaucoup mieux adapté.

[Liamm]

Réponse

1/ tu rediriges sortie standard de la commande vers un fichier.

Comme cela ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

join -t';' -j1 <(cut -d ';' -f1 entree.txt | uniq -d) <(sort -t ';' -k1,1 entree.txt) > fichier_reception_resultat_commande.csv

[N_BaH]

c'est ça.

[Liamm]

Eh bien le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

join -t';' -j1 <(cut -d ';' -f1 entree.txt | uniq -d) <(sort -t ';' -k1,1 entree.txt) > fichier_reception_resultat_commande.csv

ne marche pas;

Le fichier "fichier_reception_resultat_commande.csv" est vide à tord !

[disedorgue]

Pour que la methode de N_BaH fonctionne, il faut que ton fichier soit trié, sinon le uniq -d ne fera pas son boulot.

Une version en awk (il y a bien 2 fois le fichier entree.txt) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F\; 'FNR == NR {a[$1]++;next}a[$1]>1' entree.txt entree.txt

que l'on peut rediriger dans un fichier:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F\; 'FNR == NR {a[$1]++;next}a[$1]>1' entree.txt entree.txt >sortie.txt

[Liamm]

Merci disedorgue, je vais étudier cette commande "awk" avec attention :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F\; 'FNR == NR {a[$1]++;next}a[$1]>1' entree.txt entree.txt >sortie.txt

En attendant, j'ai obtenu ce que je voulais avec ces commandes :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
sort -t ';' -k1,1 fcumulunion.csv        > ftmp1.csv
 
cut -d ';' -f1 ftmp1.csv | uniq -d       > ftmp2.csv
 
join -t';' -j1  ftmp2.csv  ftmp1.csv     > fresult.csv
 
 
cat fresult_titre.csv fresult.csv > fresult_edition.csv

C'est plus long certes, mais les fichiers temporaires me permettent de mieux voir ce qui se passe et aussi débugger plus facilement.
je fais ensuite la commande "pr" pour éditer le fichier "fresult_edition.csv"