Discussion :

[Liamm]

Bonjour,

je n'arrive pas à conclure un traitement sur un fichier csv volumineux.
Pour simplifier, ce fichier se compose ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
date_aaaammjj_01; clé_01;etc_01;...;...;...;
date_aaaammjj_02; clé_01;etc_02;...;...;...;
date_aaaammjj_03; clé_01;etc_03;...;...;...;
date_aaaammjj_04; clé_01;etc_04;...;...;...;
date_aaaammjj_05; clé_01;etc_05;...;...;...;

Et cela avec de nombreuses autres clés.

Le fichier est trié sur :
-1- la clé (seconde colonne)
-2- la date première colonne)

La question est simple :
1/ Comment ne traiter (par exemple Lister) que la première ligne de chaque clé ?
et son alternative
2/ Comment ne traiter (par exemple Lister) que la dernière ligne de chaque clé ?

Bonne année 2023 à tous.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
2 0 2 3 
--------   =   17**2
2+0+2+3

[N_BaH]

Bonjour,

1/ sort -u ....,
2/ tac | sort -u....
?

[Flodelarab]

Bonjour

Je suis sûr que tu as déjà vu la technique ici, avec awk.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ awk -F';' '!vu[$2]++' fichier.csv
date_aaaammjj_01; clé_01;etc_01;...;...;...;

[Liamm]

Bonjour,

J'ai du mal à déchiffrer ce

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ awk -F';' '!vu[$2]++' fichier.csv

-F';' : signale que le séparateur de champs du fichier csv est le point-virgule.
! : représente (il me semble) un NOT.
$2 : représente (il me semble) la colonne où se trouvent les clés, c.à.d. la seconde colonne du fichier csv.

vu : je ne sais pas ; un vecteur ?
++ : je ne sais pas ; une incrémentation ?

Je suis dans le brouillard ; d'où deux autres questions :

Q1/ Où trouver une bonne doc à lire sur awk de préférence en français ?

Q2/ Peut-on faire sans awk ? (N_BaH propose la commande unique, mais les lignes sont différentes !)

[Flodelarab]

"vu" est un tableau associatif (c'est à dire un tableau qui a des indices texte au lieu d'indices nombre).
!vu[$2] signifie donc, littéralement, "tant qu'on l'a pas vu, on l'affiche". Et l'incrémentation change la valeur pour la clé. Donc elle n'est plus zéro, donc on l'a déjà vu. On n'affichera plus une ligne avec cette clé.


R1 : "gawk manual" est pas mal.

R2 : Si tu tries selon un champ avec sort, l'élément unique qu'il garde est le premier. N'est-ce pas ?

[N_BaH]

c'est ça.

[Liamm]

R1 : "gawk manual" est pas mal.

Cest pour avoir :
Un lien ? un pdf ? un livre ?

[Flodelarab]

https://www.gnu.org/software/gawk/manual/gawk.html

[Liamm]

Merci pour le lien.

Le

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ awk -F';' '!vu[$3]++' fichier.csv

fonctionne bien !

Ce n'est pas le cas du

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort -u

En fait, j'ai trop simplifié la description de mon fichier csv :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
champ1 date aaaammjj sur 8 car.
champ2 "ce que représente la clé de longueur variable (mais la même longueur pour une même clé).
champ3 Clé sur 12 car.
Autres champs suivant de longueur variable.

[N_BaH]

le sort -u seul ne fonctionnera pas; il faut indiquer le séparateur de champs et le(s) champ(s) qui ser(ven)t pour le tri !
et puis « ça marche pas » , c'est un état de faits, ça ne dit rien de ce qu'il se passe ou pas.

[Liamm]

peut-être faut-il inverser les champs : champ2 et champ3 (par un awk je pense ? commande à définir)
puis appliquer un sort avec ce

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort -t";" -k2,2 -k1,1nr fichier.csv > ftmp1.csv

puis appliquer la commande uniq avec l'option -s pour sauter les 8 caractères du champ1 qui est une date de la forme aaaammjj,
avec ce

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

uniq -s 8 ftmp1.csv > ftmp2.csv

Qu'en dites vous ?

[N_BaH]

peut-être faut-il inverser les champs

pourquoi ?

il faudrait un exemple plus représentatif de ton fichier de départ, le résultat que tu veux, et ce que tu obtiens avec la commande que tu nous montreras aussi.

[disedorgue]

Au vu du résultat des awk et des exemples, avec sort ça donne:
Pour le Deuxiéme champs:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort -t\; -k2,2 -u

Pour le troisième:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort -t\; -k3,3 -u

Après, comme le dit N_BaH, il nous manque de vrais exemples

[Liamm]

Je vais prendre un temps pour trouver une solution avec sort et uniq.

Si je trouve, je transmettrai le code trouvé.

Si je ne trouve pas, je donnerai un exemple plus significatif et réel.

[Liamm]

Voici un résumé de ce post.

Soit un fichier csv de format ;

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
dte_8c.1;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_01;...;...;
dte_8c.2;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_02;...;...;
dte_8c.3;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_03;...;...;
dte_8c.4;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_04;...;...;
dte_8c.5;désignation_clé_02_de_longueur_variable;clé_12car.02xxxxxxxxxx;etc_05;...;...;
dte_8c.6;désignation_clé_03_de_longueur_variable;clé_12car.03yyyyy;etc_06;...;...;
dte_8c.7;désignation_clé_03_de_longueur_variable;clé_12car.03yyyyy;etc_07;...;...;

Le champ n°1 représente des dates au format aaaammjj sur 8 caractères.
Le champ n°2 représente la description de la clé de longueur variable.
Le champ n°3 représente la clé sur 12 caractères.
puis vient ensuite un certain nombre de champs . . .

1/ Comment ne traiter (par exemple Lister) que la ligne la plus récente de chaque clé ?

En utilisant les commandes sort et uniq en tapant ce

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 6/ Changer l'ordre des champs en permutant le champ n°2 et le champ n°3 ...
#    ... pour mettre la clé de longueur fixe avant sa désignation qui est de longueur variable
#
awk '{print $1 ";" $3 ";" $2 ";" $4 ";" $5 ";" $6 ";" $7 ";" $8 ";" $9}' FS=";" ftmp5.csv > ftmp6.csv

#
# 7/ Tri : 1/ col n°2 : Code_isin croissant
#          2/ col n°1 : Date      décroissante
#
sort -t\; -k2,2 -k1,1nr ftmp6.csv > ftmp7.csv

#
# 8/ Traitement en rupture première sur la clé : ...
#    ... en listant les lignes en rupture première par exemple
#
uniq -s 9 -w 12 ftmp7.csv > ftmp8.csv

En n'utilisant que la commande awk en tapant ce

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#
# 6/ Tri : 1/ col n°3 : Code_isin croissant
#          2/ col n°1 : Date      décroissante
#
sort -t";" -k3,3 -k1,1nr ftmp5.csv > ftmp6.csv
 
# 7/ Traitement en rupture première sur la clé : ...
#    ... en listant les lignes en rupture première par exemple
#
awk -F';' '!vu[$3]++' ftmp6.csv

that's all folks

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
$ cat /tmp/ruptures.csv
dte_8c.1;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_01;...;...;
dte_8c.2;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_02;...;...;
dte_8c.3;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_03;...;...;
dte_8c.4;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_04;...;...;
dte_8c.5;désignation_clé_02_de_longueur_variable;clé_12car.02xxxxxxxxxx;etc_05;...;...;
dte_8c.6;désignation_clé_03_de_longueur_variable;clé_12car.03yyyyy;etc_06;...;...;
dte_8c.7;désignation_clé_03_de_longueur_variable;clé_12car.03yyyyy;etc_07;...;...;

la clé est le troisième champ. c'est tout.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ sort -t ';' -k3,3 -u /tmp/ruptures.csv
dte_8c.1;désignation_clé_01_de_longueur_variable;clé_12car.01;etc_01;...;...;
dte_8c.5;désignation_clé_02_de_longueur_variable;clé_12car.02xxxxxxxxxx;etc_05;...;...;
dte_8c.6;désignation_clé_03_de_longueur_variable;clé_12car.03yyyyy;etc_06;...;...;

qu'est-ce qui ne te convient pas ?

[papajoker]

bonjour

qu'est-ce qui ne te convient pas ?

c'est surtout que son exemple est bien tronqué Si j'ai bien compris

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
20230105;xxxx;voiture;data1
20230120;xxxx;voiture;data2
20230112;xxxx;voiture;data3
20230105;xxxx;velo,data4
20230120;xxxx;velo;data5
20230112;xxxx;velo;data6
20230125;xxxx;pied;data7
20230116;xxxx;pied;data8
20230107;xxxx;pied;data9

lister que la première ligne ( la plus récente - colonne 1) pour chaque clé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
20230105;xxxx;velo;data4
20230105;xxxx;voiture;data1
20230107;xxxx;pied;data9

et pouvoir aussi lister que la dernière ligne ( la plus ancienne - colonne 1) pour chaque clé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
20230120;xxxx;voiture;data2
20230120;xxxx;velo;data5
20230125;xxxx;pied;data7

[Liamm]

@N_BaH

Le

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sort -t ';' -k3,3 -u /tmp/ruptures.csv

fonctionne effectivement bien !

J'ai appris qqchose; merci.

Le -u (uniq) s'applique à la clé du sort, mais pas à toute la ligne.
D'où l'importance de bien mettre le deuxième "3" dans ; -k3,3

C'est ça ?

Si c'est bien ça, les options -s et -w de la commande uniq ne doivent pas servir très souvent.

[Flodelarab]

et pouvoir aussi lister que la dernière ligne ( la plus ancienne - colonne 1) pour chaque clé :

Oui, on n'a pas traité le cas. Mais on peut facilement retourner le fichier avec la commande tac (inverse de cat). Et si la solution awk est retenue (sans tac), chaque nouvelle entrée chasse l'autre dans le tableau associatif.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ awk -F';' '{vu[$2]=$0;} END{for (i in vu) print vu[i]}' fichier.csv 
date_aaaammjj_05; clé_01;etc_05;...;...;...;

[N_BaH]

j'ai montré l'emploi de tac dans mon premier message.

et toc!