Discussion :

[sandrine06801]

Bonjour,

Mon but est de transformer un fichier via un script AWK

Fichier initial: fic1.csv

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Date: 27-Sep-2019
Description 1
Description 2
Description 3
 
Entete 1
 
 
COLONNE1   COL2   XXX XXXXXXXXXXXX XXXXX
123456789    FR12345  CEXXXXXX     DUPONT   HENRI   12-08-1950    12800    GU    120  EUR     CARTE    CREDIT   11
123456789    FR12345  CEXXXXXX     DUPONT   HENRI   12-08-1950    12800    GA    150  EUR     CARTE    DEBIT   20    
412566655    FR43333  CEXXXXXX     MARTIN   LUCIEN   20-02-2000    13200    GA    420  EUR     CARTE    DEBIT   1  
842216654    FR8523  CEXXXXXX     LECOMTE    CATHERINE   21-08-1989    43520    GC    25000  EUR     CARTE    DEBIT   15
9876543210    FR456788  CEXXXXXX     MARTIN   JACQUES   21-08-1902    94250    GA    3600  EUR     CARTE    DEBIT   58  
9876543210    FR456788  CEXXXXXX     MARTIN   JACQUES   21-08-1902    94250    GC    25000  EUR     CARTE    DEBIT   120

Fichier qui doit être généré: fic2.csv

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
1;412566655;FR43333;MARTIN;LUCIEN;20-02-2000;13200;EUR;CARTE;GA;420;DB;1;
2;123456789;FR12345;DUPONT;HENRI;12-08-1950;12800;EUR;CARTE;GU;120;CR;GA;150;DB;31;
1;842216654;FR8523;LECOMTE;CATHERINE;21-08-1989;43520;EUR;CARTE;GC;25000;DB;15;
2;9876543210;FR456788;MARTIN;JACQUES;21-08-1902;94250;EUR;CARTE;GA;3600;DB;GC;25000;DB;178;

J'ai réussi à le faire avec une suite de commandes awk, mais je ne parviens pas à écrire un seul script awk du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
BEGIN {
    # Things to be done before you start processing rows.
}
{
    # Things to be done for each row.
}
END {
    # Things to be done after processing the last row.
}

Suite de commandes awk pour parvenir au résultat souhaité

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat test.csv | awk 'f;/COLONNE1   COL2/{f=1}' | awk -F'\t' '$1!=""' | awk -F' ' '{$3=""}1' | awk '{$1=$1};1' FS=";" | awk '{$2=$2};1' OFS=";" | awk 'BEGIN{FS=OFS=";"} {if ($11=="CREDIT") {$11="CR"} else {$11="DB"}}1' | awk '{print $0";"}'  | awk -F';' '{occ[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]++;sum[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]+=$12;a[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]=a[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10] ";" $7 ";" $8 ";" $11} END {for (k in a) {print occ[k] ";" k a[k] ";" sum[k] ";"}}'

awk 'f;/COLONNE1 COL2/{f=1}' --> suppression de l'en-tête du fichier
awk -F'\t' '$1!=""' --> suppression des lignes blanches à la fin du fichier
awk -F' ' '{$3=""}1' --> suppression du 3ème champ
awk '{$1=$1};1' FS=" " --> suppression des espaces inutiles entre les champs
awk '{$2=$2};1' OFS=";" --> séparateur est un ';' au lieu d'un ' '
awk 'BEGIN{FS=OFS=";"} {if ($11=="CREDIT") {$11="CR"} else {$11="DB"}}1' --> changementCREDIT en CR et DEBIT en DB
awk '{print $0";"}' --> ajout d'un ';' à la fin de chaque ligne
awk -F';' '{occ[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]++;sum[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]+=$12;a[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]=a[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10] ";" $7 ";" $8 ";" $11} END {for (k in a) {print occ[k] ";" k a[k] ";" sum[k] ";"}}' --> regroupement en fonction des champs "$1 - $2 - $3 - $4 - $5 - $6 - $9 - $10"; ajout nombre d'occurrence en début de ligne; cumul du dernier champ

Merci de votre aide

[ctac_]

Bonjour,
Si l'ordre n'est pas important, comme ça peut être?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -v b=";" 'f&&NF{$12=$12=="DEBIT"?"DB":"CR";a=$1b$2b$4b$5b$6b$7b$10b$11;++c[a];e[a]=e[a]$8b$9b$12b;g[a]=g[a]+$13;next};/COLONNE1   COL2/{f=1}END{for(i in c)print c[i]b i b e[i]g[i]b}' fic1.csv

Cordialement.

[sandrine06801]

Bonjour,

Merci beaucoup ctac_

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -v b=";" 'f&&NF{$12=$12=="DEBIT"?"DB":"CR";a=$1b$2b$4b$5b$6b$7b$10b$11;++c[a];e[a]=e[a]$8b$9b$12b;g[a]=g[a]+$13;next};/COLONNE1   COL2/{f=1}END{for(i in c)print c[i]b i b e[i]g[i]b}' fic1.csv

Pourriez-vous m'expliquer ce qui suit
f&&NF

Le fichier d'origine a un peu été modifié et j'essaie d'adapter la commande

Fichier initial: test_new.csv

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
123456789,FR12345,CEXXXXXX,DUPONT,HENRI,12-08-1950,12800,GU,120,EUR,CARTE,CREDIT,11
123456789,FR12345,CEXXXXXX,DUPONT,HENRI,12-08-1950,12800,GA,150,EUR,CARTE,DEBIT,20    
412566655,FR43333,CEXXXXXX,MARTIN,LUCIEN,20-02-2000,13200,GA,420,EUR,CARTE,DEBIT,1  
842216654,FR8523,CEXXXXXX,LECOMTE,CATHERINE,21-08-1989,43520,GC,25000,EUR,CARTE,DEBIT,15
9876543210,FR456788,CEXXXXXX,MARTIN,JACQUES,21-08-1902,94250,GA,3600,EUR,CARTE,DEBIT,58  
9876543210,FR456788,CEXXXXXX,MARTIN,JACQUES,21-08-1902,94250,GC,25000,EUR,CARTE,DEBIT,120

Fichier qui doit être généré: test_new_2.csv

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
1;412566655;FR43333;MARTIN;LUCIEN;20/02/2000;13200;EUR;CARTE;GA;420;DB;1;
2;123456789;FR12345;DUPONT;HENRI;12-08/1950;12800;EUR;CARTE;GU;120;CR;GA;150;DB;31;
1;842216654;FR8523;LECOMTE;CATHERINE;21/08/1989;43520;EUR;CARTE;GC;25000;DB;15;
2;9876543210;FR456788;MARTIN;JACQUES;21/08/1902;94250;EUR;CARTE;GA;3600;DB;GC;25000;DB;178;

j'ai modifié la commande que vous m'aviez gentiment communiquée par contre la 1ère ligne du fichier initial n'est pas prise en compte

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -v b=";" '{FS=","} f&&NF{$12=$12=="DEBIT"?"DB":"CR";a=$1b$2b$4b$5b$6b$7b$10b$11;++c[a];e[a]=e[a]$8b$9b$12b;g[a]=g[a]+$13;next};{f=1}END{for(i in c)print c[i]b i b e[i]g[i]b}' test_new.csv

Résultat obtenu

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
1;123456789;FR12345;DUPONT;HENRI;12-08-1950;12800;EUR;CARTE;GA;150;DB;20;
1;842216654;FR8523;LECOMTE;CATHERINE;21-08-1989;43520;EUR;CARTE;GC;25000;DB;15;
2;9876543210;FR456788;MARTIN;JACQUES;21-08-1902;94250;EUR;CARTE;GA;3600;DB;GC;25000;DB;178;
1;412566655;FR43333;MARTIN;LUCIEN;20-02-2000;13200;EUR;CARTE;GA;420;DB;1;

La 1ère ligne du fichier n'est pas prise en compte
123456789,FR12345,CEXXXXXX,DUPONT,HENRI,12-08-1950,12800,GU,120,EUR,CARTE,CREDIT,11

La date doit être au format JJ/MM/YYYY, est-ce que je peux le faire dans la même commande awk?

Merci d'avance

[Flodelarab]

Bonjour

La date doit être au format JJ/MM/YYYY, est-ce que je peux le faire dans la même commande awk?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gsub(/-/,"/",$6);

Le 6ème champ est modifié. La fonction renvoie le nombre de substitutions. Ici, 2.

[sandrine06801]

Bonjour

Merci à Flodelarab

En modifiant la commande, je suis parvenue à ce que la 1ère ligne ne soit plus ignorée

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F ',' -v b=";" '{$12=$12=="DEBIT"?"DB":"CR";a=$1b$2b$4b$5b$6b$7b$10b$11;++c[a];e[a]=e[a]$8b$9b$12b;g[a]=g[a]+$13} END{for(i in c)print c[i]b i b e[i]g[i]b}' test_new.csv

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
2;123456789;FR12345;DUPONT;HENRI;12-08-1950;12800;EUR;CARTE;GU;120;CR;GA;150;DB;31;
1;842216654;FR8523;LECOMTE;CATHERINE;21-08-1989;43520;EUR;CARTE;GC;25000;DB;15;
2;9876543210;FR456788;MARTIN;JACQUES;21-08-1902;94250;EUR;CARTE;GA;3600;DB;GC;25000;DB;178;
1;412566655;FR43333;MARTIN;LUCIEN;20-02-2000;13200;EUR;CARTE;GA;420;DB;1;

Si quelqu'un peut m'expliquer la partie f&&NF de la commande communiquée par ctac_, je suis preneuse


Je vais maintenant essayer de modifier la commande awk pour que la date ait le bon format dans le fichier de sortie

Merci

[CosmoKnacki]

f&&NF avait pour rôle par rapport à ton fichier d'origine (celui de ton premier post) de zapper toutes les lignes avant celles contenant les données (car f passe à 1 une fois le header rencontré) ainsi que les éventuelles lignes vides après (car dans ce cas les nombre de champs NF est égal à 0). Pour résumer la condition f&&NF renvoie 1 que pour les lignes de données.

Une chose qui m'interroge: Est-il normal d'additionner les crédits et les débits d'Henri Dupont? Ne devrait-on pas les retrancher les uns aux autres et, sur la ligne résultat, décider s'il s'agit d'un crédit ou d'un débit selon le signe du résultat?