Création d'un script AWK pour modifier un fichier

Version imprimable

Bonjour,

Mon but est de transformer un fichier via un script AWK

Fichier initial: fic1.csv
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Date: 27-Sep-2019 Description 1 Description 2 Description 3 Entete 1 COLONNE1 COL2 XXX XXXXXXXXXXXX XXXXX 123456789 FR12345 CEXXXXXX DUPONT HENRI 12-08-1950 12800 GU 120 EUR CARTE CREDIT 11 123456789 FR12345 CEXXXXXX DUPONT HENRI 12-08-1950 12800 GA 150 EUR CARTE DEBIT 20 412566655 FR43333 CEXXXXXX MARTIN LUCIEN 20-02-2000 13200 GA 420 EUR CARTE DEBIT 1 842216654 FR8523 CEXXXXXX LECOMTE CATHERINE 21-08-1989 43520 GC 25000 EUR CARTE DEBIT 15 9876543210 FR456788 CEXXXXXX MARTIN JACQUES 21-08-1902 94250 GA 3600 EUR CARTE DEBIT 58 9876543210 FR456788 CEXXXXXX MARTIN JACQUES 21-08-1902 94250 GC 25000 EUR CARTE DEBIT 120
Fichier qui doit être généré: fic2.csv
Code:

1 2 3 4 1;412566655;FR43333;MARTIN;LUCIEN;20-02-2000;13200;EUR;CARTE;GA;420;DB;1; 2;123456789;FR12345;DUPONT;HENRI;12-08-1950;12800;EUR;CARTE;GU;120;CR;GA;150;DB;31; 1;842216654;FR8523;LECOMTE;CATHERINE;21-08-1989;43520;EUR;CARTE;GC;25000;DB;15; 2;9876543210;FR456788;MARTIN;JACQUES;21-08-1902;94250;EUR;CARTE;GA;3600;DB;GC;25000;DB;178;
J'ai réussi à le faire avec une suite de commandes awk, mais je ne parviens pas à écrire un seul script awk du style
Code:

1 2 3 4 5 6 7 8 9 BEGIN { # Things to be done before you start processing rows. } { # Things to be done for each row. } END { # Things to be done after processing the last row. }
Suite de commandes awk pour parvenir au résultat souhaité

Code:

cat test.csv | awk 'f;/COLONNE1 COL2/{f=1}' | awk -F'\t' '$1!=""' | awk -F' ' '{$3=""}1' | awk '{$1=$1};1' FS=";" | awk '{$2=$2};1' OFS=";" | awk 'BEGIN{FS=OFS=";"} {if ($11=="CREDIT") {$11="CR"} else {$11="DB"}}1' | awk '{print $0";"}' | awk -F';' '{occ[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]++;sum[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]+=$12;a[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]=a[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10] ";" $7 ";" $8 ";" $11} END {for (k in a) {print occ[k] ";" k a[k] ";" sum[k] ";"}}'

awk 'f;/COLONNE1 COL2/{f=1}' --> suppression de l'en-tête du fichier
awk -F'\t' '$1!=""' --> suppression des lignes blanches à la fin du fichier
awk -F' ' '{$3=""}1' --> suppression du 3ème champ
awk '{$1=$1};1' FS=" " --> suppression des espaces inutiles entre les champs
awk '{$2=$2};1' OFS=";" --> séparateur est un ';' au lieu d'un ' '
awk 'BEGIN{FS=OFS=";"} {if ($11=="CREDIT") {$11="CR"} else {$11="DB"}}1' --> changementCREDIT en CR et DEBIT en DB
awk '{print $0";"}' --> ajout d'un ';' à la fin de chaque ligne
awk -F';' '{occ[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]++;sum[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]+=$12;a[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10]=a[$1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $9 ";" $10] ";" $7 ";" $8 ";" $11} END {for (k in a) {print occ[k] ";" k a[k] ";" sum[k] ";"}}' --> regroupement en fonction des champs "$1 - $2 - $3 - $4 - $5 - $6 - $9 - $10"; ajout nombre d'occurrence en début de ligne; cumul du dernier champ

Merci de votre aide

29/12/2019, 12h23
ctac_

Bonjour,
Si l'ordre n'est pas important, comme ça peut être?

Code:

awk -v b=";" 'f&&NF{$12=$12=="DEBIT"?"DB":"CR";a=$1b$2b$4b$5b$6b$7b$10b$11;++c[a];e[a]=e[a]$8b$9b$12b;g[a]=g[a]+$13;next};/COLONNE1 COL2/{f=1}END{for(i in c)print c[i]b i b e[i]g[i]b}' fic1.csv

Cordialement.

Bonjour,

Merci beaucoup ctac_

Code:

awk -v b=";" 'f&&NF{$12=$12=="DEBIT"?"DB":"CR";a=$1b$2b$4b$5b$6b$7b$10b$11;++c[a];e[a]=e[a]$8b$9b$12b;g[a]=g[a]+$13;next};/COLONNE1 COL2/{f=1}END{for(i in c)print c[i]b i b e[i]g[i]b}' fic1.csv

Pourriez-vous m'expliquer ce qui suit
f&&NF

Le fichier d'origine a un peu été modifié et j'essaie d'adapter la commande

Fichier initial: test_new.csv
Code:

1 2 3 4 5 6 123456789,FR12345,CEXXXXXX,DUPONT,HENRI,12-08-1950,12800,GU,120,EUR,CARTE,CREDIT,11 123456789,FR12345,CEXXXXXX,DUPONT,HENRI,12-08-1950,12800,GA,150,EUR,CARTE,DEBIT,20 412566655,FR43333,CEXXXXXX,MARTIN,LUCIEN,20-02-2000,13200,GA,420,EUR,CARTE,DEBIT,1 842216654,FR8523,CEXXXXXX,LECOMTE,CATHERINE,21-08-1989,43520,GC,25000,EUR,CARTE,DEBIT,15 9876543210,FR456788,CEXXXXXX,MARTIN,JACQUES,21-08-1902,94250,GA,3600,EUR,CARTE,DEBIT,58 9876543210,FR456788,CEXXXXXX,MARTIN,JACQUES,21-08-1902,94250,GC,25000,EUR,CARTE,DEBIT,120
Fichier qui doit être généré: test_new_2.csv
Code:

1 2 3 4 1;412566655;FR43333;MARTIN;LUCIEN;20/02/2000;13200;EUR;CARTE;GA;420;DB;1; 2;123456789;FR12345;DUPONT;HENRI;12-08/1950;12800;EUR;CARTE;GU;120;CR;GA;150;DB;31; 1;842216654;FR8523;LECOMTE;CATHERINE;21/08/1989;43520;EUR;CARTE;GC;25000;DB;15; 2;9876543210;FR456788;MARTIN;JACQUES;21/08/1902;94250;EUR;CARTE;GA;3600;DB;GC;25000;DB;178;
j'ai modifié la commande que vous m'aviez gentiment communiquée par contre la 1ère ligne du fichier initial n'est pas prise en compte

Code:

awk -v b=";" '{FS=","} f&&NF{$12=$12=="DEBIT"?"DB":"CR";a=$1b$2b$4b$5b$6b$7b$10b$11;++c[a];e[a]=e[a]$8b$9b$12b;g[a]=g[a]+$13;next};{f=1}END{for(i in c)print c[i]b i b e[i]g[i]b}' test_new.csv

Résultat obtenu
Code:

1 2 3 4 1;123456789;FR12345;DUPONT;HENRI;12-08-1950;12800;EUR;CARTE;GA;150;DB;20; 1;842216654;FR8523;LECOMTE;CATHERINE;21-08-1989;43520;EUR;CARTE;GC;25000;DB;15; 2;9876543210;FR456788;MARTIN;JACQUES;21-08-1902;94250;EUR;CARTE;GA;3600;DB;GC;25000;DB;178; 1;412566655;FR43333;MARTIN;LUCIEN;20-02-2000;13200;EUR;CARTE;GA;420;DB;1;
La 1ère ligne du fichier n'est pas prise en compte
123456789,FR12345,CEXXXXXX,DUPONT,HENRI,12-08-1950,12800,GU,120,EUR,CARTE,CREDIT,11

La date doit être au format JJ/MM/YYYY, est-ce que je peux le faire dans la même commande awk?

Merci d'avance

03/02/2020, 15h25
Flodelarab

Bonjour :coucou:

Citation:

Envoyé par sandrine06801

La date doit être au format JJ/MM/YYYY, est-ce que je peux le faire dans la même commande awk?

Code:

gsub(/-/,"/",$6);

Le 6ème champ est modifié. La fonction renvoie le nombre de substitutions. Ici, 2.

Bonjour

Merci à Flodelarab

En modifiant la commande, je suis parvenue à ce que la 1ère ligne ne soit plus ignorée

Code:

awk -F ',' -v b=";" '{$12=$12=="DEBIT"?"DB":"CR";a=$1b$2b$4b$5b$6b$7b$10b$11;++c[a];e[a]=e[a]$8b$9b$12b;g[a]=g[a]+$13} END{for(i in c)print c[i]b i b e[i]g[i]b}' test_new.csv
Code:

1 2 3 4 2;123456789;FR12345;DUPONT;HENRI;12-08-1950;12800;EUR;CARTE;GU;120;CR;GA;150;DB;31; 1;842216654;FR8523;LECOMTE;CATHERINE;21-08-1989;43520;EUR;CARTE;GC;25000;DB;15; 2;9876543210;FR456788;MARTIN;JACQUES;21-08-1902;94250;EUR;CARTE;GA;3600;DB;GC;25000;DB;178; 1;412566655;FR43333;MARTIN;LUCIEN;20-02-2000;13200;EUR;CARTE;GA;420;DB;1;
Si quelqu'un peut m'expliquer la partie f&&NF de la commande communiquée par ctac_, je suis preneuse

Je vais maintenant essayer de modifier la commande awk pour que la date ait le bon format dans le fichier de sortie

Merci

04/02/2020, 12h23
CosmoKnacki

f&&NF avait pour rôle par rapport à ton fichier d'origine (celui de ton premier post) de zapper toutes les lignes avant celles contenant les données (car f passe à 1 une fois le header rencontré) ainsi que les éventuelles lignes vides après (car dans ce cas les nombre de champs NF est égal à 0). Pour résumer la condition f&&NF renvoie 1 que pour les lignes de données.

Une chose qui m'interroge: Est-il normal d'additionner les crédits et les débits d'Henri Dupont? Ne devrait-on pas les retrancher les uns aux autres et, sur la ligne résultat, décider s'il s'agit d'un crédit ou d'un débit selon le signe du résultat?