awk fichier plat vers csv

Version imprimable

23/10/2009, 14h13
jadey

awk fichier plat vers csv

Hello les gens,
Je dispose d'un fichier plat avec colonne fixe que je voudrais convertir en fichier csv.
La structure du fichier est ont ne peut plus simple (pas de header ni de footer)
Je souhaiterais qu'une âme charitable me soumette une commande (awk ?) qui soit aussi simple (je n'y connait pas grand chose au shell) à comprendre que mon fichier :D
Je précise que j'ai juste besoin de la commande pour "découper les colonnes" (EDIT: en fait non, pas découper mais récupérer) ne vous tracassez pas avec autre chose.
Merci pour toutes vos contributions.
P.S:Avec le mode d'emploi ça serait bien si ce n'est pas trop demander.
23/10/2009, 14h42
jmelyn

Bonjour,

Si le séparateur est l'espace ' ' et qu'aucun autre n'apparait à l'intérieur des colonnes, alors la commande suivante fonctionne:

Code:

cat fichier_in | tr ' ' ',' > fichier_out
23/10/2009, 14h54
jadey

Citation:

Si le séparateur est l'espace ' '

Tu n'a pas lu mon, post.

Citation:

Je dispose d'un fichier plat avec colonne fixe...

La première colonne partira par exemple de la position 0->18
La deuxième 22->23
La troisième 24->38 etc...
23/10/2009, 14h58
lennelei

man cut peut-être ?

Code:

cut -c1-5 test

prend les 5 premiers caractères de chaque ligne du fichier test.
23/10/2009, 16h14
noooop

Citation:

Envoyé par jadey

Tu n'a pas lu mon, post.

La première colonne partira par exemple de la position 0->18
La deuxième 22->23
La troisième 24->38 etc...

Que se cache t'il derrière le etc ? L'infini ? Du variable ? Une limite ?
23/10/2009, 16h17
jadey

Citation:

Que se cache t'il derrière le etc ? L'infini ? Du variable ? Une limite ?

C'était pour illustrer qu'il y a plusieurs colonnes mais à la fin d'une ligne il y a un retour chariot

Citation:

cut -c1-5 test

Oups.. c'est une très bonne solution mais je t'ai induit en erreur. Voir "EDIT" du premier post. Il me faudrait quelque chose de similaire mais qui laisse le fichier initial intact.

?!

Ben cut ne découpe pas le fichier lui même hein, comme tous les outils, il affiche le résultat de son opération sur la sortie standard.

Exemple (crados):

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$ cat test
TOTO TOTO       3       EUROS
TURLUTUTU     142,0     SCHMILBLIKS
TSOINTSOIN   1249,123   BROUZOUFS
$ cat test2.ksh
#!/usr/bin/ksh
 
while read ligne
do
        echo `echo "$ligne" | cut -c1-12`';'`echo "$ligne" | cut -c13-24`';'`echo "$ligne" | cut -c24-37`
done < test
$ ./test2.ksh
TOTO TOTO ; 3 ; EUROS
TURLUTUTU ; 142,0 ; SCHMILBLIKS
TSOINTSOIN ; 1249,123 ; BROUZOUFS

Pour la découpe de champs de longueur fixe, GNU awk utilise une variable "builtin" bien pratique: FIELDWIDTHS.

Un exemple:
Code:

1 2 3 4 5 6 7 $ cat file 123456789012345678901234567890 aaaabbbcccccccddddddeeeeefffff $ awk -v FIELDWIDTHS="4 3 7 6 5 5 1 " -v OFS=";" '{print $1, $2, $3, $4 ,$5, $6}' file 1234;567;8901234;567890;12345;67890 aaaa;bbb;ccccccc;dddddd;eeeee;fffff
Si tu n'as pas gawk mais seulement nawk ou pire, le awk traditionnel, j'ai une solution de rechange en stock.

23/10/2009, 20h28
jadey

Merci bcp les gars c'est exactement ce que je recherchais.:ccool:
23/10/2009, 21h27
jadey

ripat j'ai un comportement bizar avec ta solution awk, je m'explique j'ai des espace entre mes champs et ce que me retourne ta commande c'est exactement tous les champs de mon fichier en remplaçant la suite des espaces par un ";" ce qui est génial peu importe ce que je met en FIELDWIDTHS
Seulement ce qui est moins génial c'est que sur mon fichier un chaps peut être "zappé" et donc remplacé par des espaces je me retrouve donc avec un csv qui contient des lignes avec plus ou moins de champs.
Voici mon code:

Code:

awk -v FIELDWIDTHS="1 8 7 6 5 5 1 " -v OFS=";" '{print $1, $2, $3, $4 ,$5, $6}' ${DIR_FILE_INPUT}/$1 > ${DIR_OUTPUT}/$1.csv

une première ligne du fichier contenant par exemple:
123456789 donnera sur le csv 12345679;
;;;;
tandis que
la ligne 12 34 56 7 8 9 donnera sur le csv 12;34;56;7;8;9
:aie:
23/10/2009, 21h43
jadey

En fait il y'a quelqu'un qui décrit avoir le même souci ici post de TANAT 19h18
23/10/2009, 22h15
ripat

Awk et sa variable FIELDWIDTHS ne fonctionneront que sur des lignes dont la répartition des champs est rigoureusement identique. Ne pas oublier qu'un espace compte pour un caractère.

Le mieux est que tu donnes un exemple réaliste de fichier. Sinon on risque à jouer aux devinettes.
24/10/2009, 12h42
jadey

Les lignes du fichier ne sont pas identiques: le contenu de certaines colonnes est remplacé par des espaces.
Voici quand même un exemple:sample

Ton fichier sample est bien de longueur fixe. Tant mieux. Avec FIELDWIDTHS il faut être très méthodique et ne pas se tromper dans le découpage. Aides-toi d'un éditeur qui affiche la position des caractères.

Voici le début du découpage de ton fichier sample. Attention, pour une raison que je n'ai jamais vraiment cherché à comprendre, toujours terminer FIELDWIDTHS par 1. La chaîne fieldsToPrint contient les n° des champs que tu souhaites imprimer.

Le snippet:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 $ cat split.awk BEGIN{ # découpage. Ne pas oublier les espaces et terminer par 1. FIELDWIDTHS="11 1 3 6 8 33 4 14 8 1 10 1" # liste des champs à imprimer fieldsToPrint="1 3 5 7 9 11" n=split(fieldsToPrint, a, " ") } { for(i=1;i<=n;i++) printf $a[i] ";" print "" }
Le résultat:
Code:

1 2 3 $ awk -f split.awk sample SSFSSL_9999;TOT;SSL_0112;XXXX;I2410060;0000000082; SSFSSL_9999;TOT;SSL_0118;YYYY;I2410064;0000000008;
A toi de continuer le travail. Si le ; final te gêne il y a facilement moyen de le supprimer:

Code:

for(i=1;i<=n;i++) printf "%s%s", $a[i],(i==n)?"":";"

26/10/2009, 10h50
lennelei

Je ne connaissais pas FIELDWIDTHS :ccool:
26/10/2009, 13h35
jadey

Je me prends ça:
Syntax Error The source line is 1.
The error context is
<<< >>> BEGIN{
awk: 0602-502 The statement cannot be correctly parsed. The source line is 1.
Syntax Error The source line is 3.
En executant ton snippet :(
26/10/2009, 16h18
ripat

As-tu bien mis le code awk dans un fichier et invoqué ce fichier avec awk -f snippet.awk fichier_in

Le builtin FIELDWIDTHS ne marche qu'avec GNU awk. Quel awk utilises-tu?
26/10/2009, 17h01
jadey

Citation:

As-tu bien mis le code awk dans un fichier et invoqué ce fichier avec awk -f snippet.awk fichier_in

Absolument.

Citation:

Quel awk utilises-tu?

awk --version -version --help -help rien ne marche :aie:
C'est du aix 5.2.
26/10/2009, 17h06
jadey

bon j'ai converti le fichier au format unix j'ai plus d'erreurs.
Je vérifie le comportement et je reviens.

bon awk n'en fait qu'a sa tête et semble faire fi des indications du builtin FIELDWIDTHS voici mon code:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
BEGIN{
  # découpage. Ne pas oublier les espaces et terminer par 1.
  FIELDWIDTHS="11 1 8 1 8 17 1 15 4 14 8 1 10 1 10 1 10 1 8 1 8 1 8 1 8 1 8 1 8 1 6 1 9 1 8 24 2 1 5 1 3 1 57 89 8 41 8 71 1"
 
  # liste des champs à imprimer
  fieldsToPrint="1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47"
  n=split(fieldsToPrint, a, " ")
 
}
{
  for(i=1;i<=n;i++) printf $a[i] ";"
  print ""
}

Tu pourrais regarder ce que cela donne comme résultat sur le fchier sample stp ?

Avec mon gawk (GNU awk) ça donne:
Code:

1 2 SSFSSL_9999;TOT ;SSL_0112; ;XXXX;I2410060;0000000082;0000028830;0000006879;20090924;10060193;20090924;10171820;20090924;10171946;000001;NPROTSSL1;iasadmin;76;00512;U15;\\MOMOKUIYP111\exploit\0112\XXX\XXX_TOT_0112_23092009.txt; ; ; SSFSSL_9999;TOT ;SSL_0118;R;YYYY;I2410064;0000000008;0000002190;0000002190;20090924;10060195;20090924;10195857;20090924;10195918;000000;NPROTSSL1;iasadmin;00;00512;U00;\\MOMOKUIYP111\exploit\0118\YYY\XXX_VBV_0118_23092009.txt;SSL_9999;BIDULAGE;
Si tu n'as pas ce résultat, c'est que tu n'as pas gawk. Tu peux alors essayer un pis-aller avec substr():
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 BEGIN{ offset=1 fieldwidths="11 1 8 1 8 17 1 15 4 14 8 1 10 1 10 1 10 1 8 1 8 1 8 1 8 1 8 1 8 1 6 1 9 1 8 24 2 1 5 1 3 1 57 89 8 41 8 71" n=split(fieldwidths, f, " ") } { for(i=1;i<=n;i++){ if (i%2) printf substr($0, offset, f[i]) ";" offset+=f[i] } print "" offset=1 }
Même résultat en sortie qu'avec gawk. Mais en moins véloce d'après des tests que j'ai faits sur d'autres fichiers.

Fais un man awk pour voir comment afficher ta version. Mais si FIELDWIDTHS ne fonctionne pas tu dois avoir, au mieux nawk, au pire le awk original.

27/10/2009, 11h11
jadey

J'ai fais un

Code:

man awk | grep version

et ça me répond par:
conversion specification (%c). The Redirection and Expression parameters
For the c conversion specification: if the argument has a numeric value, the
There are no explicit conversions between numbers and strings. To force an

C'est pas grave vu que ta solution avec printf est parfaite. Je te remercie bcp ainsi que tout ceux ayant participé à la discussion!!! :ccool:
27/10/2009, 15h37
lennelei

Ouais, vaut mieux poster sur le bon forum ;) Pour AIX, éviter de poster sur le forum Linux : il n'y a presque jamais touts les options bien pratiques des outils GNU !