Discussion :

[mercosivo]

Bonjour à tous,

J’essaie de faire un petit script qui évalue certains champs d'un CSV.
Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

blablabla,blablabla,(47+(34/60)+(54.42/3600)),blablabla,blabla

devient

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

blablabla,blablabla,47.58178333333333333332,blablabla,blabla

J'ai un premier jet qui fonctionne pas trop mal :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
awk -F ',' 'function CALC( F ) {system ("echo \"" $F "\" | bc -l | tr -d \"\\n\"")} { for(i=1 ; i <= 13 ; i++) { printf "%s,",$i } ; CALC( 14 ); for(i=16 ; i <= NF ; i++) { printf "%s", ","$i }; print "\n"}' fichier.csv

Mon problème est que cela est très,très long ....

A priori avec printf, c'est bien plus rapide, mais impossible de le faire fonctionner...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
awk -F ',' 'function CALC( F ) {printf "%.3f\n", $F} { for(i=1 ; i <= 13 ; i++) { printf "%s,",$i } ;  CALC( 14 ); print "\n"}' fichier.csv

Le $F contient bien ma chaine mais le retour = 0.000

Voilà.

Si l'un de vous a des idées, je suis preneur.

Merci.

[N_BaH]

Bonjour,

je pensais que strtonum aurait évalué la chaîne, mais non.
alors j'ai fait un peu de stfw :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gawk 'BEGIN{FS=OFS=","}{"echo \""$3"\"| bc -l"|getline var; $3=var}1' tonFichier

recourir au shell dans awk me rend chagrin.

[mercosivo]

Bonjour N_BaH,

Merci pour ton retour. Ca fonctionne très bien et c'est bien plus jolie que ma première tentative ^^
Cependant, le temps de traitement est toujours très long, enfin je suppose qu'il est "normal" avec un bc.

J'ai donc une autre question, bc est-il le moyen le plus rapide de calculer des floats en shell ?
Dans mon cas j'ai environ 2,5 millions d'enregistrement à traiter et j'aimerai être dans les 30min (la à priori entre 45min et 1H de traitement ).

Merci.

[disedorgue]

Une variante plus barbare toujours avec bc:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
echo 'blablabla,blablabla,(47+(34/60)+(54.42/3600)),blabla,blabla' | awk -F ',' 'BEGIN{OFS=FS}"bc -l <<<\""$3"\"" | getline $16'
blablabla,blablabla,(47+(34/60)+(54.42/3600)),blabla,blabla,,,,,,,,,,,47.58178333333333333332

Et une version perl (peut-être plus rapide) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
echo 'blablabla,blablabla,(47+(34/60)+(54.42/3600)),blabla,blabla' | perl -F',' -ane '$,=",";chomp @F;print @F,",,,,,,,",(eval "$F[2]")."\n"'
blablabla,blablabla,(47+(34/60)+(54.42/3600)),blabla,blabla,,,,,,,,,47.5817833333333

[N_BaH]

le shell ne sait pas calculer les nombres à virgule.

[balkany]

Il me semble qu'il y a quand même plus performant, sans appeler l'évaluation à chaque ligne.
Puisque le champ contenant les opérations est apparemment toujours à la même place :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

d=','; c=3; paste -d"$d" <(awk -F"$d" -vc=$c '{for(i=1;i<=c-2;i++) printf("%s"FS,$i); printf("%s\n",$i)}' f) <(bc -l < <(awk -F"$d" -vc=$c '{print $c}' f)) <(awk -F"$d" -vc=$c '{for(i=c+1;i<=NF-1;i++) printf("%s"FS,$i); printf("%s\n",$NF)}' f)

Ce qui donne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
$ cat f
blablabla,blablabla,(47+(34/60)+(54.42/3600)),blablabla,blabla
blablabla,blablabla,(47+(34/60)+(54.42/3600)),blablabla,blabla
blablabla,blablabla,(47+(34/60)+(54.42/3600)),blablabla,blabla
blablabla,blablabla,(47+(34/60)+(54.42/3600)),blablabla,blabla
blablabla,blablabla,(47+(34/60)+(54.42/3600)),blablabla,blabla
$ d=','; c=3; paste -d"$d" <(awk -F"$d" -vc=$c '{for(i=1;i<=c-2;i++) printf("%s"FS,$i); printf("%s\n",$i)}' f) <(bc -l < <(awk -F"$d" -vc=$c '{print $c}' f)) <(awk -F"$d" -vc=$c '{for(i=c+1;i<=NF-1;i++) printf("%s"FS,$i); printf("%s\n",$NF)}' f)
blablabla,blablabla,47.58178333333333333332,blablabla,blabla
blablabla,blablabla,47.58178333333333333332,blablabla,blabla
blablabla,blablabla,47.58178333333333333332,blablabla,blabla
blablabla,blablabla,47.58178333333333333332,blablabla,blabla
blablabla,blablabla,47.58178333333333333332,blablabla,blabla
$

Si le champ contenant les opérations n'est pas toujours à la même place, il faut savoir comment le repérer, et mettre ça dans les différents awk : ça ne me semble pas poser de problème à priori.

[N_BaH]

sur 6M de lignes, la ligne de code, que j'ai trouvée en fouinant le net, est trois fois plus rapide.

[disedorgue]

Une version spéciale gawk:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gawk -F ',' 'BEGIN{OFS=FS}{print $3 |& "bc -l" ; "bc -l" |& getline $16}1' fichier

Ici, gawk crée un sous process bc sur lequel il pipe l'entrée et la sortie, un seul process bc est lancé pour toute la lecture du fichier.

Dans l'exemple présenté ici, on envoi sur l'entrée et on récupère tout de suite la sorti de bc, mais rien n'empêche de faire d'autres actions entre les deux.

[jack-ft]

J’essaie de faire un petit script qui évalue certains champs d'un CSV.
Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

blablabla,blablabla,(47+(34/60)+(54.42/3600)),blablabla,blabla

devient

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

blablabla,blablabla,47.58178333333333333332,blablabla,blabla

Quand je vois ça, ça me fait penser à quelqu'un qui essaierait de transformer "47 heures, 34 minutes et 54.42 secondes" en "47.58178333333333333332 heures".

Je ne sais pas s'il existe des fonctions plus rapides que les 2 divisions et les sommes...

J'ai aussi un peu de mal à imaginer dans quel contexte il serait véritablement et sensément indispensable d'avoir ce format pour le moins non conventionnel.

Bref, si c'était mon projet, je changerais le process qui génère le fichier pour:
- soit lui faire mettre dans 3 champs séparés les heures, minutes et secondes
- soit lui faire faire lui-même le calcul et mettre le résultat dans le champ!

Évidemment, comme d'habitude, j'imagine qu'il est fort probable que le changement de format du fichier ne soit pas une option envisageable...