Discussion :

[LestoK]

Bonjour à tous,

j'ai un problème concernant un programme awk.
Je souhaite pouvoir récupérer les valeurs d'un tableau défini en shell dans mon script awk.
Peu importe si ce tableau est passé en paramètre via une variable ou reste une variable shell que le programme awk ne connait pas.

L'important est de pouvoir y accéder.
Mon tableau se remplit correctement mais je n'arrive pas à accéder à l'élément "x". Le x étant défini dans mon programme awk dans une boucle. La variable x prend bien les valeurs successives mais tab[x] me renvoie toujours la dernière ligne de tab.

Voici comment est defini mon tableau :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
 
# STOCKE LE FICHIER ENTETE DANS LE TABLEAU entetes
entetes=( $( cat $1 ) )
# STOCKE LE FICHIER LIGNES DANS LE TABLEAU lignes
lignes=( $( cat $2 ) )
 
#"for index in "${!entetes[@]}";
#       do echo ${entetes[$index]};
#done
#for index in "${!lignes[@]}";
#        do echo ${lignes[$index]};
#done
 
awk -v fic_lignes=$2 -v fic_entete=$1 -v fic_err=$3 -f commande.awk < $1 > sortie
echo "FIN"

Les tableaux se remplissent correctement. Le parcours affichent bien l'ensemble des valeurs.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
[...]
END {
        ### DEBUG ###
        #Je teste juste sur les 100 premieres valeurs pour verifier que je recupere les bonnes valeurs
        for (w=0;w<100;w++)
        {
                print "entetes[" w "] = " $entetes[w]
        }
 
}

Il s'emblerait que le tableau n'est pas "indexé" comme prévu.

Comme on dit souvent souvent "need help !"

Merci aux courageux qui prendront le temps de répondre.

[jmelyn]

Bonjour,

Je ne pense pas qu'il soit souhaitable de passer des variables par référence (ce que sont les tableaux) de l'environnement shell à l'environnement awk. Les manières de gérer la mémoire et d'utiliser les indices peuvent être différentes. Et puis quel shell: Bash, ksh, zsh, csh...? Et puis quelle implémentation de awk: GNU, Windows...?

Je lirais plutôt les fichiers au démarrage de awk, dans le bloc BEGIN pour initialiser les tableaux nécessaires.

[LestoK]

Il est vraie que cette solution serait plus propre mais j'avais des problèmes de perfs pour les gros fichiers.

Quelle fonction permettrait de faire cela dans awk avec de bonnes perf (<10secondes pour les fichiers volumineux).

Je passe le chemin des fichiers concernées en variable.

[LestoK]

Environnement : bash / unix

[LestoK]

Pour plus de facilite (il fallait également y penser), j'ai concaténer mes deux fichiers en un et je passe le nombre de lignes de chaque fichier au programme awk. Ainsi en fonction du nombre de record je sais si il s'agit du 1er fichier ou du deuxieme.

Merci quand même pour ton aide.

[jmelyn]

Charger les deux fichiers pour ensuite travailler dessus peut être très lourd si lesdits fichiers sont volumineux ou si la mémoire manque. L'idéal serait de charger une ligne à la fois, la traiter puis l'enregistrer, même s'il faut décomposer en plusieurs étapes et fichiers intermédiaires.

Il serait certainement intéressant de parler plus concrètement avec un exemple à l'appui:

• Le premier fichier a telle structure, je lui fais passer tel traitement puis je l'enregistre avec ce nom. Il peut y avoir entre X et Y lignes.
• Le second fichier a telle autre structure et je le manipule de cette manière.
• etc...

Il sera ainsi possible de trouver une solution optimale.

Je ne repasserai pas ici avant demain.