gawk et locale

Bonjour,

Est-il possible de modifier les "locale" à l'intérieur d'un programme gawk ?

Ce que je voudrais faire, c'est tester si un champ ne contient que des majuscules non accentuées.
Alors, j'y arrive comme ça :

Code:

---

1 2 3

$ LC_COLLATE=C gawk '/^[A-Z]$/' <<<"É" $ LC_CTYPE=C gawk '/^[[:upper:]]$/' <<<"É" $

---

Mais est-il possible de le faire dans le programme gawk ? J'ai essayé ceci, mais ça ne fonctionne pas, du moins, ça ne fonctionne pas comme je voudrais :

Code:

---

1 2 3 4 5 6 7 8 9

$ gawk 'BEGIN{ENVIRON["LC_COLLATE"]="C"} /^[A-Z]$/' <<<"É" É $ gawk 'BEGIN{LC_COLLATE="C"} /^[A-Z]$/' <<<"É" É $ gawk 'BEGIN{ENVIRON["LC_CTYPE"]="C"}/^[[:upper:]]$/' <<<"É" É $ gawk 'BEGIN{LC_CTYPE="C"}/^[[:upper:]]$/' <<<"É" É $

---

Bonjour,

On ne peut pas, même si on redéfini les valeurs des locales dans le awk, c'est trop tard, car elles ont déjà été initialisées en interne.

Perso, mon LC_COLLATE est en fr_FR.utf-8 et il ne pose pas de souci avec la regex '[A-Z]'...

Sinon, tu as essayé en passant par:

Code:

---

gawk '/^[\x41-\x5a]$/' <<<"É"

---

Une autre alternative, c'est de ce créer un petit script qui configure les locale et lance le awk.

Ou alors ton awk pipe ou fork (system) un autre awk avec une locale différente.

Bonjour,

Merci pour ta réponse disedorgue.

En fait, ça doit venir de la version de gawk sur le serveur ou des "locales" en elles-mêmes ??

Sur mon PC perso, ça fonctionne comme chez toi :

Code:

---

1 2 3 4 5 6 7

$ gawk --version | head -2 GNU Awk 4.1.4, API: 1.1 (GNU MPFR 4.0.1, GNU MP 6.1.2) Copyright © 1998, 1991-2016 Free Software Foundation. $ LC_COLLATE="fr_FR.utf8" gawk '/^[A-Z]$/' <<<"É" $ LC_COLLATE="en_US.UTF-8" gawk '/^[A-Z]$/' <<<"É" $ LC_COLLATE="C" gawk '/^[A-Z]$/' <<<"É" $

---

Alors que sur le serveur où mon script tourne :

Code:

---

1 2 3 4 5 6 7 8 9

$ gawk --version | head -2 GNU Awk 3.1.7 Copyright (C) 1989, 1991-2009 Free Software Foundation. $ LC_COLLATE="fr_FR.utf8" gawk '/^[A-Z]$/' <<<"É" É $ LC_COLLATE="en_US.UTF-8" gawk '/^[A-Z]$/' <<<"É" É $ LC_COLLATE="C" gawk '/^[A-Z]$/' <<<"É" $

---

L'utilisation de [\x41-\x5a] ne résout pas le souci sur le serveur :

Code:

---

1 2 3 4 5 6

$ LC_COLLATE="fr_FR.utf8" gawk '/^[\x41-\x5a]$/' <<<"É" É $ LC_COLLATE="en_US.UTF-8" gawk '/^[\x41-\x5a]$/' <<<"É" É $ LC_COLLATE="C" gawk '/^[\x41-\x5a]$/' <<<"É" $

---

Mais si on est en LC_COLLATE="fr_FR.utf8", le « É » devrait sortir, non ? Ou ce n'est pas LC_COLLATE qui sert pour "trier" ??

Edit :
Voilà l'explication de la différence de fonctionnement entre la version 3 et la version 4 de gawk :
Regexp Ranges and Locales: A Long Sad Story

Re-edit :
Et du coup, j'ai rajouté un petit avertissement au début de mon script gawk comme ceci :

Code:

---

1 2 3 4

#!/usr/bin/gawk -f BEGIN { if ( ENVIRON["LC_COLLATE"] != "C" ) { printf "Lancer le script comme ceci :\n\tLC_COLLATE=C ./extract.awk fichiers\n"; exit 1;} }

---

Je ne sais pas ce que fait la globalité de ton script awk, mais voici un petit trick qui peut s'interfacer selon le besoin...

Code:

---

1 2 3

$ gawk "{\"LC_CTYPE=C awk '/[[:lower:]]/' <<<\"\$0 | getline result}result" <<<"é" $ gawk "{\"LC_CTYPE=fr_FR.UTF-8 awk '/[[:lower:]]/' <<<\"\$0 | getline result}result" <<<"é" é

---

Ici, je suis obligé de protéger les guillemets et le $ car je suis en ligne de commande, dans un script awk, ce n'est pas la peine.

Merci pour le petit trick !

Et à propos de trick, en aurais tu un pour que je n'ai pas besoin de passer les fichiers en arguments au script awk ?

Quand j'ai 2-3 fichiers, ça va, je fais comme ça :

Code:

---

1 2 3 4 5 6

#!/usr/bin/gawk -f BEGIN { ARGV[1]="/chemin/fichier1" ARGV[2]="/chemin/fichier2" ARGC=3 }

---

Ça me permet d'appeler le script en faisant simplement ./script.awk, pas besoin de faire ./script.awk "/chemin/fichier1" "/chemin/fichier2"

Mais si par exemple je veux traiter tous les fichiers *.txt d'un répertoire, on peut éviter ./script.awk "/chemin/"*.txt ?

un truc comme ça ?

Code:

---

$ gawk 'BEGIN{"echo *.txt" | getline result ; split(result,ARGV) ; ARGC=length(ARGV)+1}'

---

Exactement !
J'étais entrain de chercher et je m'approchais d'un truc dans le genre.
Merci !

Edit :
Et je suis arrivé à ça pour traiter les fichiers avec des noms peu orthodoxes ! (oui, je suis tordu !)

Code:

---

1 2 3 4 5 6 7 8 9 10

#!/usr/bin/gawk -f BEGIN { savRS=RS RS="\0" while ("printf \"%s\\0\" test/*" | getline a) { fics=fics sep a; sep="\0" } RS=savRS sav_ARGV0=ARGV[0] ARGC=split(fics, ARGV, /\0/) + 1 ARGV[0]=sav_ARGV0 }

---

Bonjour :coucou:

Citation:

---

Mais si par exemple je veux traiter tous les fichiers *.txt d'un répertoire, on peut éviter ./script.awk "/chemin/"*.txt ?

---

Mouai. À ce moment là, ne faut-il pas rendre à chacun sa fonction et faire un script.bash qui execute un script awk (interne ou externe) ?

Citation:

---

Mais si par exemple je veux traiter tous les fichiers *.txt d'un répertoire

---

C'est-à-dire ? Reprendre les fichiers un à un comme si c'était un nouveau ? Ou les traiter ensemble ?

Pas sûr que tu aies besoin d'instruction particulière.

Bonjour Flodelarab,

Citation:

---

Envoyé par Flodelarab

Mouai. À ce moment là, ne faut-il pas rendre à chacun sa fonction et faire un script.bash qui execute un script awk (interne ou externe) ?

---

Oui, tu as sans doute raison.
Disons que c'était aussi un exercice pour manipuler ARGV et ARGC.

Citation:

---

Envoyé par Flodelarab

C'est-à-dire ? Reprendre les fichiers un à un comme si c'était un nouveau ? Ou les traiter ensemble ?

---

Tous les fichiers d'un répertoire sont à traiter ensemble.
J'ai plusieurs scripts awk, chacun travaillant sur les fichiers d'un répertoire.
Tous les fichiers d'un répertoire sont traités ensemble. Et disons que comme j'avais un peu de temps, je voulais voir si on pouvait se passer d'un .sh englobant le awk juste pour passer en argument les fichiers d'un répertoire.

Ton bout de script simplifié:

Code:

---

1 2 3 4 5 6 7 8

#!/usr/bin/gawk -f BEGIN { savRS=RS RS="\0" ARGC=1 while ("printf \"%s\\0\" test/*" | getline a) { ARGV[ARGC++]=a } RS=savRS }

---

Citation:

---

Envoyé par disedorgue

Ton bout de script simplifié:

Code:

---

1 2 3 4 5 6 7 8

#!/usr/bin/gawk -f BEGIN { savRS=RS RS="\0" ARGC=1 while ("printf \"%s\\0\" test/*" | getline a) { ARGV[ARGC++]=a } RS=savRS }

---

---

Ah ouai bien vu !
Merci

pour une meilleure lisibilité, je suggère :

Code:

---

1 2	shCmd="printf \"%s\\0\" test/*" while (shCmd | getline a) { ARGV[ARGC++]=a }

---

je suggère également de proposer cette astuce à la FAQ.

Il manque le close() dans toutes les versions données.

Code:

---

1 2 3

shCmd="printf \"%s\\0\" test/*"; while (shCmd | getline a) { ARGV[ARGC++]=a; } close(shCmd);

---

C'est vrai, je plussoie, il faut fermer le(s) pipe(s) que l'on ouvre.

Donc, une version finale pour la FAQ ?

Code:

---

1 2 3 4 5 6 7 8 9

#!/usr/bin/gawk -f BEGIN { savRS=RS RS="\0" shCmd="printf \"%s\\0\" test/*" while ( shCmd | getline ARGV[ARGC++]); RS=savRS close(shCmd) }

---

Ici, j'ai viré la variable intermédiaire "a": autant remplir directement ARGV[], par contre le ";" à la fin de la ligne du while est obligatoire au risque d’exécuter la commande suivante dans la boucle.

EDIT: Une fois, j'avais utilisé une méthode similaire mais avec BEGINFILE et ENDFILE pour décompresser (gunzip) les fichiers compressé donné en paramètre au awk avant de faire le vrai traitement awk.
Si ça intéresse pour la FAQ, je peux essayer de remettre la main dessus.

oui, et oh, oui : la FAQ awk est... inexistante*. :(

merci.
--
* ou, bien cachée. ;)

EDIT : il faut préciser que le point-virgule est important pour "fermer" la boucle while

Pas trouvé non plus de FAQ awk, il ne reste plus qu'a faire un appel à contribution :mrgreen:

Citation:

---

Envoyé par Flodelarab

Il manque le close() dans toutes les versions données.

---

Rhaaaaa !!! C'est pas la première fois que je me fais "eu" avec ça en plus ! :scarymov:

Merci à tous

Bonjour,

Je continue à jouer avec ARGC et ARGV.

Je suis entrain de faire un référentiel des transferts de mon client (pour vous donner une idée de la volumétrie, mon client c'est une banque).
Je récupère des infos sur les sources, d'autres infos sur des serveurs de rebonds et encore des infos sur les serveurs cibles.
Après, je concatène tout ça.
J'ai donc plein de fichiers sources_*.txt, rebond_*.txt et cible_*.txt.

Normalement, on a la règle "un identifiant de transfert = un fichier depuis une source vers une cible" ; sauf que ça c'est la norme, et bien sûr, on traîne des vieux bousins ou certaines personnes doivent trouver la norme trop compliquée...

Si, par exemple, un identifiant de transfert apparaît plus d'une fois dans mes fichiers sources_*.txt, il y a des chances qu'il apparaisse aussi plus d'une fois dans les fichiers rebond_*.txt et cible_*.txt. Ça me demandera donc une analyse manuelle (ou bien plus compliquée à automatiser).

J'ai donc commencé par me focaliser sur les identifiants qui ne sont pas en doublons. Je veux donc séparer les identifiants qui n'apparaissent qu'une fois dans tous les fichiers sources_*.txt des autres.
L'identifiant de transfert est dans le champs 1.

Je faisais donc ainsi :

Code:

---

1 2 3 4 5 6 7 8 9 10

gawk -F \; ' !pass2 { ident_transfert[$1]++; next } FNR == 1 { match(FILENAME, /^(.*\/)?([^/]+)$/, a); rep=a[1]; fic=a[2] fic_doublon=rep "doublons_" fic fic_OK=rep "OK_" fic } ident_transfert[$1] > 1 { print > fic_doublon; next } { print > fic_OK } ' repertoire/sources_*.txt 'pass2=1' repertoire/sources_*.txt

---

Mais suite à notre discussion, me suis dit qu'on pouvait éviter de passer 2 fois les arguments. J'en suis donc arriver à ceci :

Code:

---

1 2 3 4 5 6 7 8 9 10 11

gawk -F \; ' BEGIN { nb_fic=ARGC-1 } ENDFILE { if (!pass2) ARGV[ARGC++]=FILENAME; if (ARGIND==nb_fic) pass2=1 } !pass2 { ident_transfert[$1]++; next } FNR == 1 { match(FILENAME, /^(.*\/)?([^/]+)$/, a); rep=a[1]; fic=a[2] fic_doublon=rep "doublons_" fic fic_OK=rep "OK_" fic } ident_transfert[$1] > 1 { print > fic_doublon; next } { print > fic_OK }' repertoire/sources_*.txt

---

Sur ce, bon week-end à tous !