Discussion :

[Postmortem]

Bonjour,

Est-il possible de modifier les "locale" à l'intérieur d'un programme gawk ?

Ce que je voudrais faire, c'est tester si un champ ne contient que des majuscules non accentuées.
Alors, j'y arrive comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$ LC_COLLATE=C gawk '/^[A-Z]$/' <<<"É"
$ LC_CTYPE=C gawk '/^[[:upper:]]$/' <<<"É"
$

Mais est-il possible de le faire dans le programme gawk ? J'ai essayé ceci, mais ça ne fonctionne pas, du moins, ça ne fonctionne pas comme je voudrais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
$ gawk 'BEGIN{ENVIRON["LC_COLLATE"]="C"} /^[A-Z]$/' <<<"É"
É
$ gawk 'BEGIN{LC_COLLATE="C"} /^[A-Z]$/' <<<"É"
É
$ gawk 'BEGIN{ENVIRON["LC_CTYPE"]="C"}/^[[:upper:]]$/' <<<"É"
É
$ gawk 'BEGIN{LC_CTYPE="C"}/^[[:upper:]]$/' <<<"É"
É
$

[disedorgue]

Bonjour,

On ne peut pas, même si on redéfini les valeurs des locales dans le awk, c'est trop tard, car elles ont déjà été initialisées en interne.

Perso, mon LC_COLLATE est en fr_FR.utf-8 et il ne pose pas de souci avec la regex '[A-Z]'...

Sinon, tu as essayé en passant par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gawk '/^[\x41-\x5a]$/' <<<"É"

Une autre alternative, c'est de ce créer un petit script qui configure les locale et lance le awk.

Ou alors ton awk pipe ou fork (system) un autre awk avec une locale différente.

[Postmortem]

Bonjour,

Merci pour ta réponse disedorgue.

En fait, ça doit venir de la version de gawk sur le serveur ou des "locales" en elles-mêmes ??

Sur mon PC perso, ça fonctionne comme chez toi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$ gawk --version | head -2
GNU Awk 4.1.4, API: 1.1 (GNU MPFR 4.0.1, GNU MP 6.1.2)
Copyright © 1998, 1991-2016 Free Software Foundation.
$ LC_COLLATE="fr_FR.utf8" gawk '/^[A-Z]$/' <<<"É"
$ LC_COLLATE="en_US.UTF-8" gawk '/^[A-Z]$/' <<<"É"
$ LC_COLLATE="C" gawk '/^[A-Z]$/' <<<"É"
$

Alors que sur le serveur où mon script tourne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
$ gawk --version | head -2
GNU Awk 3.1.7
Copyright (C) 1989, 1991-2009 Free Software Foundation.
$ LC_COLLATE="fr_FR.utf8" gawk '/^[A-Z]$/' <<<"É"
É
$ LC_COLLATE="en_US.UTF-8" gawk '/^[A-Z]$/' <<<"É"
É
$ LC_COLLATE="C" gawk '/^[A-Z]$/' <<<"É"
$

L'utilisation de [\x41-\x5a] ne résout pas le souci sur le serveur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ LC_COLLATE="fr_FR.utf8" gawk '/^[\x41-\x5a]$/' <<<"É"
É
$ LC_COLLATE="en_US.UTF-8" gawk '/^[\x41-\x5a]$/' <<<"É"
É
$ LC_COLLATE="C" gawk '/^[\x41-\x5a]$/' <<<"É"
$

Mais si on est en LC_COLLATE="fr_FR.utf8", le « É » devrait sortir, non ? Ou ce n'est pas LC_COLLATE qui sert pour "trier" ??

Edit :
Voilà l'explication de la différence de fonctionnement entre la version 3 et la version 4 de gawk :
Regexp Ranges and Locales: A Long Sad Story

Re-edit :
Et du coup, j'ai rajouté un petit avertissement au début de mon script gawk comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
#!/usr/bin/gawk -f
BEGIN {
    if ( ENVIRON["LC_COLLATE"] != "C" ) { printf "Lancer le script comme ceci :\n\tLC_COLLATE=C ./extract.awk fichiers\n"; exit 1;}
}

[disedorgue]

Je ne sais pas ce que fait la globalité de ton script awk, mais voici un petit trick qui peut s'interfacer selon le besoin...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$ gawk "{\"LC_CTYPE=C awk '/[[:lower:]]/' <<<\"\$0 | getline result}result" <<<"é"
$ gawk "{\"LC_CTYPE=fr_FR.UTF-8 awk '/[[:lower:]]/' <<<\"\$0 | getline result}result" <<<"é"
é

Ici, je suis obligé de protéger les guillemets et le $ car je suis en ligne de commande, dans un script awk, ce n'est pas la peine.

[Postmortem]

Merci pour le petit trick !

Et à propos de trick, en aurais tu un pour que je n'ai pas besoin de passer les fichiers en arguments au script awk ?

Quand j'ai 2-3 fichiers, ça va, je fais comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
#!/usr/bin/gawk -f
BEGIN {
    ARGV[1]="/chemin/fichier1"
    ARGV[2]="/chemin/fichier2"
    ARGC=3
}

Ça me permet d'appeler le script en faisant simplement ./script.awk, pas besoin de faire ./script.awk "/chemin/fichier1" "/chemin/fichier2"

Mais si par exemple je veux traiter tous les fichiers *.txt d'un répertoire, on peut éviter ./script.awk "/chemin/"*.txt ?

[disedorgue]

un truc comme ça ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ gawk 'BEGIN{"echo *.txt" | getline result ; split(result,ARGV) ; ARGC=length(ARGV)+1}'

[Postmortem]

Exactement !
J'étais entrain de chercher et je m'approchais d'un truc dans le genre.
Merci !

Edit :
Et je suis arrivé à ça pour traiter les fichiers avec des noms peu orthodoxes ! (oui, je suis tordu !)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/usr/bin/gawk -f
BEGIN {
  savRS=RS
  RS="\0"
  while ("printf \"%s\\0\" test/*" | getline a) { fics=fics sep a; sep="\0" }
  RS=savRS
  sav_ARGV0=ARGV[0]
  ARGC=split(fics, ARGV, /\0/) + 1
  ARGV[0]=sav_ARGV0
}

[Flodelarab]

Bonjour

Mais si par exemple je veux traiter tous les fichiers *.txt d'un répertoire, on peut éviter ./script.awk "/chemin/"*.txt ?

Mouai. À ce moment là, ne faut-il pas rendre à chacun sa fonction et faire un script.bash qui execute un script awk (interne ou externe) ?

Mais si par exemple je veux traiter tous les fichiers *.txt d'un répertoire

C'est-à-dire ? Reprendre les fichiers un à un comme si c'était un nouveau ? Ou les traiter ensemble ?

Pas sûr que tu aies besoin d'instruction particulière.

[Postmortem]

Bonjour Flodelarab,

Mouai. À ce moment là, ne faut-il pas rendre à chacun sa fonction et faire un script.bash qui execute un script awk (interne ou externe) ?

Oui, tu as sans doute raison.
Disons que c'était aussi un exercice pour manipuler ARGV et ARGC.

C'est-à-dire ? Reprendre les fichiers un à un comme si c'était un nouveau ? Ou les traiter ensemble ?

Tous les fichiers d'un répertoire sont à traiter ensemble.
J'ai plusieurs scripts awk, chacun travaillant sur les fichiers d'un répertoire.
Tous les fichiers d'un répertoire sont traités ensemble. Et disons que comme j'avais un peu de temps, je voulais voir si on pouvait se passer d'un .sh englobant le awk juste pour passer en argument les fichiers d'un répertoire.

[disedorgue]

Ton bout de script simplifié:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
#!/usr/bin/gawk -f
BEGIN {
  savRS=RS
  RS="\0"
  ARGC=1
  while ("printf \"%s\\0\" test/*" | getline a) { ARGV[ARGC++]=a }
  RS=savRS
}

[Postmortem]

Ton bout de script simplifié:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
#!/usr/bin/gawk -f
BEGIN {
  savRS=RS
  RS="\0"
  ARGC=1
  while ("printf \"%s\\0\" test/*" | getline a) { ARGV[ARGC++]=a }
  RS=savRS
}

Ah ouai bien vu !
Merci

[N_BaH]

pour une meilleure lisibilité, je suggère :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
shCmd="printf \"%s\\0\" test/*"
while (shCmd | getline a) { ARGV[ARGC++]=a }

je suggère également de proposer cette astuce à la FAQ.

[Flodelarab]

Il manque le close() dans toutes les versions données.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
shCmd="printf \"%s\\0\" test/*";
while (shCmd | getline a) { ARGV[ARGC++]=a; }
close(shCmd);

[disedorgue]

C'est vrai, je plussoie, il faut fermer le(s) pipe(s) que l'on ouvre.

Donc, une version finale pour la FAQ ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
#!/usr/bin/gawk -f
BEGIN {
  savRS=RS
  RS="\0"
  shCmd="printf \"%s\\0\" test/*"
  while ( shCmd | getline ARGV[ARGC++]);
  RS=savRS
  close(shCmd)
}

Ici, j'ai viré la variable intermédiaire "a": autant remplir directement ARGV[], par contre le ";" à la fin de la ligne du while est obligatoire au risque d’exécuter la commande suivante dans la boucle.

EDIT: Une fois, j'avais utilisé une méthode similaire mais avec BEGINFILE et ENDFILE pour décompresser (gunzip) les fichiers compressé donné en paramètre au awk avant de faire le vrai traitement awk.
Si ça intéresse pour la FAQ, je peux essayer de remettre la main dessus.

[N_BaH]

oui, et oh, oui : la FAQ awk est... inexistante*.

merci.
--
* ou, bien cachée.

EDIT : il faut préciser que le point-virgule est important pour "fermer" la boucle while

[disedorgue]

Pas trouvé non plus de FAQ awk, il ne reste plus qu'a faire un appel à contribution

[Postmortem]

Il manque le close() dans toutes les versions données.

Rhaaaaa !!! C'est pas la première fois que je me fais "eu" avec ça en plus !

Merci à tous

[Postmortem]

Bonjour,

Je continue à jouer avec ARGC et ARGV.

Je suis entrain de faire un référentiel des transferts de mon client (pour vous donner une idée de la volumétrie, mon client c'est une banque).
Je récupère des infos sur les sources, d'autres infos sur des serveurs de rebonds et encore des infos sur les serveurs cibles.
Après, je concatène tout ça.
J'ai donc plein de fichiers sources_*.txt, rebond_*.txt et cible_*.txt.

Normalement, on a la règle "un identifiant de transfert = un fichier depuis une source vers une cible" ; sauf que ça c'est la norme, et bien sûr, on traîne des vieux bousins ou certaines personnes doivent trouver la norme trop compliquée...

Si, par exemple, un identifiant de transfert apparaît plus d'une fois dans mes fichiers sources_*.txt, il y a des chances qu'il apparaisse aussi plus d'une fois dans les fichiers rebond_*.txt et cible_*.txt. Ça me demandera donc une analyse manuelle (ou bien plus compliquée à automatiser).

J'ai donc commencé par me focaliser sur les identifiants qui ne sont pas en doublons. Je veux donc séparer les identifiants qui n'apparaissent qu'une fois dans tous les fichiers sources_*.txt des autres.
L'identifiant de transfert est dans le champs 1.

Je faisais donc ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
gawk -F \; '
    !pass2 { ident_transfert[$1]++; next }
    FNR == 1 {
        match(FILENAME, /^(.*\/)?([^/]+)$/, a); rep=a[1]; fic=a[2]
        fic_doublon=rep "doublons_" fic
        fic_OK=rep "OK_" fic
    }
    ident_transfert[$1] > 1 { print > fic_doublon; next }
    { print > fic_OK }
' repertoire/sources_*.txt 'pass2=1' repertoire/sources_*.txt

Mais suite à notre discussion, me suis dit qu'on pouvait éviter de passer 2 fois les arguments. J'en suis donc arriver à ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
gawk -F \; '
    BEGIN { nb_fic=ARGC-1 }
    ENDFILE { if (!pass2) ARGV[ARGC++]=FILENAME; if (ARGIND==nb_fic) pass2=1 }
    !pass2 { ident_transfert[$1]++; next }
    FNR == 1 {
        match(FILENAME, /^(.*\/)?([^/]+)$/, a); rep=a[1]; fic=a[2]
        fic_doublon=rep "doublons_" fic
        fic_OK=rep "OK_" fic
    }
    ident_transfert[$1] > 1 { print > fic_doublon; next }
    { print > fic_OK }' repertoire/sources_*.txt

Sur ce, bon week-end à tous !