Trier par ordre alphabétique des chaînes comportant des caractères accentués

**CosmoKnacki** · 18/05/2018, 22h39

Bah, ton script se comporte comme si tu avais une locale type fr_FR.iso88591 ou fr_FR.iso885915@euro (ou autre codepage, bref c'est pas de l'utf8). Le résultat ne trompe pas:

Code correspondances :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#                   Encodage UTF-8                ISO8859-1        
# -----------------------------------------------------------------
# a ï d          => a \xC3 \xAF d              => a Ã ¯ d         
# é l è v e      => \xC3 \xA9 l \xC3 \xA8 v e  => Ã © l Ã ¨ v e
# c a l e ç o n  => c a l e \xC3 \xA7 o n      => c a l e Ã § o n

D'où le résultat (avec use locale;):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
aÃ¯d abricot Ã©lÃ¨ve arrosoir caleÃ§on cales couchette entonnoir zozo
aïd  abricot élève   arrosoir caleçon  cales couchette entonnoir zozo

À lire cette page du manuel à propos des locales, il pourrait y avoir plusieurs raisons pour lesquelles ta locale définie dans tes variables d'environnement (notamment celle qui nous préoccupe: LC_COLLATE) ne soit pas prise en compte. Donc il s'agit maintenant d'éliminer une à une les causes possibles. Il se trouve que la version de Perl utilisée peut être un paramètre (donc donne la comme demandée par disedorgue), mais aussi la configuration du système.

Perso, chez moi ton code marche très bien avec use locale; (perl 5.18.2, mêmes variables d'environnement).

**disedorgue** · 18/05/2018, 22h49

Peut-être aussi un mixe de locale et utf8 car quand tu avais mis un use utf8;, on avait le bon résultat mais un mauvais affichage...

Que donne donc le script suivant, qui active l'usage d'utf8 sauf pour la définition de la chaine de départ et pour l'affichage.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#!/usr/bin/env perl
use strict;
use warnings;
use diagnostics;
use POSIX qw(locale_h);
 
my @liste = qw/cales abricot entonnoir couchette aïd arrosoir caleçon élève zozo/ ;
 
use utf8;
my $str=join (' ' , ( sort @liste )) . "\n"; 
no utf8;
print $str;
use utf8;
 
use locale;
setlocale(LC_ALL, "fr_FR.utf8");
print "use locale\n" ;
$str=join (' ' , ( sort @liste )) . "\n"; 
no utf8;
print $str;

**Raoul_Pinette** · 18/05/2018, 23h03

Avec ce script j'obtiens :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
abricot arrosoir aïd cales caleçon couchette entonnoir zozo élève                    
use locale                                
aïd abricot élève arrosoir caleçon cales couchette entonnoir zozo

**disedorgue** · 18/05/2018, 23h17

que donne la commande suivante sur le script perl de test:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ sed -n '/abricot/l' fichier.pl

**Raoul_Pinette** · 19/05/2018, 01h15

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$ sed -n '/abricot/l' zz.pl 
my @liste = qw/cales abricot entonnoir couchette a\303\257d arrosoir \
cale\303\247on \303\251l\303\250ve zozo/ ;$

**CosmoKnacki** · 20/05/2018, 00h30

Si tu es sur une debian-like, tu peux tenter de re-générer tes locales puis de redémarrer:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sudo locale-gen fr

Pour voir ce que ça donne.

**Raoul_Pinette** · 20/05/2018, 01h43

Je suis sur Fedora et les locales ont l'air correctes !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$ locale
LANG=fr_FR.UTF-8
LC_CTYPE="fr_FR.UTF-8"
LC_NUMERIC=fr_FR.UTF-8
LC_TIME="fr_FR.UTF-8"
LC_COLLATE="fr_FR.UTF-8"
LC_MONETARY="fr_FR.UTF-8"
LC_MESSAGES="fr_FR.UTF-8"
LC_PAPER="fr_FR.UTF-8"
LC_NAME="fr_FR.UTF-8"
LC_ADDRESS="fr_FR.UTF-8"
LC_TELEPHONE="fr_FR.UTF-8"
LC_MEASUREMENT="fr_FR.UTF-8"
LC_IDENTIFICATION="fr_FR.UTF-8"
LC_ALL=

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$ localectl  status 
   System Locale: LANG=fr_FR.UTF-8
       VC Keymap: fr-oss
      X11 Layout: fr
     X11 Variant: oss

**CosmoKnacki** · 20/05/2018, 08h53

Je ne te parles pas de régler tes variables d'environnement sur fr_FR.UTF-8, mais de reconstruire la locale fr_FR.UTF-8 qui pourrait être corrompue pour une raison X, elle-même. Il y a cette page qui décrit comment faire sur Fedora.

**Raoul_Pinette** · 20/05/2018, 10h08

Après avoir reinstallé glibc-common comme indiqué sur la page, avec ce code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#!/usr/bin/env perl
use strict;
use warnings;
use diagnostics;
 
my @liste = qw/cales abricot entonnoir couchette aïd arrosoir caleçon élève zozo/ ;
 
@liste = sort @liste ;
print join(' ' , @liste) . "\n" ;
 
use locale ;
@liste = sort @liste ;
print "use locale : " ;
print join(' ' , @liste) . "\n" ;
no locale ;
 
use utf8 ;
@liste = sort @liste ;
print "use utf8 : " ;
print join(' ' , @liste) . "\n" ;
no utf8 ;

j'obtiens :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
abricot arrosoir aïd cales caleçon couchette entonnoir zozo élève
use locale : aïd abricot élève arrosoir caleçon cales couchette entonnoir zozo
use utf8 : abricot arrosoir aïd cales caleçon couchette entonnoir zozo élève

**disedorgue** · 20/05/2018, 10h43

Je ne pense pas que cela soit un problème de locale, je pense que le souci est coté perl...

On peut tester le trie depuis la commande sort pour voir:
Avec la locale C (qui ne connait pas les accents)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
$ sed -n '/abricot/{s%.*qw/%%;s%/.*%%;s% %\n%g;p;}' fichier.pl | LC_COLLATE=C sort
abricot
arrosoir
aïd
cales
caleçon
couchette
entonnoir
zozo
élève

Avec la bonne locale

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
$ sed -n '/abricot/{s%.*qw/%%;s%/.*%%;s% %\n%g;p;}' fichier.pl | LC_COLLATE=fr_FR.utf8 sort
abricot
aïd
arrosoir
caleçon
cales
couchette
élève
entonnoir
zozo

**Raoul_Pinette** · 20/05/2018, 10h52

Bizarre, avec ce deux lignes de commande je n'ai aucune sortie.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$ sed -n '/abricot/{s%.*qw/%%;s%/.*%%;s% %\n%g;p;}' zz.pl | LC_COLLATE=C sort
$ sed -n '/abricot/{s%.*qw/%%;s%/.*%%;s% %\n%g;p;}' zz.pl | LC_COLLATE=fr_FR.utf8 sort
$

**disedorgue** · 20/05/2018, 11h39

Ici, tu n'auras une sortie que si le sed trouve le mot 'abricot'

**Raoul_Pinette** · 20/05/2018, 12h30

Pourtant

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

my @liste = qw/cales abricot entonnoir couchette aïd arrosoir caleçon élève zozo/ ;

**disedorgue** · 20/05/2018, 12h48

Et si tu ne lance que la partie sed sans le sort ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n '/abricot/{s%.*qw/%%;s%/.*%%;s% %\n%g;p;}' zz.pl

**Raoul_Pinette** · 20/05/2018, 12h55

C'est dimanche, mauvais copié-collé, mauvais répertoire !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
$ sed -n '/abricot/{s%.*qw/%%;s%/.*%%;s% %\n%g;p;}' zz.pl 
cales
abricot
entonnoir
couchette
aïd
arrosoir
caleçon
élève
zozo

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
sed -n '/abricot/{s%.*qw/%%;s%/.*%%;s% %\n%g;p;}' zz.pl | LC_COLLATE=fr_FR.utf8 sort                        
abricot                                   
aïd                                       
arrosoir                                  
caleçon                                   
cales                                     
couchette                                 
élève                                     
entonnoir                                 
zozo

Cette fois-ci avec LC_COLLATE=fr_FR.utf8 j'ai le bon ordre de tri

**disedorgue** · 20/05/2018, 14h26

Question bête: tu n'aurais pas une variable "PERL_SKIP_LOCALE_INIT" de défini dans ton environnement ?
Tu peux essayer de lancer ton script perl comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

env -u PERL_SKIP_LOCALE_INIT perl zz.pl

Et sinon, que donne la commande:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -V:d_setlocale

**Raoul_Pinette** · 20/05/2018, 16h28

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ perl -V:d_setlocale    
d_setlocale='define';

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ env -u PERL_SKIP_LOCALE_INIT perl zz.pl                                                                     
abricot arrosoir aïd cales caleçon couchette entonnoir zozo élève                    
use locale : aïd abricot élève arrosoir caleçon cales couchette entonnoir zozo       
use utf8 : abricot arrosoir aïd cales caleçon couchette entonnoir zozo élève

Je n'ai pas l'impression que ça change grand chose.