Discussion :

[Jasmine80]

Bonjour à tous,

J'utilise le module Spreadsheet::ParseXLSX, afin de lire un fichier excel, cellule par cellule et de le recopier dans un fichier text.
J'obtiens un message d'erreur, mais je ne sais pas pour lequel de mes fichiers, ni quelle cellule de celui-ci.

Wide character in print at Excel_to_txt.pl line 36.

Ligne du code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print $fh $cell->value();

Quel test utiliser pour identifier l'origine du problème. Je soupçonne un caractère tel que µ ... mais, ça peut être autre chose.

D'avance merci.

[JeanMi3000]

Un problème d'encodage ??
http://stackoverflow.com/questions/1...acter-in-print

Tu as peut être des caractères non ascii dans ton fichier excel.
Essaie d'ouvrir ton fichier en mode utf8 (cf lien)

[Jasmine80]

Merci, mais non, ça ne change rien.

[CosmoKnacki]

Peut-être en ajoutant le pragma use open OUT => ':utf8'; (ou un autre encodage) au début de ton script, pour régler l'encodage par défaut des flux sortants (comme un fichier en écriture). lien perldoc

[Lolo78]

Pour arrêter le débogueur sur l'émission d'un warning:

http://perl.developpez.com/faq/perl/...tialized-value

[cmcmc]

Attention, c'est le fichier sur lequel tu écris qu'il faut ouvrir en UTF-8. Par exemple (en utilisant la balise PRE au lieu de CODE car cette dernière échappe les caractères trop exotiques ):

Taisha:~/perl/forum $ cat utf8.pl
use strict; 
use warnings;
use utf8;
print "こんにちは\n";
Taisha:~/perl/forum $ 

J'ai utilisé ci-dessus le pragma use utf8; pour insérer des chaînes de caractères en UTF-8 dans mon source. A l'exécution

Taisha:~/perl/forum $ perl utf8.pl
Wide character in print at utf8.pl line 4.
こんにちは
Taisha:~/perl/forum $ 

on a un warning car STDOUT est ouvert par défaut en mode iso-8859-1 (aka latin-1, jeu de caractère standard de l'europe de l'ouest, limité à un octet par caractère, sachant qu'on veut écrire des caractères qui ne lui appartiennent pas...)

On peut s'en sortir ici en ajoutant l'option -CO dans la ligne de commande, qui force l'ouverture de STDOUT avec un encodage UTF-8 :

Taisha:~/perl/forum $ perl -CO utf8.pl
こんにちは
Taisha:~/perl/forum $ 

Dans ton cas, si $fh n'est pas ouvert avec un encodage particulier, essaie d'invoquer ton programme avec l'option -Co (attention, le o est ici en minuscules), qui va faire en sorte que les fichiers ouverts en écriture le soient par défaut avec un encodage UTF-8. ALternativement, tu peux le préciser toi-même lors de l'ouverture du fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

open my $fh, ">:encoding(UTF-8)", ...

Dans les deux cas, le fichier produit sera encodé en UTF-8.

Si le warning disparaît, cela signifiera qu'on a bien identifié le problème. Après, la suite à donner dépend de comment tu veux traiter le ou les caractères problématiques.

[Jasmine80]

Merci à tous pour vos réponses.

ALternativement, tu peux le préciser toi-même lors de l'ouverture du fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

open my $fh, ">:encoding(UTF-8)", ...

Merci cmcmc, cela fonctionne super bien ... j'ai fini par identifier le fichier posant problème, en appelant le script sur des 'tranches' de fichiers ... il a pourtant l'air comme tous les autres. Je l'ai créé via un autre programme, ainsi que tous les fichiers excel (traitement en masse) ... je ne vois vraiment pas pourquoi, celui-là en particulier, générait un message d'erreur.

[cmcmc]

houla houla houla danger, Will Robinson, danger !

je ne vois vraiment pas pourquoi, celui-là en particulier, générait un message d'erreur.

à ta place j'essaierais de comprendre dès maintenant ce qui se passe car les fichiers texte que tu as produits sont maintenant encodés en UTF-8, et contiennent des caractères que tu ne t'attends probablement pas à y trouver. Tu risques des surprises (ou des ennuis) si tu traites les fichiers sans précautions dans d'autres programmes (perl ou autres) qui s'attendent à traiter des caractères ASCII, ou iso-8859-1, ou iso-8859-15 (linux), ou Windows-1252 (windows).

Comme je l'écrivais plus haut, la suite à donner dépend de comment tu veux traiter le ou les caractères problématiques.

Le cas le plus simple est celui ou tu t'attends à avoir des caractères ASCII. Par exemple pour un fichier contenant

De l’ASCII –apparemment–, ‬mais...

une analyse révèle quelques surprises

Taisha:~/perl/forum $ perl -Mcharnames=:full -CIOio -0nE '
  END { 
    printf "[%s] \\x{%x} \\N{%s}\n", $_, ord($_), charnames::viacode(ord($_)) 
      for sort keys %h 
  } 
  ++$h{$_} for grep { ord($_) > 127 } split //
' test.txt
[–] \x{2013} \N{EN DASH}
[’] \x{2019} \N{RIGHT SINGLE QUOTATION MARK}
[‬] \x{202c} \N{POP DIRECTIONAL FORMATTING}
Taisha:~/perl/forum $ 

Ici il conviendrait sans doute de transcoder les \N{EN DASH} en '-', les \N{RIGHT SINGLE QUOTATION MARK} en simple quote, et les \N{POP DIRECTIONAL FORMATTING} en espace (probablement...).

[Jasmine80]

Tu risques des surprises (ou des ennuis) si tu traites les fichiers sans précautions dans d'autres programmes (perl ou autres) qui s'attendent à traiter des caractères ASCII, ou iso-8859-1, ou iso-8859-15 (linux), ou Windows-1252 (windows).

Si j'utilise use utf8; dans mes programmes ultérieurs, cela n'est il pas la solution ?

[cmcmc]

Si j'utilise use utf8; dans mes programmes ultérieurs, cela n'est il pas la solution ?

Ca dépend... Les exemples que j'ai donnés (\N{EN DASH} et consorts) correspondent à des données réelles reçues de fichiers "texte" produits sur des machines Apple, que j'avais à transformer pour soumission à de vieux programmes qui n'acceptaient rien d'autre que de l'ASCII. Tant que tu ne sors pas de ton monde tout va bien (et encore...). Mais imagine que tu doives plus tard faire un split sur le signe moins ('-') mais que par suite d'une erreur de saisie quelqu'un ait utilisé à un moment donné un dash au lieu du moins, tu vas avoir des problèmes...

Donc il me semble beaucoup plus propre de nettoyer tes fichiers le plus tôt possible, surtout si -- comme cela semble être le cas ici -- ce sont de simples fichiers de données et pas des textes richement formatés.

Même le (simple ?) traitement des accents est étonnamment difficile. A moins que ce ne soit confidentiel dis nous quels caractères tu vois apparaître avec le programme donné ci-dessus, en reprenant la ligne de commande complète mais en remplaçant test.txt par ton (ou tes) fichier(s), voire simplement par chemin/vers/tes/fichiers/*.txt

update
j'avais lu trop vite ta question. use utf8; n'est même pas l'amorce du début d'une esquisse de solution, car cela ne touche que l'encodage de ton script, et en aucun cas l'encodage des fichiers que tu vas ouvrir ou utiliser (notamment pour ces derniers STDIN, STDOUT et STDERR). La bonne manière de traiter ces fichiers est soit d'utiliser le paramètre -C lors de l'appel du script comme ci-dessus (voir perlrun), soit expliciter le layer utilisé lors du open (exemple également ci-dessus), soit d'utiliser un pragma comme suggéré également dans ce fil par CosmoKnacki.

[Jasmine80]

A moins que ce ne soit confidentiel dis nous quels caractères tu vois apparaître avec le programme donné ci-dessus, en reprenant la ligne de commande complète mais en remplaçant test.txt par ton (ou tes) fichier(s), voire simplement par chemin/vers/tes/fichiers/*.txt

Il y a un problème avec les sauts de ligne ... je fais comment pour les enlever ? Qu'est-ce que je fais mal ? Je n'ai pas l'habitude d'utiliser la console.

[cmcmc]

Il y a un problème avec les sauts de ligne ... je fais comment pour les enlever ? Qu'est-ce que je fais mal ? Je n'ai pas l'habitude d'utiliser la console.

Oui c'est dur de travailler sous Windows... J'utilise un ensemble un peu complexe à base de Cygwin, NTEmacs et Strawberry Perl Portable que je documenterai peut-être un jour.

Sauvegarde le code ci-dessous dans outofascii.pl :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
use strict;
use warnings;
use charnames qw(:full);
 
my %h;
while (<>) {
    ++$h{$_} for grep { ord($_) > 127 } split //
}
 
printf "[%s] \\x{%x} \\N{%s}\n", $_, ord($_), charnames::viacode(ord($_))
    for sort keys %h;

et invoque le comme suit

Taisha:~/perl/forum $ perl -CIOEioA outofascii.pl test.txt
[–] \x{2013} \N{EN DASH}
[’] \x{2019} \N{RIGHT SINGLE QUOTATION MARK}
[‬] \x{202c} \N{POP DIRECTIONAL FORMATTING}
Taisha:~/perl/forum $ 

en remplaçant test.txt par tes fichiers ou chemin\vers\mes\fichiers\*.txt, par exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -CIOEioA outofascii.pl C:\Users\minguetj\Documents\test\output-test\DIXA-025.txt

[Jasmine80]

Merci pour le temps que tu consacres à mon problème, voici le retour :

[cmcmc]

Merci pour le temps que tu consacres à mon problème, voici le retour :

Et à quoi correspondent ces caractères dans ton fichier .xlsx d'origine ? Apparaissent-ils dans des noms propres ou des termes techniques ? Et surtout, veux-tu les conserver sous cette forme ?

• Si oui alors tu n'as rien à faire, sauf te préparer à traiter des fichiers encodés en UTF-8 de manière routinière. Et pour ça, bien que ce soit difficile, je te conseille de parcourir au moins une fois le Cookbook de Tom Christiansen
• Si non, alors tu as probablement un problème d'encodage en amont qu'il va falloir approfondir

[Jasmine80]

Oui, cela vient d'un nom et prénom et oui, j'aimerais les garder ainsi. Normalement, je n'ai plus rien à faire sur ces fichiers et mon collègue qui prend la relève m'a dit attendre de moi du utf-8 ... donc, tout baigne

[Jasmine80]

Super, merci.