message d'erreur 'Wide character in print'

Version imprimable

14/12/2015, 17h15
Jasmine80

message d'erreur 'Wide character in print'

Bonjour à tous,

J'utilise le module Spreadsheet::ParseXLSX, afin de lire un fichier excel, cellule par cellule et de le recopier dans un fichier text.
J'obtiens un message d'erreur, mais je ne sais pas pour lequel de mes fichiers, ni quelle cellule de celui-ci.

Citation:

Wide character in print at Excel_to_txt.pl line 36.

Ligne du code :

Code:

print $fh $cell->value();

Quel test utiliser pour identifier l'origine du problème. Je soupçonne un caractère tel que µ ... mais, ça peut être autre chose.

D'avance merci.
14/12/2015, 17h36
JeanMi3000

Un problème d'encodage ??
http://stackoverflow.com/questions/1...acter-in-print

Tu as peut être des caractères non ascii dans ton fichier excel.
Essaie d'ouvrir ton fichier en mode utf8 (cf lien)
14/12/2015, 17h44
Jasmine80

Merci, mais non, ça ne change rien.
14/12/2015, 18h15
CosmoKnacki

Peut-être en ajoutant le pragma use open OUT => ':utf8'; (ou un autre encodage) au début de ton script, pour régler l'encodage par défaut des flux sortants (comme un fichier en écriture). lien perldoc
14/12/2015, 18h51
Lolo78

Pour arrêter le débogueur sur l'émission d'un warning:

http://perl.developpez.com/faq/perl/...tialized-value
14/12/2015, 19h04
cmcmc
Attention, c'est le fichier sur lequel tu écris qu'il faut ouvrir en UTF-8. Par exemple (en utilisant la balise PRE au lieu de CODE car cette dernière échappe les caractères trop exotiques :( ):
```
Taisha:~/perl/forum $ cat utf8.pl
use strict; 
use warnings;
use utf8;
print "こんにちは\n";
Taisha:~/perl/forum $ 
```
J'ai utilisé ci-dessus le pragma use utf8; pour insérer des chaînes de caractères en UTF-8 dans mon source. A l'exécution
```
Taisha:~/perl/forum $ perl utf8.pl
Wide character in print at utf8.pl line 4.
こんにちは
Taisha:~/perl/forum $ 
```
on a un warning car STDOUT est ouvert par défaut en mode iso-8859-1 (aka latin-1, jeu de caractère standard de l'europe de l'ouest, limité à un octet par caractère, sachant qu'on veut écrire des caractères qui ne lui appartiennent pas...)

On peut s'en sortir ici en ajoutant l'option -CO dans la ligne de commande, qui force l'ouverture de STDOUT avec un encodage UTF-8 :
```
Taisha:~/perl/forum $ perl -CO utf8.pl
こんにちは
Taisha:~/perl/forum $ 
```
Dans ton cas, si $fh n'est pas ouvert avec un encodage particulier, essaie d'invoquer ton programme avec l'option -Co (attention, le o est ici en minuscules), qui va faire en sorte que les fichiers ouverts en écriture le soient par défaut avec un encodage UTF-8. ALternativement, tu peux le préciser toi-même lors de l'ouverture du fichier :

Code:

open my $fh, ">:encoding(UTF-8)", ...

Dans les deux cas, le fichier produit sera encodé en UTF-8.

Si le warning disparaît, cela signifiera qu'on a bien identifié le problème. Après, la suite à donner dépend de comment tu veux traiter le ou les caractères problématiques.
15/12/2015, 10h34
Jasmine80

Merci à tous pour vos réponses.

Citation:

Envoyé par cmcmc

ALternativement, tu peux le préciser toi-même lors de l'ouverture du fichier :

Code:

open my $fh, ">:encoding(UTF-8)", ...

Merci cmcmc, cela fonctionne super bien ... j'ai fini par identifier le fichier posant problème, en appelant le script sur des 'tranches' de fichiers ... il a pourtant l'air comme tous les autres. Je l'ai créé via un autre programme, ainsi que tous les fichiers excel (traitement en masse) ... je ne vois vraiment pas pourquoi, celui-là en particulier, générait un message d'erreur.
15/12/2015, 12h38
cmcmc
houla houla houla :alerte: danger, Will Robinson, danger !

Citation:

Envoyé par Jasmine80

je ne vois vraiment pas pourquoi, celui-là en particulier, générait un message d'erreur.

à ta place j'essaierais de comprendre dès maintenant ce qui se passe car les fichiers texte que tu as produits sont maintenant encodés en UTF-8, et contiennent des caractères que tu ne t'attends probablement pas à y trouver. Tu risques des surprises (ou des ennuis) si tu traites les fichiers sans précautions dans d'autres programmes (perl ou autres) qui s'attendent à traiter des caractères ASCII, ou iso-8859-1, ou iso-8859-15 (linux), ou Windows-1252 (windows).

Comme je l'écrivais plus haut, la suite à donner dépend de comment tu veux traiter le ou les caractères problématiques.

Le cas le plus simple est celui ou tu t'attends à avoir des caractères ASCII. Par exemple pour un fichier contenant
```
De l’ASCII –apparemment–, ‬mais...
```
une analyse révèle quelques surprises
```
Taisha:~/perl/forum $ perl -Mcharnames=:full -CIOio -0nE '
  END { 
    printf "[%s] \\x{%x} \\N{%s}\n", $_, ord($_), charnames::viacode(ord($_)) 
      for sort keys %h 
  } 
  ++$h{$_} for grep { ord($_) > 127 } split //
' test.txt
[–] \x{2013} \N{EN DASH}
[’] \x{2019} \N{RIGHT SINGLE QUOTATION MARK}
[‬] \x{202c} \N{POP DIRECTIONAL FORMATTING}
Taisha:~/perl/forum $ 
```
Ici il conviendrait sans doute de transcoder les \N{EN DASH} en '-', les \N{RIGHT SINGLE QUOTATION MARK} en simple quote, et les \N{POP DIRECTIONAL FORMATTING} en espace (probablement...).
15/12/2015, 15h17
Jasmine80

Citation:

Envoyé par cmcmc

Tu risques des surprises (ou des ennuis) si tu traites les fichiers sans précautions dans d'autres programmes (perl ou autres) qui s'attendent à traiter des caractères ASCII, ou iso-8859-1, ou iso-8859-15 (linux), ou Windows-1252 (windows).

Si j'utilise use utf8; dans mes programmes ultérieurs, cela n'est il pas la solution ?
15/12/2015, 15h37
cmcmc

Citation:

Envoyé par Jasmine80

Si j'utilise use utf8; dans mes programmes ultérieurs, cela n'est il pas la solution ?

Ca dépend... Les exemples que j'ai donnés (\N{EN DASH} et consorts) correspondent à des données réelles reçues de fichiers "texte" produits sur des machines Apple, que j'avais à transformer pour soumission à de vieux programmes qui n'acceptaient rien d'autre que de l'ASCII. Tant que tu ne sors pas de ton monde tout va bien (et encore...). Mais imagine que tu doives plus tard faire un split sur le signe moins ('-') mais que par suite d'une erreur de saisie quelqu'un ait utilisé à un moment donné un dash au lieu du moins, tu vas avoir des problèmes...

Donc il me semble beaucoup plus propre de nettoyer tes fichiers le plus tôt possible, surtout si -- comme cela semble être le cas ici -- ce sont de simples fichiers de données et pas des textes richement formatés.

Même le (simple ?) traitement des accents est étonnamment difficile. A moins que ce ne soit confidentiel dis nous quels caractères tu vois apparaître avec le programme donné ci-dessus, en reprenant la ligne de commande complète mais en remplaçant test.txt par ton (ou tes) fichier(s), voire simplement par chemin/vers/tes/fichiers/*.txt

update
j'avais lu trop vite ta question. use utf8; n'est même pas l'amorce du début d'une esquisse de solution, car cela ne touche que l'encodage de ton script, et en aucun cas l'encodage des fichiers que tu vas ouvrir ou utiliser (notamment pour ces derniers STDIN, STDOUT et STDERR). La bonne manière de traiter ces fichiers est soit d'utiliser le paramètre -C lors de l'appel du script comme ci-dessus (voir perlrun), soit expliciter le layer utilisé lors du open (exemple également ci-dessus), soit d'utiliser un pragma comme suggéré également dans ce fil par CosmoKnacki.
15/12/2015, 15h55
Jasmine80

1 pièce(s) jointe(s)

Citation:

Envoyé par cmcmc

A moins que ce ne soit confidentiel dis nous quels caractères tu vois apparaître avec le programme donné ci-dessus, en reprenant la ligne de commande complète mais en remplaçant test.txt par ton (ou tes) fichier(s), voire simplement par chemin/vers/tes/fichiers/*.txt

Pièce jointe 195358

Il y a un problème avec les sauts de ligne ... je fais comment pour les enlever ? Qu'est-ce que je fais mal ? Je n'ai pas l'habitude d'utiliser la console.

Citation:

Envoyé par Jasmine80

Il y a un problème avec les sauts de ligne ... je fais comment pour les enlever ? Qu'est-ce que je fais mal ? Je n'ai pas l'habitude d'utiliser la console.

Oui c'est dur de travailler sous Windows... J'utilise un ensemble un peu complexe à base de Cygwin, NTEmacs et Strawberry Perl Portable que je documenterai peut-être un jour.

Sauvegarde le code ci-dessous dans outofascii.pl :
Code:

1 2 3 4 5 6 7 8 9 10 11 use strict; use warnings; use charnames qw(:full); my %h; while (<>) { ++$h{$_} for grep { ord($_) > 127 } split // } printf "[%s] \\x{%x} \\N{%s}\n", $_, ord($_), charnames::viacode(ord($_)) for sort keys %h;
et invoque le comme suit
Taisha:~/perl/forum $ perl -CIOEioA outofascii.pl test.txt
[–] \x{2013} \N{EN DASH}
[’] \x{2019} \N{RIGHT SINGLE QUOTATION MARK}
[‬] \x{202c} \N{POP DIRECTIONAL FORMATTING}
Taisha:~/perl/forum $ 
en remplaçant test.txt par tes fichiers ou chemin\vers\mes\fichiers\*.txt, par exemple

Code:

perl -CIOEioA outofascii.pl C:\Users\minguetj\Documents\test\output-test\DIXA-025.txt

15/12/2015, 16h33
Jasmine80

1 pièce(s) jointe(s)

Merci pour le temps que tu consacres à mon problème, voici le retour :
Pièce jointe 195361
15/12/2015, 16h53
cmcmc
Citation:

Envoyé par Jasmine80

Merci pour le temps que tu consacres à mon problème, voici le retour :
Pièce jointe 195361

Et à quoi correspondent ces caractères dans ton fichier .xlsx d'origine ? Apparaissent-ils dans des noms propres ou des termes techniques ? Et surtout, veux-tu les conserver sous cette forme ?
- Si oui alors tu n'as rien à faire, sauf te préparer à traiter des fichiers encodés en UTF-8 de manière routinière. Et pour ça, bien que ce soit difficile, je te conseille de parcourir au moins une fois le Cookbook de Tom Christiansen
- Si non, alors tu as probablement un problème d'encodage en amont qu'il va falloir approfondir
15/12/2015, 17h09
Jasmine80

Oui, cela vient d'un nom et prénom et oui, j'aimerais les garder ainsi. Normalement, je n'ai plus rien à faire sur ces fichiers et mon collègue qui prend la relève m'a dit attendre de moi du utf-8 ... donc, tout baigne :yaisse2::yaisse2::yaisse2:
15/12/2015, 17h17
Jasmine80

Super, merci.