wide caracter (printed)

**Jasmine80** · 17/03/2016, 11h16

Bonjour à tous,

Je récupère dans un fichier .xml, des données scientifiques (textes) contenant des caractères tel que ", des lettres grecques, des exposants dans des formules. Pour ce fichier unique d'entrée, j'ai plusieurs fichiers textes de sortie. J'obtiens le message 'Wide character in print at ...', mais je ne sais pas pour quels fichiers de sortie, et l'écriture en fichier texte se fait correctement si je l'ouvre avec Notepad, mais pas si j'ouvre ce fichier avec excel.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
	open (my $fh_out,  ">", $file_out)  or die "cannot create file : $!";
 
	print $fh_out "Submission\t$Biostudies_ID\tPublic\n";
	print $fh_out "Title\t$s_data{'Title'}\n";
	print $fh_out "RootPath\t$s_data{'RootPath'}\n";
	print $fh_out "AttachTo\tdiXa\n\n";
	print $fh_out "Study\n";
	print $fh_out "Project\t$s_data{'Project'}\n";
	print $fh_out "Source Id\t$s_data{'Source Id'}\n";
	print $fh_out "Title\t$s_data{'Title'}\n";
	print $fh_out "Description\t$s_data{'Description'}\n";

L'erreur vient de la description (la dernière ligne), j'aimerais récupérer le $Biostudies_ID correspondant (premier print).

Je ne sais pas si cela est important, mais j'utilise le module XML::Simple.

Sur Wikipédia, il est dit 'A wide character is a computer character datatype that generally has a size greater than the traditional 8-bit character. '... mais, je ne sais pas que faire pour y remédier.

J'aimerais donc avoir votre aide pour :
1) avoir le $Biostudies_ID dans le message d'erreur du premier programme qui traite le fichier xml.
2) que les fichiers textes de sortie puissent être lu ultérieurement sans faire tout planter (ce qui se passe si j'essaie de le lire avec un programme Python).

D'avance merci pour votre aide,

Jasmine.

**djibril** · 17/03/2016, 15h35

Bonjour,

Sans chercher à plus comprendre ton programme, la piste sérieuse à creuser est l'encodage de tes fichiers (surement en UTF-8). Il faut prendre l'habitude de lire tes fichiers en utilisant le réel encodage. Cela évitera ce genre d'erreurs, que ce soit à l'ouverture d'un fichier avec open ou avec un module XML::Simple ou XML::Twig.

**CosmoKnacki** · 17/03/2016, 15h42

À la lecture de ton fichier source xml encodé en UTF8, XML::Simple le décode silencieusement en unicode. Si ton fichier comprend un caractère en dehors de la plage ASCII comme par exemple la lettre PI (GREEK CAPITAL LETTER PI), celui-ci sera représenté par CE A0 (en UTF8) dans ton fichier, mais une fois transformé par XML::Simple, il deviendra 03 A0 (en unicode).

Tu peux imposer que tout ce que tu transmets aux flux sortants (tes fichiers en écriture) soit au préalable automatiquement encodé en UTF8 en ajoutant le pragma:use open OUT => ':utf8'; au début de ton script. Sinon tu peux le faire pour chaque fichier en l'ouvrant de cette manière:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

open (my $fh_out,  ">:utf8", $file_out)  or die "cannot create file : $!";

Si tu veux juste afficher le contenu d'une variable sans erreur tu peux utiliser:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
use Encode::Encoder;
...
print Encode::encode('UTF-8', $s_data{'Description'});

Pour ce qui est de $Biostudies_ID dans la mesure où je ne sais pas d'où sort cette variable, je ne peux pas trop t'aider. (Peut-être que "Biostudies_ID" est une clef du hash $s_data comme les autres.)

**Jasmine80** · 17/03/2016, 17h40

Un très grand merci CosmoKnani, comme toujour c'est très clair et très complet !

Envoyé par CosmoKnacki

Pour ce qui est de $Biostudies_ID dans la mesure où je ne sais pas d'où sort cette variable, je ne peux pas trop t'aider.

En fait, je voudrais que quand le script à cette ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print $fh_out "Title\t$s_data{'Title'}\n";

rencontre un problème, dans le message d'erreur de sortie, il y soit indiqué la valeur de $Biostudies_ID (string indépendant du hash) à ce moment-là ... ou le nom du fichier de sortie ... quelque chose, qui me permette de savoir quels fichiers de sortie rencontrent ce problème.

Là, j'ai en sortie 188 fichiers, 188 $Biostudies_ID différents, j'ai 20 fois le même message de mise en garde au sujet de l'encodage ... mais rien qui ne me dise pour quels fichiers. (et j'aime pas trop les devinettes ^^)

**Jasmine80** · 17/03/2016, 17h42

Envoyé par djibril

Bonjour,

Sans chercher à plus comprendre ton programme, la piste sérieuse à creuser est l'encodage de tes fichiers (surement en UTF-8). Il faut prendre l'habitude de lire tes fichiers en utilisant le réel encodage. Cela évitera ce genre d'erreurs, que ce soit à l'ouverture d'un fichier avec open ou avec un module XML::Simple ou XML::Twig.

Hello Djibril, Merci pour le conseil.

Et si c'est un fichier qui me vient d'une autre personne, à qui je ne peux pas le demander ... comment puis-je connaitre l'encodage ?

**Jasmine80** · 17/03/2016, 17h59

Envoyé par CosmoKnacki

Tu peux imposer que tout ce que tu transmets aux flux sortants (tes fichiers en écriture) soit au préalable automatiquement encodé en UTF8 en ajoutant le pragma:use open OUT => ':utf8'; au début de ton script. Sinon tu peux le faire pour chaque fichier en l'ouvrant de cette manière:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

open (my $fh_out,  ">:utf8", $file_out)  or die "cannot create file : $!";

Si tu veux juste afficher le contenu d'une variable sans erreur tu peux utiliser:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
use Encode::Encoder;
...
print Encode::encode('UTF-8', $s_data{'Description'});

En tout cas, plus aucun message d'erreur ! Par contre, si j'ouvre le fichier texte, qui avant avait précédemment les caractères correctes, ils sont maintenante erronés ! C'est à ne plus rien comprendre. Mon signe - est devenu â ... si ça peut aider à comprendre, apparemment les lettres grecques sont restées correctes. (Il vallait encore mieux comme avant, avec des warring perl, mais des fichiers de sortie avec les bons caractères ... mais les 2, seraient l'idéal, pas d'erreur et de bons fichiers de sortie !)

**djibril** · 17/03/2016, 18h04

Attention à ne pas confondre UTF-8 et UTF8.

Si tel est l'encodage de tes fichiers, tu dois les lire en UTF-8 ET écrire en UTF-8. Sous Windows, tu peux le savoir via l'éditeur de texte notepad++. Sous Linux, il y a la commande file

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

file -i nom_du_fichier

**Lolo78** · 17/03/2016, 19h37

Bonjour,

Un tutoriel sur le sujet: http://perl.developpez.com/tutoriels...ge-caracteres/

Bonne soirée.

**Jasmine80** · 18/03/2016, 12h32

Merci à vous deux,

De mon côté, j'ai trouvé ceci : https://quentinc.net/chenc

un petit utilitaire tout simple en ligne de commande pour windows servant à déterminer l'encodage de caractères utilisé par un fichier et de le changer si besoin

Bonne fin de semaine,

Jasmine.

**Jasmine80** · 21/03/2016, 12h49

Bonjour à tous,

Envoyé par djibril

Si tel est l'encodage de tes fichiers, tu dois les lire en UTF-8 ET écrire en UTF-8.

Oui, c'est bien de l'UTF-8 ... d'après NotePad. Merci pour le tuyau.

Je n'arrive pas à spécifier à XML::Simple, que c'est de l'UTF-8 ... pourriez-vous m'aider ?
Voici la doc

Pour le fichier d'entrée :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
my $xml = new XML::Simple;
my $ref_data = $xml->XMLin($file);
 
my $ref_data_utf8 = Encode::encode('UTF-8',$ref_data);
my %data = %{$ref_data_utf8};

erreur :

Can't use string ("HASH(0x2dbd9a8)") as a HASH ref while "strict refs" in use at diXa_XML_Simple_DIXAD_create_files.pl line 24.

La ligne 24, c'est la dernière.

Pour la sortie :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

open (my $fh_out,  ">:utf8", $file_out)  or die "cannot create file : $!";

... donc UTF8 est différent de UTF-8 ... mais je ne peux pas ajouter un tiret, sinon le code plante. Comment puis-je faire ?

Cela est-il dangereux de changer l'encodage de mon fichier d'entrée ?

Merci beaucoup.

NB :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print $fh_out Encode::encode('UTF-8', $s_data{'Description'});

... ne fonctionne pas.

**CosmoKnacki** · 21/03/2016, 14h56

À tout hasard, quelle est l'encodage précisé dans la directive XML de ton fichier source? Toujours dans ton fichier source, les lettres grecques sont-elles écrites telles quelles ou représentées par une entité? Même question pour le tiret qui pose problème.

**Jasmine80** · 21/03/2016, 15h49

Envoyé par CosmoKnacki

À tout hasard, quelle est l'encodage précisé dans la directive XML de ton fichier source? Toujours dans ton fichier source, les lettres grecques sont-elles écrites telles quelles ou représentées par une entité? Même question pour le tiret qui pose problème.

Merci pour ton aide, là je cogite en vain depuis ce matin ...

J'ai besoin de fichiers de sortie en utf-8.
J'ai utilisé le pragma use utf8;
J'ai ouvert avec : open (my $fh_out, ">:utf8", $file_out)
XML:Simple reconnait apparemment l'encodage tout seul (d'après ce que j'ai lu)

Il n'y a aucun encodage spécifié au début du fchier XML, la personne qui l'a créé n'est plus là (elle travaillait avec java, si ça peut aider) ... et NorePad le reconnait comme du UTF-8.

Alors, je ne comprends pas ... même mon script perl est lui-même en UTF-8 ... tout est en UTF-8.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
'  (apostrophe)
fichier xml : #226;&#128;&#153;
fichier de sortie en utf8 : â
 
- (tiret)
fichier xml : â&#128;&#147;
fichier de sortie en utf8 : â

Encore merci.

**Jasmine80** · 21/03/2016, 17h05

Avec open (my $fh_out, ">:utf8", $file_out) ... je n'ai plus le warning de Perl (Wide character in print), mais j'ai des erreurs dans mes fichiers de sortie.
Avec use utf8, j'ai les messages de mise en garde, mais je n'ai actuellement encore rien trouvé comme erreurs dans mes fichiers, ça semblent beaucoup mieux.

**djibril** · 21/03/2016, 20h08

Bonsoir,

Pour écrire en UTF-8 dans un fichier, voici comment procéder :
ton programme doit être lui même encodé en UTF-8 ;
ton programme doit ressembler à ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
#!/usr/bin/perl
use warnings;
use strict;
 
use Encode;
use utf8;
 
open my $fh, '>encoding(UTF-8)', $fichier or die "Impossible d'écrire dans le fichier $fichier : $!\n";
...

De plus, si tu lis un fichier XML en UTF-8, il doit vraiment l'être et son entête doit également le préciser.

Code xml :

Sélectionner tout - Visualiser dans une fenêtre à part

<?xml version="1.0" encoding="UTF-8"?>

Et comme je l'ai déjà précisé dans mon tutoriel, je préconise XML::Twig, mais ce n'est que mon avis.

**Jasmine80** · 22/03/2016, 12h14

un super grand merci Djibril, j'ai mis au propre le fichier d'entrée, j'ai modifié mon code selon tes conseils et maintenant tout roule en utf-8, plus aucun warning et tout est bien écrit tant dans les fichiers de sortie que dans la base de donnée (où je les charge) :-)

wide caracter (printed)

Langage Perl

Discussions similaires

Partager

Partager