Discussion :

[knebhi]

Bonjour,

jai un fichier texte qui une fois ouvert avec notepad est reconnu comme de lutf8. Dans ce fichier pas de soucis avec les caracteres ils sont bien reconnu.

jai cree un traitement perl pour extraire des donnees et je les reecris dans un fichier de sortie.
le soucis est que ce fichier presente des soucis dencodage puisque les caractere ne sont plus reconnu.

voici le script ou jai ajouter une option mais toujours rien :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/perl
open(dico, "texteIn.txt");
open(npc,'>:utf8',">textOut.txt");
 
while (<dico>){
if (/(([A-Z])+([a-zéèàüäêçïíáó])* (([A-Z])+([a-zéèàüäêçïíáó])* )*(([A-Z])+([a-zéèàüäêçïíáó])*)+)/) {
print npc "$1\n";}
 
}
close(npc);
close(dico);

merci de votre aide

[djibril]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/perl
open(DICO, '<', "texteIn.txt");
open(NPC,'>:utf8', "textOut.txt");
 
while (<DICO>){
if (/(([A-Z])+([a-zéèàüäêçïíáó])* (([A-Z])+([a-zéèàüäêçïíáó])* )*(([A-Z])+([a-zéèàüäêçïíáó])*)+)/) {
print NPC"$1\n";}
 
}
close(NPC);
close(DICO);

[knebhi]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/perl
open(DICO, '<', "texteIn.txt");
open(NPC,'>:utf8', "textOut.txt");
 
while (<DICO>){
if (/(([A-Z])+([a-zéèàüäêçïíáó])* (([A-Z])+([a-zéèàüäêçïíáó])* )*(([A-Z])+([a-zéèàüäêçïíáó])*)+)/) {
print NPC"$1\n";}
 
}
close(NPC);
close(DICO);

sa ne fonctionne toujours pas
je me demande si ce nest pas mon fichier de base qui pose probleme...

[Philou67430]

Peut-être est-ce du au fait que ton encodage initial est de l'ASCII étendu.
As-tu la possibilité de dumper le fichier texte (od -t x1 fichier.txt) afin de voir comment sont codés les caractères accentués ? (ou d'utiliser la commande unix file, si elle fonctionne sur ta plateforme ; malheureusement, sous cygwin, je n'ai pas réussi à la faire marcher).

[knebhi]

Peut-être est-ce du au fait que ton encodage initial est de l'ASCII étendu.
As-tu la possibilité de dumper le fichier texte (od -t x1 fichier.txt) afin de voir comment sont codés les caractères accentués ? (ou d'utiliser la commande unix file, si elle fonctionne sur ta plateforme ; malheureusement, sous cygwin, je n'ai pas réussi à la faire marcher).

jai egalement cygwin et pas de machine unix sous la main pr le moment
en attendant voila un exemple dans le fichier sortie :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Isler Béguin

[knebhi]

voici le code héxa pour le "é"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

C3  A9

[Philou67430]

C'est pareil chez moi, mais ce n'est pas équivalent au fichier d'entrée que j'ai créé, qui lui contient un caractère é égal à 0xE9 (ASCII étendu).

Regarde donc avec ton fichier d'entrée quel format il a.

Au delà, je ne saurais pas t'aider plus. Il faudrait que tu fournisses en pièce jointe un bout du fichier d'entrée pour que quelqu'un puisse déterminer le type d'encodage.

[knebhi]

C'est pareil chez moi, mais ce n'est pas équivalent au fichier d'entrée que j'ai créé, qui lui contient un caractère é égal à 0xE9 (ASCII étendu).

Regarde donc avec ton fichier d'entrée quel format il a.

Au delà, je ne saurais pas t'aider plus. Il faudrait que tu fournisses en pièce jointe un bout du fichier d'entrée pour que quelqu'un puisse déterminer le type d'encodage.

mon fichier dentréé contient ce é avec la notation hexa ci dessus.

jai mis lensemble du fichier sur cette adresse :
http://home.etu.unige.ch/~nebhi/europarl-v5.fr-en.en-ai

merci

[estofilo]

Isler Béguin

Ca c'est de l'UTF-8 interprété comme de l'ANSI. Le fautif ici n'est pas le fichier mais le programme qui affiche son contenu.

A ce propos, ton fichier d'entrée contient 3 octets de BOM au début, à savoir en hexadécimal ef bb ff.
Voir wikipedia: http://fr.wikipedia.org/wiki/Marque_...dre_des_octets pour des explications à propos du BOM. A noter que notepad l'utilise le BOM en UTF-8 (bien que ce ne soit généralement pas recommandé)

Je crois que ton script Perl filtre le BOM et n'en met pas dans le fichier de sortie, de sorte qu'un outil comme notepad ne détectera pas que le fichier est en UTF-8 si ça ne lui est pas indiqué explicitement. D'autres éditeurs de texte sont plus efficaces pour auto-détecter l'UTF-8 avec ou sans BOM.

[knebhi]

Merci pour l'info. en effet jai pu travailler avec textWrangler SOUS mac os et pas de soucis...