Discussion :

[YvesCa]

Bonjour

j'ai un pb de détection de format de fichier. Je travaille en VC6.
Un fichier txt encodé en utf-8 ans BOM est reconnu par Ultra Edit en "U8-DOS", par notepad++ en "ANSI as UTF-8". Lorsque je le visualise en hexa, il commence par "FF FE", or, quelque soit la méthode que j'utilise pour lire ce fichier, je n'arrive pas à voir ces caractères FF FE, je lis systématiquement les premiers caractères de texte.
Quelqu'un aurait-il une idée ?

[zais_ethael]

Ouvrir en mode binaire?

[YvesCa]

Même ça ne marche pas :
FILE* f;
BYTE * bom = new BYTE[4];
int n = 0;
f = fopen(m_strFichier, "rb");
bom[0] = fgetc(f);
bom[1] = fgetc(f);
delete [] bom;
fclose(f);

[yan]

peut tu donner un fichier comme exemple?

[YvesCa]

D'après mes recherches, il s'agirait plutôt d'un codage UTF-16 LE
J'ai joint le fichier

[yan]

avec quoi visualise tu "FF FE" ?

[YvesCa]

N'importe quel éditeur hexa j'magine

Ultraedit en l'occurence

[yan]

N'importe quel éditeur hexa j'magine

Ultraedit en l'occurence

...
j'ai essayé avec hexedit et je n'ai pas ces caractère...

[yan]

Bon j'ai réécrit ton fichier en UTf16 avec notepad++.
Et j'avais bien FFFE.
pour le lire j'ai fait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
unsigned char entete[2] ={0};
FILE* ff =fopen("c:/test1.txt","rb");
fread(entete,2,1,ff);

Mais en C++ tu devrait faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
unsigned char entete[2] ={0};
std::ifstream ff("c:/test1.txt",std::ios::binary);
ff.read(reinterpret_cast<char*>(entete),2);

Il fallait donc juste l'ouvrir en binaire comme le disait zais_ethael

[YvesCa]

...
j'ai essayé avec hexedit et je n'ai pas ces caractère...

Comme quoi, j'ai trop d'imagination des fois ....

Bon j'ai réécrit ton fichier en UTf16 avec notepad++.

Désolé, je ne peux pas me permettre de convertir les fichiers, je ne les maitrise pas, ils arrivent et je dois les traiter .....
C'est justement pour cela que je dois détecter leur format, car il peut être différent.

Il fallait donc juste l'ouvrir en binaire comme le disait zais_ethael

C'est ce que j'ai fait :

f = fopen(m_strFichier, "rb");

"rb" veut dire en mode read et en binaire

De plus, si je convertis préalablement le fichier, je n'ai effectivement plus aucun problème.
Là, en fait le problème est : comment détecter un fichier en UTF-8 sans BOM ?

[yan]

http://www.codeguru.com/cpp/misc/mis...le.php/c10451/
Pour le savoir sans BOM, je pense que tu doit faire une première passe et vérifier que les octet on le poids le plus fort a 0
un truc comme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
bool Unicode(const char & c)
{
return c & 0x80;
}

[YvesCa]

Je ne sais pas pourquoi, mais l'exemple que j'avais téléchargé s'obstine à rester en ASCII.
J'ai refait des exemples testé et vérifiés.
Dans les deux cas, c & 0x80 me retourne 0.
Je continue mes recherches sur codeguru .....

[yan]

J'ai oublié. Un fichier ascii s'ecrit pareil en UTF-8. Dsl j'ai plus la page internet.
Donc normale que tu ne le voit pas....
Un text normale sera lu de la même manière

[YvesCa]

Je l'ai lu aussi.

Pourtant, il doit bien y avoir une méthode : UltraEdit et Notepad++ détectent bien un changement de format (c'est affiché dans la barre d'état).
De plus, en hexa, les fichiers sont différents :
En ascii chaque caractère est sur un byte
En utf8 chaque caractère est sur deux byte, le 2e byte étant systématiquement à 00.

[yan]

En utf8 chaque caractère est sur deux byte, le 2e byte étant systématiquement à 00.

ben non justement.
si le poids le plus fort est a 0, le caractère est sur 8 bits (ca j'en suis presque sur). Sinon sur 16 (ca pas trop)

[YvesCa]

Moi, c'est ce que je vois sur ultraedit en hexa, quand je compare les deux fichiers.
Et toi, avec hexedit, tu le vois comment test1.UTF8.txt ?

[yan]

j'ai juste une différence pour les caractère âêîôëä
ascii : E2 EA EE F4 EB E4
UTF 8 : C3A2 C3AA C3Ae C3B4 C3AB C3A4

tiens si tu décode C3A2 ca donne E2... lol

A mon avis le seul moyen est de voir si il existe d'une autre série d'octet consecutive que :
0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

[Médinoc]

Attention avec UltraEdit: Si on ne lui dit pas spécifiquement d'éditer du texte UTF-8 en tant qu'UTF-8, il le garde en mémoire sous forme UTF-16 (plus pratique pour l'édition), donc il affiche de l'UTF-16 quand on passe en hexa. C'est un "gotcha" connu de UltraEdit, assez déroutant au premier abord.

Donc, c'est hexedit qui "a raison".