strlen et UTF-8

**Metal Tom** · 19/10/2009, 10h42

Bonjour,

Je fais face à un problème suite à un passage d'un fichier en UTF-8. En effet je lis ce fichier ligne par ligne. Je stocke la ligne courante dans un char *, normal quoi. Sauf que depuis le passage à l'UTF-8 certains caractères sont multi-octets. Or strlen ne compte pas les caractères mais les octets. Du coup elle ne fait plus ce que je veux.

J'ai trouvé un code censé fonctionner :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mbstowcs(NULL, chaine ,0)

Mais si j'ai un caractère UTF-8 dedans ('é' par exemple) je reçois -1, c'est-à-dire chaine invalide.

Bref des idées ?

Merci

**Jean-Marc.Bourguet** · 19/10/2009, 10h49

Tu as bien change la locale?

**Médinoc** · 19/10/2009, 11h47

Que veux-tu compter exactement? Les code points, ou les caractères? Car si on prend en compte les accents décomposés, un caractère peut prendre plusieurs code points...

**Metal Tom** · 19/10/2009, 15h24

Envoyé par Jean-Marc.Bourguet

Tu as bien change la locale?

env me donne :
LC_ALL=fr_FR.UTF-8
LANG=fr_FR.UTF-8

file sur le fichier me donne :
UTF-8 Unicode text

Envoyé par Médinoc

Que veux-tu compter exactement? Les code points, ou les caractères? Car si on prend en compte les accents décomposés, un caractère peut prendre plusieurs code points...

Euh je suppose que ce que t'appelle des code point c'est des octets. Non je veux bien compter les caractères. Genre 'é' est codé sur 2 octets mais je veux obtenir 1. Le problème c'est que strlen compte les octets, pas les caractères. D'ordinaire c'est pareil mais là pouff ça donne vite des bugs à 3 sous. :-)

**Médinoc** · 19/10/2009, 15h36

Envoyé par Metal Tom

Euh je suppose que ce que t'appelle des code point c'est des octets. Non je veux bien compter les caractères. Genre 'é' est codé sur 2 octets mais je veux obtenir 1. Le problème c'est que strlen compte les octets, pas les caractères. D'ordinaire c'est pareil mais là pouff ça donne vite des bugs à 3 sous. :-)

Non non, je parle bien des unicode code points. Vois-tu, 'é' peut aussi bien être codé sur un seul code point (U+00E9, codé sur deux char en UTF-8) que sur deux ('e' suivi de U+0301). Tu peux même avoir un caractère avec plusieurs accents!

**Metal Tom** · 20/10/2009, 11h33

Envoyé par Médinoc

Non non, je parle bien des unicode code points. Vois-tu, 'é' peut aussi bien être codé sur un seul code point (U+00E9, codé sur deux char en UTF-8) que sur deux ('e' suivi de U+0301). Tu peux même avoir un caractère avec plusieurs accents!

OK. Dans tous les cas je veux que 'é' soit compté comme un seul caractère. Bref je que strlen("pépé") = 4, quelle que soit le codage.

Envoyé par Jean-Marc.Bourguet

je parlais de ton programme (un appel a setlocale qqpart).

Je ne l'ai pas appelé. J'imagine que le programme hérite de la valeur de l'environnement. Mais c'est vrai qu'en info on a toujours des surprises. Et puis c'est une appli cross-plateforme, elle compile pour Linux, Windows en Mac (en principe). Je sens que ça va foutre la merde ça encore.

Envoyé par Médinoc

PS: C'est pour quoi exactement? Pour la console?

C'est du SDL + OpenGL. Pour faire vite c'est dans un système de gestion de fonte pour afficher du texte en OpenGL. Je lis une fichier contenant la description de ma fonte, en gros les caractères qu'il y a dedans. Donc je lis des chaines UTF-8, et j'ai besoin de savoir combien j'en ai lu. Mais je risque d'en avoir besoin ailleurs, donc je préfère rester sur le problème général.

**Jean-Marc.Bourguet** · 20/10/2009, 11h41

Envoyé par Metal Tom

Je ne l'ai pas appelé. J'imagine que le programme hérite de la valeur de l'environnement. Mais c'est vrai qu'en info on a toujours des surprises. Et puis c'est une appli cross-plateforme, elle compile pour Linux, Windows en Mac (en principe). Je sens que ça va foutre la merde ça encore.

Tant que ton programme n'appelle pas setlocale(), il utilise la locale "C" et pas celle definie dans l'environnement.