strlen et UTF-8

Bonjour,

Je fais face à un problème suite à un passage d'un fichier en UTF-8. En effet je lis ce fichier ligne par ligne. Je stocke la ligne courante dans un char *, normal quoi. Sauf que depuis le passage à l'UTF-8 certains caractères sont multi-octets. Or strlen ne compte pas les caractères mais les octets. Du coup elle ne fait plus ce que je veux.

J'ai trouvé un code censé fonctionner :

Code:

---

mbstowcs(NULL, chaine ,0)

---

Mais si j'ai un caractère UTF-8 dedans ('é' par exemple) je reçois -1, c'est-à-dire chaine invalide.

Bref des idées ?

Merci

Tu as bien change la locale?

Que veux-tu compter exactement? Les code points, ou les caractères? Car si on prend en compte les accents décomposés, un caractère peut prendre plusieurs code points...

Citation:

---

Envoyé par Jean-Marc.Bourguet

Tu as bien change la locale?

---

env me donne :
LC_ALL=fr_FR.UTF-8
LANG=fr_FR.UTF-8

file sur le fichier me donne :
UTF-8 Unicode text

Citation:

---

Envoyé par Médinoc

Que veux-tu compter exactement? Les code points, ou les caractères? Car si on prend en compte les accents décomposés, un caractère peut prendre plusieurs code points...

---

Euh je suppose que ce que t'appelle des code point c'est des octets. Non je veux bien compter les caractères. Genre 'é' est codé sur 2 octets mais je veux obtenir 1. Le problème c'est que strlen compte les octets, pas les caractères. D'ordinaire c'est pareil mais là pouff ça donne vite des bugs à 3 sous. :-)

Citation:

---

Envoyé par Metal Tom

Euh je suppose que ce que t'appelle des code point c'est des octets. Non je veux bien compter les caractères. Genre 'é' est codé sur 2 octets mais je veux obtenir 1. Le problème c'est que strlen compte les octets, pas les caractères. D'ordinaire c'est pareil mais là pouff ça donne vite des bugs à 3 sous. :-)

---

Non non, je parle bien des unicode code points. Vois-tu, 'é' peut aussi bien être codé sur un seul code point (U+00E9, codé sur deux char en UTF-8) que sur deux ('e' suivi de U+0301). Tu peux même avoir un caractère avec plusieurs accents!

Citation:

---

Envoyé par Metal Tom

env me donne :
LC_ALL=fr_FR.UTF-8
LANG=fr_FR.UTF-8

file sur le fichier me donne :
UTF-8 Unicode text

---

je parlais de ton programme (un appel a setlocale qqpart).

En complément de mon précédent post: http://www.developpez.net/forums/d82...a/#post4726968

PS: C'est pour quoi exactement? Pour la console?

Citation:

---

Envoyé par Médinoc

Non non, je parle bien des unicode code points. Vois-tu, 'é' peut aussi bien être codé sur un seul code point (U+00E9, codé sur deux char en UTF-8) que sur deux ('e' suivi de U+0301). Tu peux même avoir un caractère avec plusieurs accents!

---

OK. Dans tous les cas je veux que 'é' soit compté comme un seul caractère. Bref je que strlen("pépé") = 4, quelle que soit le codage.

Citation:

---

Envoyé par Jean-Marc.Bourguet

je parlais de ton programme (un appel a setlocale qqpart).

---

Je ne l'ai pas appelé. J'imagine que le programme hérite de la valeur de l'environnement. Mais c'est vrai qu'en info on a toujours des surprises. Et puis c'est une appli cross-plateforme, elle compile pour Linux, Windows en Mac (en principe). Je sens que ça va foutre la merde ça encore.

Citation:

---

Envoyé par Médinoc

PS: C'est pour quoi exactement? Pour la console?

---

C'est du SDL + OpenGL. Pour faire vite c'est dans un système de gestion de fonte pour afficher du texte en OpenGL. Je lis une fichier contenant la description de ma fonte, en gros les caractères qu'il y a dedans. Donc je lis des chaines UTF-8, et j'ai besoin de savoir combien j'en ai lu. Mais je risque d'en avoir besoin ailleurs, donc je préfère rester sur le problème général.

Citation:

---

Envoyé par Metal Tom

Je ne l'ai pas appelé. J'imagine que le programme hérite de la valeur de l'environnement. Mais c'est vrai qu'en info on a toujours des surprises. Et puis c'est une appli cross-plateforme, elle compile pour Linux, Windows en Mac (en principe). Je sens que ça va foutre la merde ça encore.

---

Tant que ton programme n'appelle pas setlocale(), il utilise la locale "C" et pas celle definie dans l'environnement.

Il y a l'air d'avoir une solution dans le sujet voisin : http://www.developpez.net/forums/d82...utf-8-wchar_t/

C'est normal, comme l'a fait remarqué Jean Marc Bourget:

Citation:

---

The behavior of the multibyte string functions is affected by the LC_CTYPE category of
the current locale.

---

et

Citation:

---

At program startup, the equivalent of
setlocale(LC_ALL, "C");
is executed.

---