[C++0x] UTF-8 std::string::length()

Version imprimable

14/06/2010, 02h42
Klaim

[C++0x] UTF-8 std::string::length()

Bonjour,

j'étais en train de lire : http://stackoverflow.com/questions/1...idered-harmful

Et je me disais que le fait d'avoir une spécification pour les formats de caractères dans la nouvelle norme (UTF-8, UTF-16, UTF-32) allait pas mal aider si on utilise bien que l'UTF-8.

Simplement je me demandais si std::string allait prendre en compte le format lorsqu'on utilise de l'UTF-8 pour nous retourner le nombre de charactères avec std::string::length() plutot que le nombre de bytes?
14/06/2010, 09h55
Jean-Marc.Bourguet

Non (etant donne le modele acturel, il faudrait mettre une locale dans chaque string pour le faire ou parametriser size() par la locale -- et en prime comme le nombre de byte est interessant, il faudrait une autre fonction pour avoir le nombre de byte).

Il doit y avoir moyen d'ecrire une fonction libre faisant ce que tu veux (et prenant un parametre de type locale). Je sais l'interface des locale est a moitie incomprehensible et quasiment inutilisable (c'est pour ca que je ne donne pas un exemple). Pour la locale courante C, le plus simple est d'utiliser mbsrtowcs pour avoir la longueur.
14/06/2010, 10h54
nikko34

Pour l'instant sous Linux, tout est en UTF-8.

Si tu mets "ä é o" dans une std::string, il te renvoit une taille de 7. Mais ce n'est pas très génant si tu le sais.
14/06/2010, 10h57
Klaim

Justement je me disais qu'ils auraient ajouté une fonction ou n'importe quoi pour automatiquement se baser sur une locale pour avoir le nombre de charactères...

Bon, dommage alors. Toutes les solutions pour gérer "facilement" l'utf8 semblent non-standards.
14/06/2010, 14h00
Klaim

Je relisais:

Citation:

Non (etant donne le modele acturel, il faudrait mettre une locale dans chaque string pour le faire ou parametriser size() par la locale -- et en prime comme le nombre de byte est interessant, il faudrait une autre fonction pour avoir le nombre de byte).

Justement dans std::string il y a size() et length(), or length() est exactement (d'après le standard si je me souviens bien) size(); Aussi on pourrait avoir length() (avec un paramettre optionel de locale) pour avoir le nombre de charactères!
Ok ça changerai le comportement et donc ne serait pas forcément rétro-compatible mais avoir les deux mots pour la même chose est pour le moins trompeur.
14/06/2010, 14h17
Jean-Marc.Bourguet

Citation:

Envoyé par Klaim

Justement dans std::string il y a size() et length(), or length() est exactement (d'après le standard si je me souviens bien) size(); Aussi on pourrait avoir length() (avec un paramettre optionel de locale) pour avoir le nombre de charactères!
Ok ça changerai le comportement et donc ne serait pas forcément rétro-compatible mais avoir les deux mots pour la même chose est pour le moins trompeur.

Historique. length() est le long datant de quand string existait dans la SL mais que la STL n'avait pas ete encore mise dedans. size() (et vraisemblablement d'autres membres) ont ete ajoutes pour rendre cette classe qui n'avait pas d'equivalent dans la STL compatible avec. Et par apres, la STL s'est mise a la fournir aussi.
14/06/2010, 14h24
Klaim

Ok donc il faudrait vraiment soit une autre version de length() et size() qui soit paramettrée avec une locale, soit une fonction complètement différente.
14/06/2010, 16h03
camboui

Non je ne pense pas.
string est en fait un basic_string<char, char_traits<char>, allocator<char>>.
Il suffit d'écrire un traits spécifique utf8, et de créer le type basic_string<char, utf8_traits<char>, allocator<char>>.
"Yaka" comme qui dirait :aie:
14/06/2010, 16h18
Klaim

Sa suffirait a ce que size() et length() donnent le nombre de caractères? O__o

Salut,

Mieux, même, il suffit "tout simplement" de créer un typedef adéquat pour que cela marche...

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#include <string>
#include <iostream>
using namespace std;
// ces symboles préprocesseurs permettent simplement de rendre
// l'écriture plus aisée à la lecture :D
#define UTF8_STRING(x) u8##x
 
#define UTF16_STRING(x) u##x
 
#define UTF32_STRING(x) U##x
/* une chaine de caractères UTF-8 */
typedef basic_string<char> UTF_8_String;
/* une chaine de caractères UTF-16 */
typedef basic_string<char16_t> UTF_16_String;
/* une chaine de caractères UTF-32 */
typedef  basic_string<char32_t> UTF_32_String;
 
int main(int argc, char * argv[])
{
    UTF_8_String value8(UTF8_STRING("ééé"));
    UTF_16_String value16(UTF16_STRING("aze"));
    UTF_32_String value32(UTF32_STRING("\u2018"));
    cout<<value8.size()<<endl
        <<value16.size()<<endl
        <<value32.size();
	return 0;
}

affichage :

Code:

20/06/2010, 18h19
Médinoc
Il ne faut pas oublier qu'UTF-16 a certains avantages sur UTF-8:
- Un code point prend au plus deux ?char, il est plus facile de coder avec cette assurance que sans.
- Si l'on prend n'importe quel ?char d'une chaîne, on sait exactement où le code point commence et finit; ce qui n'est pas le cas en UTF-8.
Avec cela, il est beaucoup plus facile de faire des traitements en UTF-16 qu'en UTF-8. Je ne nie pas qu'UTF-8 est un excellent format de stockage, mais il complique considérablement les traitements.

En fait, ce qui manque à beaucoup de plate-formes, ce sont des fonctions de traitement et conversion en UTF-32. UTF-32 garantit un code point par ?char (mais pas un caractère par ?char pour autant, à cause des accents).