conversion chaineISO8859-1,... en UTF-8

Version imprimable

05/12/2005, 12h12
ep31

conversion chaineISO8859-1,... en UTF-8

La fonction suivante :

Code:

MultiByteToWideChar

me permet de convertir une chaine de caractères classique en UTF-8 en lui passant en paramètre

Code:

CP_UTF8

.
Seulement, je peux me retrouver dans le cas de différents code-page (le ISO8859-1 la plupart du temps) mais je peux aussi me retrouver avec des jeux de caractères espagnol, polonais, grec, ...
Ce que je voudrais, c'est qu'en fonction de mon code-page, je puisse transformer ma chaine en UTF-8 correcte.
Pour l'instant, je ne sais pas détecter si je suis en ISO8859-1 ou autres. Si je me retrouve par exemple avec un caractère grec dont le code ASCII correspond au caractère

Code:

è

en ISO8859-1, ma chaine en UTF-8 aura donc été encodée avec le code UTF-8 du caractère

Code:

è

et non pas du caractère grec qui aurait dû être encodé à la base.
Merci si vous avez une idée
05/12/2005, 12h14
ep31

Pardon je me suis mal exprimé, je sais détecter dans quel code-page je suis mais je ne sais pas comment traduire cela en langage C++ (conversion code-page en UTF-8 ).
05/12/2005, 13h30
ep31

Je viens d evoir qu'il existyait la fonction :

Code:

TranslateCharsetInfo

Peut-être utiliser cella-là ?
05/12/2005, 13h58
Médinoc

Je ne connais pas cette fonction, mais avec WideCharToMultiByte(), tu peux convertir de l'unicode Wide (UTF-16) aussi bien en ANSI qu'en UTF-8 (si tu as un Windows >= 98)

(Mince, presque grillé)
Lors de la conversion ISOxxx -> UTF-16, utilise SetLocale() d'abord, je crois que ça devrait t'aider...
05/12/2005, 14h04
ep31

Merci mais pour la conversion ISOxxxx -> UTF-8, je ne vois pas bien ce que vient faire la focntion SetLocale() qui d'après l'aide s'applique à une ComboBox.
Quant à moi, je ne récupère pas le code-page régional mais le code-page stocké dans un fichier texte.
Une autre piste peut-être svp ?
05/12/2005, 14h28
Médinoc

Désolé pour la combobox, c'était setlocale() sans majuscules dont je voulais parler.
05/12/2005, 14h54
ep31

merci pour la fonction, je vais regarder ce que je peux faire avec.
05/12/2005, 22h21
Luc Hermitte

Eventuelle autre piste.
En C++ portable, j'ai croisé (et pas essayé) des facets de conversions dans une des biblios de boost (laquelle, j'ai oublié ; c'était utilisé en interne), et dans Adam&Eve (d'Adobe).
06/12/2005, 15h39
ep31

Je viens de voir setlocale, ça marche jusqu'à NT mais ça m'a l'air un peu dépassé pour 2003
06/12/2005, 17h44
ep31

Petite question simple, j'ai dans wchar_t un caractère correspondant au code 0x394.
Quelles commande exécuter pour qu'il s'affiche en grec, français, ... ?
06/12/2005, 17h45
ep31

J'ai essayé avec le setlocale mais sans succès

Je viens de faire le test du code suivant (en essayant de transformer le code 0xE5 cyrillique en UNICODE) :
Code:

1 2 3 4 5 6 7 8 9 10 char util[2]; util[0] = 0xE5; util[1] = '\0'; char* soaputf8 = 0; setlocale (LC_ALL, "rus"); _bstr_t soapbstr = util; int sizeutf8 = soapbstr.length()*4; soaputf8 = new char[sizeutf8]; sizeutf8 = WideCharToMultiByte(CP_UTF8,0,soapbstr,soapbstr.length(),soaputf8,sizeutf8,0,0);
Puis le code suivant (en essayant de transformer le code 0xE5 grec en UNICODE) :
Code:

1 2 3 4 5 6 7 8 9 10 char util[2]; util[0] = 0xE5; util[1] = '\0'; char* soaputf8 = 0; setlocale (LC_ALL, "ell"); _bstr_t soapbstr = util; int sizeutf8 = soapbstr.length()*4; soaputf8 = new char[sizeutf8]; sizeutf8 = WideCharToMultiByte(CP_UTF8,0,soapbstr,soapbstr.length(),soaputf8,sizeutf8,0,0);
Dans les 2 cas, j'ai fait un quickwatch sur ma variable soaput8 résultant et je me suis retrouvé avec un sizeutf8=2 et :
soaput8[0] = 0xc3
soaput8[1] = 0xa5
J'avais l'impression que mon résultat était donc la transformation du caractère 0xE5 du codepage 1252 mais en regardant sur unicode.org, j'ai vu que le caractère 0xE5 correspondait en unicode à 00E5 (donc un caractère sur un seul octet).
Outre le fait que setlocale est deprecated (enfin je pense), sauriez-vous m'expliquer le résultat de ma variable de retour qui ne correpond ni à du codepage 1252 standard, ni a du codepage 1251 cyrillique, ni à du 1253 grec.
Je vous remercie car je commence à me noyer

07/12/2005, 11h01
ep31

Avec le setlocale, j'ai essayé avec d'autres langues, toujours le même résultat !
Please, help !
07/12/2005, 13h35
ep31

Je viens de voir qu'il existait une classe UTF8Encoding mais pas d'exemple avec différents code page...
07/12/2005, 15h33
ep31

J'ai regardé aussi avec WideCharToMultiByte, pas moyen de lui passer le codepage que l'on veut...
Des pistes ?
un SDK qui fait ça ?

J'ai téléchargé le projet situé dans :
http://www.codeproject.com/string/UTF8.asp
Il y a un code sources permettant de transformer n'importe quel caractère en UTF-8 dont voici le code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
 
CString EncodeToUTF8(LPCTSTR szSource)
{
	WORD ch;
 
	BYTE bt1, bt2, bt3, bt4, bt5, bt6;
 
	int n, nMax = _tcslen(szSource);
 
	CString sFinal, sTemp;
 
	for (n = 0; n < nMax; ++n)
	{
		ch = (WORD)szSource[n];
 
		if (ch == _T('='))
		{
			sTemp.Format(_T("=%02X"), ch);
 
			sFinal += sTemp;
		}
		else if (ch < 128)
		{
			sFinal += szSource[n];
		}
		else if (ch <= 2047)
		{
			 bt1 = (BYTE)(192 + (ch / 64));
			 bt2 = (BYTE)(128 + (ch % 64));
 
			sTemp.Format(_T("=%02X=%02X"), bt1, bt2);
 
			sFinal += sTemp;
		}
		else if (ch <= 65535)
		{
			 bt1 = (BYTE)(224 + (ch / 4096));
			 bt2 = (BYTE)(128 + ((ch / 64) % 64));
			 bt3 = (BYTE)(128 + (ch % 64));
 
			sTemp.Format(_T("=%02X=%02X=%02X"), bt1, bt2, bt3);
 
			sFinal += sTemp;
		}
		else if (ch <= 2097151)
		{
			 bt1 = (BYTE)(240 + (ch / 262144));
			 bt2 = (BYTE)(128 + ((ch / 4096) % 64));
			 bt3 = (BYTE)(128 + ((ch / 64) % 64));
			 bt4 = (BYTE)(128 + (ch % 64));
 
			sTemp.Format(_T("=%02X=%02X=%02X=%02X"), bt1, bt2, bt3, bt4);
			sFinal += sTemp;
		}
		else if (ch <=67108863)
		{
			bt1 = (BYTE)(248 + (ch / 16777216));
			bt2 = (BYTE)(128 + ((ch / 262144) % 64));
			bt3 = (BYTE)(128 + ((ch / 4096) % 64));
			bt4 = (BYTE)(128 + ((ch / 64) % 64));
			bt5 = (BYTE)(128 + (ch % 64));
 
			sTemp.Format(_T("=%02X=%02X=%02X=%02X=%02X"), bt1, bt2, bt3, bt4, bt5);
			sFinal += sTemp;
		}
		else if (ch <=2147483647)
		{
			 bt1 = (BYTE)(252 + (ch / 1073741824));
			 bt2 = (BYTE)(128 + ((ch / 16777216) % 64));
			 bt3 = (BYTE)(128 + ((ch / 262144) % 64));
			 bt4 = (BYTE)(128 + ((ch / 4096) % 64));
			 bt5 = (BYTE)(128 + ((ch / 64) % 64));
			 bt6 = (BYTE)(128 + (ch % 64));
 
			sTemp.Format(_T("=%02X=%02X=%02X=%02X=%02X=%02X"), bt1, bt2, bt3, bt4, bt5, bt6);
			sFinal += sTemp;
		}
 
	}
 
	return sFinal;
}

Mais quand j'y regarde de plus près, la chaine résultante encodée en UTF-8 ne correspond pas du tout aux codes UTF-8 de unicode.org.
Je vais abandonner cette piste, est-ce que vous avez une idée sur le codage de ctte fonction toute simple :

Encode (in chaineaencoder, in codepage, out chaineencodeeenUTF8)

Merci[/code]

C'est bon, j'avais fait un amalgamme entre l'unicode et l'UTF-8 qui permet justement de ne pas tout encoder sur plusieurs octets pour aléger les données.
D'ailleurs, voilà l'encodage UTF-8 à partir de l'unicode :
Code:

1 2 3 4 5 6 7 0000000-0000007f 0xxxxxxx 00000080-000007ff 110xxxxx 10xxxxxx 00000800-0000ffff 1110xxxx 10xxxxxx 10xxxxxx 00080000-001fffff 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 00200000-03ffffff 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxx 04000000-7fffffff 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxx 10xxxxx
Alors ma question devient comment transformer un caractère (arabe, grec, cyrillique,...) présenté sur un octet en Unicode ? Donc, une fonction qui devient :

Encode (in chaineaencoder, in codepage, out chaineencodeeenunicode)

08/12/2005, 10h03
Médinoc

En fait, oui, ce qu'il faut trouver, c'est comment, sur un Windows moderne, passer d'un couple (caractère, codepage) à un caractère unicode. Je pensais que setlocale() et MultiByteToWideChar() étaient suffisant pour cela, mais puisque d'après toi ça ne marche pas, je n'ai plus d'idées...

Edit: J'ai trouvé!
J'avais mal lu la doc de MultiByteToWideChar() : Les valeurs énumérées ne sont pas les seules possibles!
Essaie de passer directement un numéro de codepage Windows à la place de CP_ACP, et normalement tu n'auras même plus besoin de setlocale().
08/12/2005, 10h52
ep31

OK je suis sur autre chose, mais dès que je peux, je vais tester en passant directement le codepage (je n'avais pas non plus dans le .h les #define des codepage) voir ce que ça donne.
Je te remercie pour l'info.
08/12/2005, 15h01
ep31

Ca ne marche pas non plus !

Eh bien, ça marche!

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
#define WIN32_LEAN_AND_MEAN
#include <windows.h>
#include <stdio.h>
#include <stdlib.h>//pour system()
 
int main(void)
{
char const sczCyrillique[] = "\xE5";
char const sczGrec[] = "\xE5";
UINT const uiCpCyrillique = 1251;
UINT const uiCpGrec = 1253;
 
WCHAR szBufferW[10] = L"";
char szBufferOemCp850[10] = "";
 
//Test avec le caractère cyrillique
MultiByteToWideChar( uiCpCyrillique, 0, sczCyrillique, -1, szBufferW, 10);
printf("Caractere cyrillique %u (0x%02X) en unicode : %u (0x%04X)\n",
 (unsigned char)sczCyrillique[0], (unsigned char)sczCyrillique[0],
 szBufferW[0], szBufferW[0]
 );
 
//Test avec le caractère grec
MultiByteToWideChar( uiCpGrec, 0, sczGrec, -1, szBufferW, 10);
printf("Caractere grec %u (0x%02X) en unicode : %u (0x%04X)\n",
 (unsigned char)sczGrec[0], (unsigned char)sczGrec[0],
 szBufferW[0], szBufferW[0]
 );
 
MessageBoxW(NULL, szBufferW, L"Caract\xE8re grec en unicode",
 MB_OK | MB_ICONINFORMATION);
 
//Test en OEM (Codepage 850, qui ne contient pas le carac. grec)
CharToOemBuffW(szBufferW, szBufferOemCp850, 10);
printf("Caractere unicode %u (0x%04X) converti en OEM (CP-850) : %u (0x%02X)\n",
 szBufferW[0], szBufferW[0],
 (unsigned char)szBufferOemCp850[0], (unsigned char)szBufferOemCp850[0]
 );
printf("Chaine unicode convertie en OEM (CP-850) : %s\n", szBufferOemCp850);
 
//Test UTF-8
	{
	char szBufferUtf8[10] = "";
	size_t tailleChnUtf8;
	size_t i;
 
	WideCharToMultiByte(CP_UTF8, 0, szBufferW, -1,
	 szBufferUtf8, sizeof(szBufferUtf8), NULL, NULL);
 
	//Ca marche a tous les coups,
	//l'UTF-8 garantit qu'aucun octet d'un caratere n'est nul
	tailleChnUtf8 = strlen(szBufferUtf8);
	printf("Caractere grec converti en %u octets UTF-8:\n", tailleChnUtf8);
	for(i = 0 ; i<tailleChnUtf8 ; i++)
	    printf("%02X ", (unsigned char)szBufferUtf8[i]);
	printf("\n");
	}
 
system("pause");
return 0;
}

Et j'obtiens:

Code:

1
2
3
4
5
6
7
Caractere cyrillique 229 (0xE5) en unicode : 1077 (0x0435)
Caractere grec 229 (0xE5) en unicode : 949 (0x03B5)
Caractere unicode 949 (0x03B5) converti en OEM (CP-850) : 101 (0x65)
Chaine unicode convertie en OEM (CP-850) : e
Caractere grec converti en 2 octets UTF-8:
CE B5
Appuyez sur une touche pour continuer...

Plus une belle MessageBoxW avec un magnifique epsilon grec.

Où est le problème ?

09/12/2005, 12h24
ep31

Excuse moi Medinoc, j'ai réussi à le faire tourner hier soir, j'avais juste mes define de codepage qui avaient la même valeur, il m'a fallu deux heures avant de le voir (les joies du copy/paste).
Merci