[encodage] validation utf8

Bonjour,

J'ai un petit problème de parsing dû à l'encodage du texte, et j'essaie d'utiliser la glib pour palier à ça.

Je précise que je souhaite avoir des string sous formats UTF8 (pour utilisation sous GTK)

Je lis un fichier texte, et je teste s'il s'agit bien d'encodage UTF8 avec g_utf8_validate. Dans certains cas cette fonction me renvoie bien une valeur fausse, et je tente alors une conversion avec la méthode g_locale_to_utf8, mais qui échoue avec une erreur "invalid sequence of bytes"...

J'imagine qu'il s'agit d'un encodage différent de celui de la locale, mais comment trouver l'encodage ? Il y a une méthode g_get_charset(mystring) qui devrait me renvoyer le charset utilisé, et je pourrais utiliser la méthode g_convert, mais comment trouver le charset qui correspond à l'encodage utf8 ?

Merci :)

en fait en imprimant le charset récupéré par get_charset, je récupère "UTF-8" 8O

pourtant le validate marche pas :s

Je pense que ça doit venir d'une partie partielle de ton string qui n'est pas en utf-8, ou qui n'est en rien tout simplement.

UTF-8 a un encodage assez rigoureux et peut invalider des seizet car il n'y a pas de seizet complémentaire tout en affichant le reste des caractères. Ceci rend invalide ton string et donc utf8_validate renverra faux. Ca n'est pas pour autant que le string ne prétend pas être encodé en utf8, d'où le charset qui te renvoi utf8.

hmm je vois, il faut que je fasse une vérification caractère par caractère donc, et une conversion caractère par caractère... Je vais tenter ça alors, et je reviens pour commenter, merc :)

hmm, je ne vois pas trop comment faire...

En somme, il y a des caractères (les caractères spéciaux) qui ne passent pas, le problème c'est que je n'arrive pas à les convertir, en effet les fonctions g_convert et locale_to_utf8 lèvent une exception sur ces caractères. J'ai essayé la conversion caractère par caractère mais ça ne marche pas :(

Je crois comprendre qu'ils ne sont pas en utf8, donc comme la locale est en utf8, le convertisseur de locale_to_utf8 se dit "pas le bon type à convertir"... Comment connaitre le type de départ à convertir ?

Pourtant ces caractères s'affichent bien dans un éditeur de texte classique...

après une petite vérification via l'éditeur de texte (que j'aurai dû faire dès le départ je l'avoue :oops:) il s'avère que les caractères spéciaux qui échoue à la conversion sont en ISO-8859-1 ...

donc mon problème est bien le suivant, comment définir l'encodage des caractères qui échouent à la validation utf8 afin de les convertir proprement ?

Je reviens fermer le sujet

La solution trouvée est de tester différents encodages en raffinant, voire à tester charactères par charactères s'il y a un problème...