Discussion :

[Tchupacabra]

Bonjour à tous,

Je lutte depuis des heures pour résoudre un problème d'encodage de caractères. J'espère trouver ici un peu de réconfort...
Je dois transformer un très gros fichier ODS (Tableur LibreOffice) en une interface web + MySQL. Pour cela j'ai importé directement le tableau dans PHPMyAdmin (sans problème). Tous les champs sont des chaines de caractères.

Visuellement toutes les données s'affichent correctement dans une page UTF-8. Mais j'ai remarqué énormément de caractères spéciaux qui ne me semblent pas "conforme" car non capturés par une fonction preg_replace_callback()

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
echo preg_replace_callback(
        '/([çñÀÁÂÃÄÅÇÈÉÊËÌÍÎÏÒÓÔÕÖÙÚÛÜÝàáâãäåèéêëìíîïðòóôõöùúûüµýÿ])/u',
        function ($matches) {
		return '<span style="background-color:#ffff66;font-size:1.2em;border:1px solid black">'.$matches[0].'</span>';
        },
        $str
    );

Après un long moment, j'ai constaté que certains caractères n'étaient pas encodés de la même manière comme par exemple : "é"
1/ capturé par preg_replace_callback() : c3a9 en héxa
2/ non capturé par preg_replace_callback() : 65cc81 en héxa !
J'ai remarqué également qu'un copié/collé du caractère bizarre dans NotePad++, celui s'affiche : "e´"

Comment puis-je m'y prendre pour "purifier" chaque cellule du tableau (fichier ODS) avant de l'importer dans MySQL ?
sauf si la solution se trouve dans LibreOffice (mais pas trouvé).
Merci d'avance !

[mathieu]

2/ non capturé par preg_replace_callback() : 65cc81 en héxa !

ceci n'est pas le caractère "e avec accent" même si ça y ressemble. le "65" c'est le "e" et "cc81" est le caractère " ́ combiné" en UTF-8 (http://www.utf8-chartable.de/unicode...e.pl?start=768).

tu devrais chercher d'où vient ce caractère avant d'arriver dans le fichier tableur puisque je pense qu'il n'est pas produit en appuyant sur la touche "é".

[Tchupacabra]

C'est du copié/collé de page Web dans LibreOffice à partir d'un Mac... rien que ça !

[CosmoKnacki]

Tu dois effectuer une normalisation NFC de ta chaîne. C'est une opération qui consiste à décomposer tous les caractères accentués de la chaîne (le NFD) pour ensuite les recomposer dans leur forme la plus courte.

Plusieurs solutions s'offrent à toi, la meilleur étant selon moi d'utiliser Normalizer::normalize() qui est livrée avec l'extension intl qu'il faudra alors installer si ce n'est déjà fait. Ce qui donne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$str = Normalizer::normalize($str);

Sinon, si tu ne peux pas installer intl, tu devras faire une table de conversion (un tableau associatif) avec chaque caractère accentué susceptible d'être dans ton document (la clef étant la forme combinée, la valeur étant la forme courte) puis d'utiliser strtr (c'est plutôt fastidieux). Exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$trans = [ "e\xcc\x80" => "è",
           "e\xcc\x81" => "é", /* etc. */ ];
$str = strtr($str, $trans);

[Tchupacabra]

UN MIRACLE !!!!

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$str = Normalizer::normalize($str);

marche très bien.
A présent tous les caractères spéciaux semblent capturés. Je vais pouvoir avancer maintenant.

CosmoKnacki et mathieu