Discussion :

[renaud26]

Bonjour à tous,

Je voudrais faire une fonction qui me permettrait de parser un fichier (export sql) avec file_get_contents et filtrer/récupérer tous les caractères mal encodés du genre è et autres é ainsi que leur équivalent utf8 è et é. Mon but est de faire un tableau $bad et un tableau $good pour un str_replace qui pourrait tout nettoyer.
J'ai regardé du côté de mb_detect_encoding ou iconv...mais rien de concluant.
Merci de vos conseils.

[sabotage]

utf8_decode peut te le faire directement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$chaine_rate = "raté";
echo utf8_decode($chaine_rate); // raté

[renaud26]

J'ai essayé, mais sur tout un (gros fichier), certains caractères sont omis, et du coup, quand je réimporte, ça plante.
Par exemple, certaines apostrophes sont remplacées par l’, ou ce genre d'horreur : ?EUR(TM)
C'est pour cette raison que je cherchais une fonction plus pêchue que utf8_decode...

Ma fonction de nettoyage :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
$contenu = file_get_contents ("tmp/fichier_pourri.sql");
$fichier = fopen ("tmp/fichier_ok.sql", 'w');
fputs ($fichier, utf8_decode ($contenu));
fclose ($fichier);

Je fais ça en local (windows 8), est ce que ce serait mieux sur le serveur Linux ? ou ça ne change rien ?

[sabotage]

Ce n'est pas vraiment un problème de pêche de la fonction, tous les caractères UTF8 n'existe pas en ANSI et donc forcemment ne peuvent pas être convertis.

Tu peux essayer avec notepad++ de faire "Encoder en UTF8" sur ton contenu (attention "encoder" et non "convertir".

[renaud26]

J'ai essayé aussi, cependant il subsiste des caractères qui apparaissent comme xE2?? à la place des apostrophes ou xAC qui ne se convertissent pas.
Est ce qu'on ne peut pas trouver une liste complète de tous ces caractères et leurs équivalents français ?

[sabotage]

Tu peux nous fournir un extrait qui ne fonctionne pas ?

[renaud26]

Les appareils de Bien-Être en un coup d’œil

Reste, malgré tous les traitements :

Les appareils Bien-ÿtre en un coup d''Å"il

Par exemple...

[sabotage]

Le problème c'est que "Ê" UTF8 mal encodé ça donne "Ê" et pas "ÿ".
Je ne sais pas comment tu te retrouves avec un "ÿ" mais du coup impossible de faire une correspondance autrement que manuellement.

[renaud26]

Manuellement ?
Tu veux dire dans le notepad, à l'oeil et à la main ? Horreur !

Mais du coup, quand même, tu sais où je pourrais trouver une liste ou tableau des UTF8 mal encodés et de leur correspondance correcte ? Fouillé Google dans tous les sens sans résultats.
Ou peut-être que je peux le générer en affichant volontairement mal un array de tous les caractères spéciaux de la langue française...

Je pensais aussi qu'on pouvait aussi le faire depuis PhpMyAdmin : changer le varchar en text avec latin1 puis repasser varchar en UTF8. Nada...

[sabotage]

Tu n'as pas compris.
Quand il y a un mic-mac d'encodage entre UNICODE et ANSI, "Être" devient "Être".
Toi tu obtiens "ÿtre" donc forcement aucune fonction de conversion ne fonctionne.

Quand je dis "manuellement", je veux dire que tu peux traiter les caractères mal encodés restant en écrivant ta table de conversion. Par exemple "ÿ"=>"Ê"

[renaud26]

Si si, bien compris. Ce que je voudrais, c'est déjà avoir la table de conversion de base avec "Ê"=>"Ê" et tous les classiques. Ensuite, j'y ajouterai les "très spéciaux" que je trouve dans ma base.