Encodage UTF-8 dans formulaire et preg_replace

Version imprimable

28/08/2009, 12h32
dawadam

Encodage UTF-8 dans formulaire et preg_replace

Bonjour

J'ai du passer à l'encodage utf8 en raison de mon nouvel éditeur qui enregistre tout avec ce jeu de caractères. J'ai bien réussi à l'utiliser avec les navigateur en utilisent la balise <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">, mais là en php, sa ce corse.

J'utilise un formulaire d'envoi d'infos et d'un fichier image, avant d'enregistré le fichier, je filtre son nom en utilisent preg_replace pour enlever les caractères accentuées. Mais avec utf8 sa ne ce passe pas bien du tout, par exemple pour un ï, j'obtien 'ei' je croi. Donc je pense bien que sa viens du jeu.
Alors j'ai utiliser la fonction utf8_decode avant de passer la chaine à mon filtre mais là non plus sa ne va pas, le ï disparait tout simplement.
Alors ou php est mal fichu pour géré l'encodage, d'ailleurs j'ai lu un vieille article la dessus.
Ou bien les données du formulaires sont dans un autre encodage ..?
Ou bien autre chose. 8O
A oui, j'ai lue que l'on pouvais utiliser les regex en mode UTF-8 en entourant l'expression de
/.../u
Mais sans succet.
Une idée ? :ccool:

Es-tu bien du début à la fin en uft8?
Un truc comme ca affiche quoi chez toi ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/REC-html40/strict.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
</head>
<body>
<form method="post">
    <input type="text" name="text" value="&euro;&euml;&copy;&#x2661;">
    <input type="submit" name="Submit" value="Submit">
</form>
<?php
echo  $_POST['text'];
?>

28/08/2009, 15h38
dawadam

Mon éditeur (netBeans) enregistre en UTF-8, c'est pour sa que je suis passé à cet encodage.

Ton code m'affiche correctement les caractères:
€ë©♡
Dans l'input et après réception post.
28/08/2009, 15h43
Zwiter

Donc le probleme ne vient ni du formulaire, ni du navigateur qui traite corectement le header de charset.

Ca doit venir de ton script...
Bon courage !
Z.

Alors je me suis dit, et si sa venais du nom du fichier, il pourais avoir un encodage différent, qui sais ..
Mais j'ai fait d'autre tests et sa ne marche déjà pas en passent par un input text.
Voici le code (à enregistrer en UTF-8 bien sûr) pour ceux que sa intéresse.
Je précise que le filtre n'est pas de moi (la bonne excuse), mais récupéré sur un site.
Je précise aussi qu'en codage windows-1252 (avec balise meta correspondante) le filtre fonctionne, donc... :cfou:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 <?php function fileNameFilter($in) { $search = array ('@[éèêëÊË]@i','@[àâäÂÄ]@i','@[îïÎÏ]@i','@[ûùüÛÜ]@i','@[ôöÔÖ]@i','@[ç]@i','@[ ]@i','@[^a-zA-Z0-9_.]@'); $replace = array ('e','a','i','u','o','c','_',''); return preg_replace($search, $replace, $in); } ?> <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/REC-html40/strict.dtd"> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> </head> <body> <form method="post"> <input type="text" name="text" value="aïda"> <input type="submit" name="Submit" value="Submit"> </form> <?php if(isset($_POST['text'])){ // reception direct print "reception direct <b>".$_POST['text']."</b><br/>"; // decode utf8 puis filtre $dec = utf8_decode($_POST['text']); $filtre = fileNameFilter($dec); print "decode filtre <b>".$filtre."</b><br/>"; // réencode après filtrage $filtreUtf8 = utf8_encode($filtre); print "filtre encode <b>".$filtreUtf8."</b><br/>"; // reception direct filtrée $filtreBase = fileNameFilter($_POST['text']); print "base filtre <b>".$filtreBase."</b><br/>"; } ?>

Pourquoi tu n'encode pas les données de l'input ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
function fileNameFilter($in) {
	$search = array ('@[éèêëÊË]@i','@[àâäÂÄ]@i','@[îïÎÏ]@i','@[ûùüÛÜ]@i','@[ôöÔÖ]@i','@[ç]@i','@[ ]@i','@[^a-zA-Z0-9_.]@');
	$replace = array ('e','a','i','u','o','c','_','');
	return preg_replace($search, $replace, $in);
}

$html ='
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/REC-html40/strict.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
</head>
<body>
<form method="post">
    <input type="text" name="text" value="'.utf8_encode('aïda').'">
    <input type="submit" name="Submit" value="Submit">
</form>';
print_r($html);

if(isset($_POST['text'])){
// reception direct
print  "reception direct <b>".$_POST['text']."</b><br/>";
// decode utf8 puis filtre
$dec =  utf8_decode($_POST['text']);
$filtre = fileNameFilter($dec);
print  "decode filtre <b>".$filtre."</b><br/>";
// réencode après filtrage
$filtreUtf8 = utf8_encode($filtre);
print  "filtre encode <b>".$filtreUtf8."</b><br/>";
// reception direct filtrée
$filtreBase = fileNameFilter($_POST['text']);
print  "base filtre <b>".$filtreBase."</b><br/>";
}

On y voit plus clair...

29/08/2009, 17h53
dawadam

Drôle d'idée 8O
Que j'encode avant (qui parais irréalisable vu que c'est une info de l'utilisateur) ou après, il ne devrai pas y avoir de différence.

Citation:

Envoyé par John Blobsmith

On y voit plus clair...

Sa ve dire que tu as testé et que sa marche ?
Je ne peut pas m'empêcher de douter..

Bien, sa ne marche pas, mais je sais ce qui t'as fait penser que sa avait marché, ton fichier source n'a pas du être encodé en utf8, tout simplement car c'est là le font du problème.
Sans vouloir vexer personne, pour travailler sur l'encodage encore faut il savoir en quel format on enregistre. Ya notepad++ qui fait sa très bien et pleins d'autres choses.
Quant à moi je vais finir par lâcher l'affaire en partant du principe que php fait n'importe koi avec les encodages .. :aie:
30/08/2009, 12h18
Zwiter

Au boulot, j'utilise aussi l'utf8.
Je regarderai demain, mais a priori, ca devrait fonctionner car j'avais tester avec un ï (il me semble).
Je te redis ca...
Z.

Apres une petit recherche sur google, je te conseille d'utiliser la fonction suivate :
Code:

1 2 3 4 5 function fileNameFilter_bis($in) { $search = explode(",","ç,æ,œ,á,é,í,ó,ú,à,è,ì,ò,ù,ä,ë,ï,ö,ü,ÿ,â,ê,î,ô,û,å,e,i,ø,u"); $replace = explode(",","c,ae,oe,a,e,i,o,u,a,e,i,o,u,a,e,i,o,u,y,a,e,i,o,u,a,e,i,o,u"); return str_replace($search, $replace, $in); }
Je t'explique :
L'utf8 code sur 8 bits au lieu de 4. il en result que pour le preg_replace, chaque caractère accenté en vaux 2. Comme tu utilises des classes de caractères [ï], c'est en faite 2 caractères qui sont dedans, d'ou l'apparition de ei pour le ï.

Avec la technique ci-dessus, tu dis de remplacer ce que vaux ï pour le script par i, donc tout va bien :).

Je te laisse adapter pour reduire la casse (strtolower par exemple ;) )

Une autre technique vise a remplacer ces caractères par leur valeur html (genre é => é), et de ne récuperer que le 2eme caractère qui devrait etre à chaque fois le caractère sans accent.

Z.

31/08/2009, 11h18
dawadam

Excuse moi mais j'ai bloqué sur la 2ème ligne de ta réponse

Citation:

L'utf8 code sur 8 bits au lieu de 4

D'après ce que je sais l'UTF8 n'a pas une taille de bits fixe, sa dépend du caractère, c une de ses caractéristiques particulière.

Citation:

Envoyé par wikipedia

Chaque caractère est codé sur une suite d'un à quatre octets

En tout cas merci, sa va malgré tout sans doute m'éclairer, quoi que...

:arf:
31/08/2009, 11h46
Zwiter
En gros, un caractère ascii normal utilise une case. Un caractère ascii accentué utilise 2 cases.

Pour le code que je te propose :
ï signifie 2 caractères, mettons ie (c'est sans doute faux, mais a titre d'exemple)
- @[ï]@ signifie donc [ie]. Quand tu fais ton preg_replace, tu va donc considerer chaque caractères i puis e, au lieux de les considerer ensemble, et les remplacer chacun individuellement.
- 'ï' signifie en faite 'ei', donc le preg_replace va rechercher les couples ei, et les remplacer par i.
Z.
31/08/2009, 11h55
dawadam

Ok, mais si je doit prendre sa en compte, faut que je rentre a font dans les détailles de l'encodage et des fois il n'y aura surement pas de correspondance comme avec "ei"; En plus c'est du bidouillage.
Non, si je ne trouve pas, je reviendrai à mon encodage précédent, qui est compris par défaut en php.
On ce demande à quoi sert la fonction utf8_decode() si elle me renvoi pas l'encodage par défaut de php...
31/08/2009, 12h25
Zwiter

C'est simple en faite : suffit d'avoir un tableau avec les caractères originaux, et leur traduction dans un autre tableau.
C'est ce qui est fait indirectement via le explode.
Donc tu te retrouve avec 2 tableaux contenant le meme nombre de cases, et dont les index correspondent.
31/08/2009, 12h31
dawadam

Merci de ton aide Zwiter, sa semble une bonne idée.
J'ai juste du mal à me contraindre à passer par de tels méthodes.

:hola: Ohh dieu de l'encodage, merci de m'avoir éclairé (de ta lueur bienfaisante).
Si quelqu'un perd la foie dans l'encodage et qu'il ce retrouve ici, voici son salut:

Pour résoudre un problème d'encodage, il faut ce demander tout le temps, "dans quel encodage est cette chaine?" (révélation n°1).
mb_detect_encoding() est la fonction php donnant l'encodage d'une chaine, il faut la parramétrer pour qu'elle soie stricte et on peut donner ses encodages aussi. Par exemple:
mb_detect_encoding($chaine, "UTF-8,ISO-8859-1,ISO-8859-9", true);

Dans le cas, de l'utilisation de preg_replace, on peut très bien utiliser utf8_decode() pour ce simplifier la vie (car on peut aussi utiliser des masques en mode utf-8 en principe), il ne faut juste pas oublier de décoder aussi les masques de recherche (révélation n°2), puisqu'ils sont enregistré au format du fichier php et donc UTF-8 dans mon cas.
Code:

1 2 3 4 5 6 7 8 9 10 11 function fileNameFilter($in) { $search = array (utf8_decode('@[éèêëÊË]@i'),utf8_decode('@[àâäÂÄ]@i'),utf8_decode('@[îïÎÏ]@i'),utf8_decode('@[ûùüÛÜ]@i'),utf8_decode('@[ôöÔÖ]@i'),utf8_decode('@[ç]@i'),utf8_decode('@[ ]@i'),utf8_decode('@[^a-zA-Z0-9_.]@')); $replace = array ('e','a','i','u','o','c','_',''); return preg_replace($search, $replace, $in); } // réception formulaire, decode utf8 puis filtre $dec = utf8_decode($_POST['text']); $filtre = fileNameFilter($dec); print "decode filtre <b>".$filtre."</b><br/>";