UTF8 quand tu nous tiens

Version imprimable

01/10/2012, 00h25
zoulou172

UTF8 quand tu nous tiens
Bonjour à tous :)

Bon je doit pas être le premier ni le dernier à avoir ce problème !

J'ai un site en UTF8, ma base en UTF8, les tables en UTF8 ect.. mais rien à faire, dans ma base de données j'ai des é a la place des é etc...alors que normalement je devrais bien avoir un é, à etc...

Avant que vous me demandez j'ai bien ceci dans mon header:

Code:

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

Connexion base:
Code:

1 2 3 $this->query("SET NAMES 'utf8'", $this->link_id); $this->query("SET CHARACTER SET 'utf8'", $this->link_id); $this->query("SET CHARACTER_SET_CONNECTION=utf8", $this->link_id);
Dans mon htaccess:

Code:

AddDefaultCharset utf-8

Je ne voie vraiment plus d'ou vient le problème là :(, si vous avez une idée je suis super preneur !

D'avance merci :)
01/10/2012, 08h32
Fench

Bonjour,

je suis pas un pro sur l'encodage, mais il me semble que tu as des caractères html à la place. Utilises html_entity_decode avant de mettre en base de données.
01/10/2012, 09h10
zoulou172

Bonjour Fench :)

J'ai essayer direct ta solution mais non toujours pas hélas :(

Je prend cette phrase comme exemple: J'ai testé

Avant le html_entity_decode cela me donner ceci en base :

Code:

j'ai testé

Et maintenant avec le html_entity_decode sa me donne:

Code:

j'ai test

Le é et même barrer :)

Franchement je désespère, j'arrive pas à trouver le problème !
01/10/2012, 09h18
rawsrc

Salut,

Citation:

Envoyé par zoulou172

je ne voie vraiment plus d'ou vient le problème là :(, si vous avez une idée je suis super preneur !

Trace ton code d'insertion en base et retire le htmlentities() qui doit sévir.
La base de données ne remplace rien d'elle-même
01/10/2012, 09h21
Fench

Comme je te l'ai dis, je suis pas trop doué alors je vais essayer des pistes:
Tu as dans ta ligne du code Html comme é et du code iso comme '

Ce que je ne comprends pas c'est que le ' de j'ai correspond à #130; :roll:

Re bonjour !

J'ai de la news, depuis un moment je me demande pas si sa vient pas des filtres en faite...

Filtres qui sont tirés par un CMS en faite

Avant l'insertion dans la base j'ai ce filtre function filtre():

Code:

1
2
3
4
5
 $string = filter_var($string, FILTER_SANITIZE_STRING);
      $string = trim($string);
      $string = stripslashes($string);
      $string = strip_tags($string);
      $string = str_replace(array('‘', '’', '“', '”'), array("'", "'", '"', '"'), $string);

J'ai aussi une class final donc je met le code entier:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
  final class Filter
  {
      public $get = array();
      public $post = array();
      public $cookie = array();
      public $files = array();
      public $server = array();
 
 
      /**
       * Filter::__construct()
       * 
       * @return
       */
      public function __construct()
      {
          $_GET = $this->clean($_GET);
          $_POST = $this->clean($_POST);
          $_COOKIE = $this->clean($_COOKIE);
          $_FILES = $this->clean($_FILES);
          $_SERVER = $this->clean($_SERVER);
 
          $this->get = $_GET;
          $this->post = $_POST;
          $this->cookie = $_COOKIE;
          $this->files = $_FILES;
          $this->server = $_SERVER;
      }
 
      /**
       * Filter::clean()
       * 
       * @param mixed $data
       * @return
       */
      public function clean($data)
      {
          if (is_array($data)) {
              foreach ($data as $key => $value) {
                  unset($data[$key]);
 
                  $data[$this->clean($key)] = $this->clean($value);
              }
          } else
              $data = htmlentities($data, ENT_QUOTES, 'UTF-8');
 
          return $data;
      }
  }

Alors je vient de faire ceci en faite, enlever ma function filtre de ma variable et aussi faire un simple return $data dans la class final comme ceci:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
  final class Filter
  {
      public $get = array();
      public $post = array();
      public $cookie = array();
      public $files = array();
      public $server = array();
 
 
      /**
       * Filter::__construct()
       * 
       * @return
       */
      public function __construct()
      {
          $_GET = $this->clean($_GET);
          $_POST = $this->clean($_POST);
          $_COOKIE = $this->clean($_COOKIE);
          $_FILES = $this->clean($_FILES);
          $_SERVER = $this->clean($_SERVER);
 
          $this->get = $_GET;
          $this->post = $_POST;
          $this->cookie = $_COOKIE;
          $this->files = $_FILES;
          $this->server = $_SERVER;
      }
 
      /**
       * Filter::clean()
       * 
       * @param mixed $data
       * @return
       */
      public function clean($data)
      {
 
 
          return $data;
      }
  }

Et là j'ai bien "j'ai testé" en base, mais bon d'ou vient le problème docteur ?

Merci pour votre aide :)

01/10/2012, 09h59
rawsrc

Citation:

Envoyé par zoulou172

Et là j'ai bien "j'ai testé" en base, mais bon d'ou vient le problème docteur ?

Il vient du fait que ton CMS fait un peu n'importe quoi avec les données reçues. Il est parano et du coup crée plus de problèmes qu'il n'en résout :
Ta classe filtre passe tout à la fonction :

Code:

$data = htmlentities($data, ENT_QUOTES, 'UTF-8');

Ensuite, il y a un autre problème beaucoup plus sérieux, c'est que ton CMS casse les chaînes textes :
Les fonctions str_* ne sont pas compatibles avec UTF-8. La seule qui le soit sans risque c'est trim()Alors quand tu fais :

Code:

$string = str_replace(array('‘', '’', '“', '”'), array("'", "'", '"', '"'), $string);

Tu as une probabilité non négligeable de corrompre ta chaine.

Change de CMS.
01/10/2012, 10h18
zoulou172
Merci rawsrc pour tes conseils !!!

Je vient de faire ceci déjà:

Enlever:

Code:

$string = filter_var($string, FILTER_SANITIZE_STRING);

Car lui aussi je me suis informer sur php.net fou le bordel...

J'ai aussi enlever:
Code:

1 2 $data = htmlentities($data, ENT_QUOTES, 'UTF-8');
Et remplacer tout simplement par un $data = $data (lol)

Tu en pense quoi ? je vient de d'insérer un "j'ai élevé lol" j'ai bien dans ma base la même phrase sans les tags car j'ai quand même toujours le strip_tags dans mon filtre..

Pour le reste str_replace je sais pas trop quoi faire en faite maintenant, mais mon site est écrit par moi même sinon, juste quelques functions pris à droite à gauche.
01/10/2012, 10h44
zoulou172

J'ai mis un htmlspecialchars() à la place du htmlentites pour infos

Allez on va reprendre :

Tu es en UTF-8 :
Pour sécuriser l'affichage dans le navigateur : c'est htmlspecialchars(ENT_QUOTES)
Pour sécuriser les entrées en base de données c'est $stmt = $pdo->prepare(sql);.
Code:

1 2 $hsc = function($p) { return htmlspecialchars($p, ENT_QUOTES, 'utf-8'); }; echo $hsc($variable);
Ensuite pour éviter les attaques sournoises liées aux bordel des encodages : j'utilise ceci qui me certifie que je n'ai à faire qu'à de l'utf-8 :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 protected function multibyteStringProtection() { $protect = function($p) { return mb_convert_encoding($p, 'UTF-8', 'UTF-8'); }; if (isset($_GET)){ array_walk_recursive($_GET, $protect); } if (isset($_POST)) { array_walk_recursive($_POST, $protect); } if (isset($_REQUEST)) { array_walk_recursive($_REQUEST, $protect); } if (isset($_COOKIE)) { array_walk_recursive($_COOKIE, $protect); } }
Le strip_tags() est plus embêtant qu'autre chose dans la mesure où si l'affichage est sécurisé : ce qui aura été saisi même avec des tags, sortira lol et ne pourra être interprété par le navigateur.

01/10/2012, 13h51
zoulou172

Re ;)

Je prend note, super intéressent tes conseils ! pour mon prochain projet je partirais sur cette base, et utiliser la pdo également que je n'utilise toujours pas...

Je pense que mon message pourras aider quelques uns, ont en voient souvent traiter ce problème, genre quel filtre avant l'insertion, quel filtre à l'affichage etc... moi le premier je mis perd, car il y a tellement de functions !!!!

Merci pour votre aide, je met le sjet sur Résolu ;)