Discussion :

[MissElo]

Bonjour à tous!

Je rencontre des problèmes avec les caractères spéciaux (accents, apostrophe etc) lors de l'insertion en base et donc de l'affichage. En effet ça me retourne des �. J'en déduis donc que c'est un problème d'encodage avec mes données.

Pour résumer ma situation : je remplis une base de données Mysql avec un fichier csv par un script perl. Ensuite j'interroge la base avec des scripts PHP.
Après avoir lu plusieurs forums, j'ai vu qu'étant donné mes données, je devais utiliser l'encadage en UTF8. Voici les opérations que j'ai réalisées :

1. Au niveau du fichier csv
   Sous Excel, lorsque j'ai fait 'Enregistrer sous', je suis allée dans les options internet et j'ai forcé l'encodage en UTF-8.
   Pour être sûre que le fichier était bien en utf8, j'ai aussi fait cette commande Unix :
   

   iconv -f ISO8859-1 -t UTF-8 10-05-19-data.csv > 10-05-19-data_utf8.csv

2. Au niveau de la base Mysql
   Lorsque je créé ma base de données, j'utilise ce code :
   

   CREATE DATABASE `CI_DATABASE` DEFAULT CHARACTER SET utf8 COLLATE utf8_unicode_ci;

3. Au niveau du script perl
   

   my $dbh = DBI->connect($dsn, '$user', '$pwd');
   $dbh->{'mysql_enable_utf8'}=1;
   $dbh->do('SET NAMES UTF8');

   Pour insérer mes données en base, je leur applique la méthode quotemeta puis effectue ce genre de requete :
   

   $insertQuery = $dbh->do("INSERT INTO CI_DATABASE.Company(name,last_update,last_user,status,frequency,products) VALUES(\"$company\",\"$date\",\"$user\",\"$status\",\"$frequency\",\"$products\")");

4. Au niveau des scripts PHP
   

   header('Content-type:text/html;charset=utf-8');

   Et juste après la connexion à ma base de données :
   

   mysql_query("SET NAMES 'utf8'");

Résultats de tout ça :

• Dans mon fichier de données, les accents sont pris en compte mais pas les apostrophes (touche 4).
• Dans la base Mysql, les accents et les caractères spéciaux ne sont pas pris en compte et s'affichent comme tel : �.
• Par conséquent, dans mon interphace en PHP, les accents et caractères spéciaux ne sont pas bien affichés et encore mieux ils sont carrément effacés!

Je pense que le problème se trouve dans mon script perl permettant l'insertion en base mais je ne vois pas comment faire Si quelqu'un pouvait solutionner mon problème, j'en serai fort contente!

Merci d'avance!

[estofilo]

Pour être sûre que le fichier était bien en utf8, j'ai aussi fait cette commande Unix :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

iconv -f ISO8859-1 -t UTF-8 10-05-19-data.csv > 10-05-19-data_utf8.csv

C'est problématique parce que si fichier source est déjà en UTF-8, cette commande va corrompre les accents. Par exemple pour un caractère é, il va le transformer en à suivi de ©
En fait il ne faut faire cette manip que si tu es certaine que la source est bien en iso8859-1.

[MissElo]

Dans mon fichier de départ, nommé 10-05-19-data.csv, lorsque je fais un "more" de mon fichier les accents sont sous cette forme : �.
Alors que dans mon fichier construit à partir de la fonction iconv, nommé 10-05-19-data_utf8.csv, les accents apparaissent comme il faut.

Toutefois, j'ai essayé d'insérer mes données en base avec les 2 fichiers :

• Avec le fichier 10-05-19-data.csv
  Dès qu'un caractère spécial est rencontré (notamment les accents), la chaine de caractère est tronquée.
• Avec le fichier 10-05-19-data_utf8.csv
  La chaine de caractère n'est pas tronquée... seuls les caractères spéciaux sont effacés!

Quel que soit le fichier que j'utilise, les accents ne sont pas pris en compte... Je pense donc que ça ne vient pas de là.
Etant donné les résultats que j'obtiens, les "moins pire" étant obtenus avec le fichier 10-05-19-data_utf8.csv, je vais considérer que celui ci est bel et bien en utf8.

Une autre idée peut être?

[estofilo]

Dans mon fichier de départ, nommé 10-05-19-data.csv, lorsque je fais un "more" de mon fichier les accents sont sous cette forme : �.
Alors que dans mon fichier construit à partir de la fonction iconv, nommé 10-05-19-data_utf8.csv, les accents apparaissent comme il faut.

A mon avis il y a plusieurs sous-problèmes différents dans ton problème.

Pour le fichier CSV, vu le comportement de more, le fichier 10-05-19-data.csv est probablement au format windows-1252. (mais le comportement de more dépend de la locale de l'environnement unix et pas que du fichier lui-même).
Ca veut dire que la manip sous Excel pour enregistrer en UTF-8 ne fonctionne pas.
Ce n'est pas grave puisque iconv peut s'en charger. Au passage il serait préférable de spécifier à iconv windows-1252 comme encodage source au lieu de ISO-8859-1.
Cet encodage est assez voisin mais il diffère par des subtilités comme justement les apostrophes et guillemets "typographiques" qui sont utilisés par Word/Excel mais qui n'existent pas en ISO-8859-1.
La page wikipedia sur windows-1252 montre bien ces différences.

Ceci étant, ça ne va pas régler la question des accents. Au niveau du programme en Perl ce que tu décris est bien ce qu'il faut faire, à part pour quotemeta().
La méthode classique avec DBI pour les INSERT serait plutôt:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
my $sth = $dbh->prepare("INSERT INTO table(a,b,c) VALUES(?,?,?)");
$sth->execute($param1, $param2, $param3);

les paramètres étant directement les valeurs en utf8, sans aucun pré-traitement particulier.

Pour te former au codage Perl hésite pas à voir ces cours et tutoriels pour apprendre Perl : http://perl.developpez.com/cours/

[djibril]

Pour avoir l'habitude de faire des applications web perl cgi php etc, je procède différemment afin de ne jamais être embêté par les problèmes d'accents. Avant toute insertion dans mes bases de données via perl ou php, je converti les accents et caractères <, <, & et ' en code HTML. En php ou en perl, il est possible d'utiliser HTMLEntities, ensuite, il peut subsister quelques cas particulier de conversion à gérer.

[MissElo]

Merci à tous pour vos réponses si rapide!

@estofilo : je teste la conversion avec le format windows-1252 comme encodage source et je te tiens au courant.
Quant à l'insertion en base, j'avais en effet déjà vu cette manière d'insérer en base mais pensais que ma méthode était équivalente...
Je teste et te dis quoi.

@djibril : pas bête du tout ta méthode! Je vais tester mais je ne suis pas sûre que de convertir tous mes caractères spéciaux en code HTML aillent avec toute mon interface. En effet, à un moment donné, je créé un fichier PDF avec les données issues de la base. Du coup, les caractères en html ne vont pas être convertis non? A moins qu'il existe une fonction inverse pour htmlentities et dans ce cas, je l'utilisera dans le cas particulier de mon PDF

Avec vos solutions combinées, je pense y arriver! Je teste tout ça et je vous tiens au courant!