Discussion :

[moimp]

Bonjour,
Quelqu'un de sympa m'avait fourni un script qui parcourait tous les fichiers d'un répertoire pour vérifier leur encodage et le convertir en utf-8. Malheureusement, suite à différentes mises à jour, j'ai perdu et le nom de la personne et le script.
La solution de reprendre un à un tous les fichiers d'un ou plusieurs projet avec mon éditeur préféré (Notepad++) est assez fastidieux sans compter les risques d'erreurs en manipulations répétitives.
Vous allez sûrement me dire que je pourrais le faire moi-même mais d'une part pourquoi refaire quelque chose qui existe et d'autre part, les problèmes d'encodage sont pleins d'écueils que j'aimerais éviter.
Au cas, où je devrais tout me palucher, je me pose la question de savoir s'il suffit de lire le contenu, détecter son codage, le convertir et le réenregistrer ou s'il faut faire autre chose.

[CosmoKnacki]

On ne peut pas détecter un encodage: tout ce qu'on peut faire c'est procéder par élimination, et encore, il existe des encodages qui ne sont pas différentiables.

Mais tu as de la chance dans ton malheur car l'un de tes encodages est l'utf-8 et comme l'utf-8 doit suivre certaines règles en ce qui concerne les octets utilisés et leur succession, il est facile de savoir qu'une chaîne ou un fichier n'est pas de l'utf-8. Il en va de même pour les encodages utf-16 et utf-32.

Reste à savoir dans quel(s) encodage(s) sont les fichiers que tu cherches à convertir. À toi de le dire.

Comptes-tu effectuer les conversions éventuelles en utilisant PHP? Disposes-tu d'une console linux?

[moimp]

La plupart du temps, il s'agit d'ASCII à encoder en utf-8. Non je ne dispose pas de console LINUX. Je pense effectivement utiliser php. Si mon fichier est en ASCII (ANSI), je le convertis, sinon, je ne fais rien. Je ne sais d'ailleurs pas quelle différence il y a entre ANSI et ASCII. Les infos sur le sujet ne sont pas très claires. Si je comprends bien ANSI est un terme impropre qui désigne une organisation et non pas un codage.
Est-ce que convertir un fichier c'est simplement convertir tout son contenu ou faut-il prendre d'autres choses en considération (FAT, BOM, etc.)?
Est-ce que mb_internal_encoding et mb_convert_encoding suffisent?

[Invité]

Bonjour,

...avec mon éditeur préféré (Notepad++)...

ATTENTION à ne pas confondre :

• Il ne s'agit pas d'"encoder en UTF-8", mais de "convertir en UTF-8" (sans BOM).

Du moins, quand on utilise Notepad++ !

@CosmoKnacki
Ainsi, il n'est (à priori) pas nécessaire de "détecter l'encodage" initial du fichier.


Par contre, je ne connais pas de script (PHP ou autre) qui fait ça automatiquement...

• mb_convert_encoding()
• mb_internal_encoding()

Mais ça parle d'une chaine, pas d'un fichier complet.

Il y a aussi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<?php header('Content-Type: text/html; charset=UTF-8');

... mais ça ne répond pas à la problématique.

[moimp]

ATTENTION à ne pas confondre :

• Il ne s'agit pas d'"encoder en UTF-8", mais de "convertir en UTF-8" (sans BOM).

Du moins, quand on utilise Notepad++ !

Exact

• mb_convert_encoding()
• mb_internal_encoding()

Mais ça parle d'une chaîne, pas d'un fichier complet.

Justement quelle est la différence? Si je lis la totalité du contenu avec file_get_contents, que je le convertis avec mb_convert_encoding et le réenregistre avec file_put_contents, ce n'est pas suffisant?

[Invité]

1- As-tu testé ?

N.B. Il y a aussi : mb_detect_encoding() ...
Là aussi, c'est pour une chaine...


2- J'ai testé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

file_put_contents($file, utf8_encode(file_get_contents($file)));

Il semblerait que ça fonctionne (le fichier est bien en UTF-8)...
...Sauf que ça "encode", au lieu de "convertir" : les lettres accentués sont modifiées en d'autres caractères.

• "à" -> "Ã*"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

file_put_contents($file, mb_convert_encoding(file_get_contents($file), 'UTF-8'));

Ici, les caractères accentués sont remplacés par des "?".

• "à" -> "?"

[CosmoKnacki]

En gros il faudrait faire ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
$encoding_list = ['UTF-32LE', 'UTF-32BE', 'UTF-16LE', 'UTF-16BE', 'UTF-8', 'WINDOWS-1252'];
$directory = 'path/to/your/files/';
$extensions = ['txt', 'csv'];
$backup_dir = 'path/to/your/files/backup/';
$backup_ext = 'bak';
 
$file_list = glob($directory . '*.{' . implode(',', $extensions) . '}', GLOB_BRACE);
 
foreach($file_list as $file) {
    $content = file_get_contents($file);
    $encoding = mb_detect_encoding($content, $encoding_list, true);
 
    if ( $encoding === 'UTF-8' )
        continue;
 
    $filename = substr(strrchr("/$file", '/'), 1);
 
    if ( copy($file, $backup_dir . $filename . '.' . $backup_ext) === false ) {
        echo 'impossible de copier ', $file, PHP_EOL;
        continue;
    }
 
    file_put_contents($file, mb_convert_encoding($content, 'UTF-8', $encoding) );
 
}

Garde à l'esprit que mb_detect_encoding est incapable de faire la différence entre deux encodages du type 1 byte = 1 caractère (pour la bonne raison que c'est impossible), donc je n'ai mis qu'un encodage de ce type dans la liste de détection: WINDOWS-1252, donc si tu vois que certains caractères, comme le e dans l'o et le symbole euro, ne sont pas correctement restitués, tente le coup avec ISO-8859-15 à la place (il faut remplacer, pas ajouter).

[moimp]

J'ai testé avec le script suivant. Effectivement, ça ne fonctionne pas (les fichiers ne sont pas convertis). Ce qui peut vouloir dire trois choses:

• J'ai une erreur dans mon code,
• Il ne suffit pas de convertir le contenu,
• Le dispositif d'encodage de Notepad++ ne vérifie pas l'encodage à chaque ouverture.

[Invité]

J'ai testé avec le script suivant...

• Quel script ?
• Quel(s) test(s) ?

A priori, le code de CosmoKnacki fonctionne, avec 'ISO-8859-15'.

J'ai testé sur un fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
<?php
$encoding_list = ['UTF-32LE', 'UTF-32BE', 'UTF-16LE', 'UTF-16BE', 'UTF-8', 'ISO-8859-15'];
 
$file = 'test-encode.php';
$content = file_get_contents($file);
$encoding = mb_detect_encoding($content, $encoding_list, true);
echo '$encoding : '.$encoding.'<br />';
if( $encoding != 'UTF-8' )
{
    file_put_contents( $file, mb_convert_encoding($content, 'UTF-8', $encoding) );
}
?>

Avec un fichier encodé en "ANSI" (avec Notepad++) :

• Le fichier est bien converti en UTF-8
• les caractères spéciaux (accentués,...) sont correctement restitués