[iconv] Script pour convertir projet entier en UTF-8

Bonjour,

J'ai un projet assez conséquent à convertir en UTF-8. Je suis sur Mac.

Le projet initial est encodé est ISO-8859-1, toutefois, certains fichiers sont en US-ASCII par exemple.

J'ai trouvé un script bash assez intéressant sur le net, utilisant iconv pour la conversion, mais je voudrais le personnaliser pour qu'il prenne en compte automatiquement l'encodage initial de chaque fichier.

Le script initial :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34

#/bin/bash # # iconv-inplace.sh # Does recursive charset conversion using iconv # # Copyright (c) 2009 Onlime Webhosting, Philip Iezzi # http://www.onlime.ch   ###### Configuration ###### FROM_CHARSET="ISO-8859-1" TO_CHARSET="UTF-8" ###########################   # Validate args STARTDIR="$1" if [ -z "$STARTDIR" ] then echo "Usage: $0 <directory>" echo "where: <directory> is the directory to start the recursive UTF-8 conversion." exit 1 fi   LIST=`find $1 -name "*.php"` for i in $LIST; do file -I $i; read -p "Convert $i (y/n)? " if [ "$REPLY" == "y" ] then iconv --from-code=$FROM_CHARSET --to-code=$TO_CHARSET $i > $i."utf8"; mv $i."utf8" $i; fi echo ""; done

---

Ce script est une bonne base, mais le principal inconvénient est que l'encodage initial doit obligatoirement être définit dans le script (FROM_CHARSET="ISO-8859-1").

Je souhaiterais savoir comment "détecter" automatiquement l'encodage du fichier initial, j'ai fait ça, mais ça ne marche pas :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

LIST=`find $1 -name "*.php"` for i in $LIST; do file -I $i; CONVERT_TO = `file --mime-encoding $i` read -p "Convert $i to $CONVERT_TO (y/n)? " if [ "$REPLY" == "y" ] then iconv --from-code=$FROM_CHARSET --to-code=$CONVERT_TO $i > $i."utf8"; mv $i."utf8" $i; fi echo ""; done

---

En gros, à chaque itération je souhaite récupérer dans la variable CONVERT_TO l'encodage du fichier initial.
Ainsi, dans la commande iconv, je remplace la variable "FROM_CHARSET" par "CONVERT_TO"...

Seulement voilà, j'ai une erreur à l'éxecution du script :

Code:

---

CONVER_TO: command not found

---

Quelqu'un pourrait m'aider à ce sujet? j'imagine que la solution est assez simple mais vu que je suis débutant en BASH, j'ai du mal à trouver...

Merci d'avance
Simon
:ccool:

Salut,

Code:

---

<s>CONVERT_TO = `file --mime-encoding $i`</s>

---

Il y a des espaces en trop autour du signe égale :(

Code:

---

CONVERT_TO=`file --mime-encoding $i`

---

;)

Bonjour et merci pour ta réponse,

Effectivement c'est bien ça, comme quoi ça se joue à pas grand chose parfois...

Une dernière question, la commande

Code:

---

file --mime-encoding /path/to/file

---

retourne :

Code:

---

/path/to/file: us-ascii

---

Comment récupérer uniquement la partie us-ascii du résultat pour pouvoir utiliser la valeur dans iconv ?

Encore merci!
:ccool:

Quel système ?
Quelle version de file ?

As-tu regardé les options dans le "man file" ?

Sinon tu peux te servir de l'expansion des paramètres si ton bash le permet..

Code:

---

1 2 3 4 5

$ echo ${A} /path/to/file: us-ascii $ echo ${A#*: } us-ascii

---

;)

Parfait, c'est exactement ce que je souhaitais !

Je suis sur Mac donc unix et la solution que tu m'as donné semble fonctionnée.

Encore merci, je poste le script prochainement on sait jamais ça peut toujours servir ^^

Merci!

Salut Aidona, cela serai sympa de poster ton script :)

Avec quelques modifications, sur la meme base

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

#/bin/bash # # iconv-inplace.sh # Does recursive charset conversion using iconv # # Copyright (c) 2009 Onlime Webhosting, Philip Iezzi # <a href="http://www.onlime.ch" target="_blank">http://www.onlime.ch</a> # # source : <a href="http://www.developpez.net/forums/d1100462/systemes/autres-systemes/unix/shell-commandes-posix/bash-iconv-script-convertir-projet-entier-utf-8-mac-os-x/" target="_blank">http://www.developpez.net/forums/d11...tf-8-mac-os-x/</a>   ###### Configuration ###### TO_CHARSET="UTF-8" ###########################   # Validate args STARTDIR="$1" if [ -z "$STARTDIR" ] then echo "Usage: $0 <directory>" echo "where: <directory> is the directory to start the recursive UTF-8 conversion." exit 1 fi   LIST=`find $1 -name *` for i in $LIST; do file -i $i; FROM_CHARSET=`file -bi $i | sed -e 's/.*[ ]charset=//'` iconv --from-code=$FROM_CHARSET --to-code=$TO_CHARSET $i > $i."utf8"; mv $i."utf8" $i; done

---

Bonjour.

Bravo pour ce script!

3 petites remarques:
Lorsqu'un fichier ne comporte que des caractères ASCII (en gros, aucun caractère accentué), alors l'encodage détecté est US-ASCII. Sa conversion en UTF-8 ou ISO-8859-1 ne changera pas son contenu.

Dans le script, il me semble qu'il faudrait convertir uniquement les fichiers de texte, notamment sauter les binaires, les répertoires et les liens.

L'inconvénient d'utiliser une boucle 'for' sans changer IFS est qu'elle ne sait pas traiter les fichiers dont le nom comporte des espace, tabulation ou return.

voici une nouvelle version, un peu plus arrangée a ma sauce.
J'ai aussi prit en compte les remarques de jack (merci pour le retour).
- Exact pour les fichiers ne contenant pas d'accents, il n'y a pas de conversion.
- J'ai changé le filtre sur les fichiers.
- je pense que les fichiers avec des espaces devraient passer avec l'utilisation de quote autour de la variable.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39

#/bin/bash # # iconv-inplace.sh # Does recursive charset conversion using iconv # # Copyright (c) 2009 Onlime Webhosting, Philip Iezzi # <a href="http://www.onlime.ch" target="_blank">http://www.onlime.ch</a> # # source : http://www.developpez.net/forums/d1100462/systemes/autres-systemes/unix/shell-commandes-posix/bash-iconv-script-convertir-projet-entier-utf-8-mac-os-x/   ###### Configuration ###### TO_CHARSET="UTF-8"   #If repertory exists STARTDIR="$1" if [ -z "$STARTDIR" ] then echo "Usage: $0 <directory>" echo "where: <directory> is the directory to start the recursive UTF-8 conversion." exit 1 fi   LIST=`find $1 -type f ` for i in $LIST; do FROM_CHARSET=`file -bi "$i" | sed -e 's/.*[ ]charset=//'` if [ $FROM_CHARSET != "application/x-empty" ] then   iconv --from-code=$FROM_CHARSET --to-code=$TO_CHARSET "$i" > "$i"."utf8" 2>/dev/null if [ $? -eq 0 ] then mv "$i"."utf8" "$i" dos2unix -q "$i" else echo "ERROR on file `file -i \"$i\"`" fi fi done

---

Citation:

---

Envoyé par korrident

- je pense que les fichiers avec des espaces devraient passer avec l'utilisation de quote autour de la variable.

---

non non.

Dès que tu utilises 'for' sur le résultat d'un 'find', c'est foutu!
Le contenu de $i est mauvais.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

$ touch fichier\ avec\ espace   $ ls -1 fichier avec espace plop   $ find . -type f ./fichier avec espace ./plop   $ L=$(find . -type f)   $ echo "$L" ./fichier avec espace ./plop

---

Code:

---

1 2 3 4 5 6 7 8 9

$ for f in $L ; do echo "file: '$f'" ; done file: './fichier' file: 'avec' # ici il voit plusieurs fichiers :( file: 'espace' file: './plop'   $ for f in "$L" ; do echo "file: '$f'" ; done file: './fichier avec espace ./plop' # il voit une seule ligne pour tous les fichiers :(

---

Bonjour,

Ayant moi même besoin de ce type de script, j'y ai apporté quelques modifications :

• Je n'utilise plus find afin d'éviter le problème d'espace dans les noms de fichier
• J'utilise simplement une boucle for in *
• le for n'étant pas récursif, la récursivité est désormais réalisé par une fonction récursive
• Affichage du répertoire parent d'un fichier dans les messages d'erreur
• En cas d'erreur, suppression du fichier .utf8 éventuellement généré lors de la conversion

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48

#/bin/bash # # iconv-inplace.sh # Does recursive charset conversion using iconv # # Copyright (c) 2009 Onlime Webhosting, Philip Iezzi # <a href="http://www.onlime.ch" target="_blank">http://www.onlime.ch</a> # # source : http://www.developpez.net/forums/d1100462/systemes/autres-systemes/unix/shell-commandes-posix/bash-iconv-script-convertir-projet-entier-utf-8-mac-os-x/   ###### Configuration ###### TO_CHARSET="UTF-8"   #If repertory exists STARTDIR="$1" if [ -z "$STARTDIR" ] then echo "Usage: $0 <directory>" echo "where: <directory> is the directory to start the recursive UTF-8 conversion." exit 1 fi echo "Starting conversion"   recursiveScan(){ for i in *; do if test -f "$i" then FROM_CHARSET=`file -bI "$i" | sed -e 's/.*[ ]charset=//'` if [ "$FROM_CHARSET" != "binary" ] then iconv --from-code=$FROM_CHARSET --to-code=$TO_CHARSET "$i" > "$i"."utf8" 2>/dev/null if [ $? -eq 0 ] then mv "$i"."utf8" "$i" dos2unix -q "$i" else echo "ERROR on file `file -I \"$i\"` in `pwd \"$i\"`" rm "$i"."utf8" fi fi elif test -d "$i" then (cd $i; recursiveScan) fi done } (cd $1; recursiveScan)

---