Problème d'encodage d'un fichier XML

Version imprimable

Bonjour,
J'ai un problème au niveau d'encodage d'un fichier XML; il est comme suit :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
<?xml version="1.0" encoding="UTF-8"?>
<table xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:noNamespaceSchemaLocation="../xsd/database.xsd" name="btk_itfrisd" delta_module="SPF"
    data_migration_table="false" configuration_table="false" version="10.0.38"
    evolution="V100-SPF-042">
    <description lang="fr">BTK Ã¢ÂÂ Interface Ã¢ÂÂ dÃÂ©claration des risques (dÃÂ©tail)</description>
    <column name="CLI" column_id="1" type="CHAR" size="15" primaryKey="true" primaryKeyType="index">
        <description lang="fr">Code client soumis ÃÂ* dÃÂ©claration</description>
    </column>
    <column name="DDECL" column_id="2" type="DATE" size="7" primaryKey="true" primaryKeyType="index">
        <description lang="fr">Date de derniÃÂ¨re dÃÂ©claration</description>
    </column>
    <column name="MONT" column_id="3" type="NUMBER" size="19" scale="4">
        <description lang="fr">Montant total dÃÂ©clarÃÂ©</description>
    </column>
    <column name="ncred" column_id="4" type="CHAR" size="4" primaryKey="true" primaryKeyType="index">
        <description lang="fr">Code forme de crÃÂ©dit</description>
    </column>
    <foreign-key foreignTable="btk_itfris" relation_type="parent">
        <reference foreign="cli" local="cli"/>
        <reference foreign="ddecl" local="ddecl"/>
    </foreign-key>
    <foreign-key foreignTable="bkcli" relation_type="customer_axis_recursion">
        <reference foreign="cli" local="cli" isinterbranch="Ignore"/>
    </foreign-key>
</table>

Vu l’entête du fichier il est encoder avec UTF-8, mais quand je met la commande " file -i "monfichier.xml" " ça m'affiche rien " btk_itfrisd_Converti1.xml: " avec deux points, et c'est à cause des caractères spéciaux qui sont dans le fichier XML, voilà je voudrais savoir s'il ya pas moyen de modifier et remplacer ces caractères spéciaux ( J'ai remarqué aussi que c'est juste pour les accents)

Merci pour votre aide

18/07/2012, 10h30
Faible37

Suite

Et j'ai remarqué aussi que le fichier qu'on je l'ouvre avec par exemple "PSPad" un éditeur de texte ou un autre , ça m'affiche plus ces caractères spéciaux, donc voilà je trouve sa bizarre et je sais pas pourquoi

Merci
18/07/2012, 11h24
frp31

c'est une histoire d'encodage donc un éditeur "intelligent" il sait interpréter les caractères spéciaux.
dans vi ou le shell ou autre ils apparaissent tels que réels.
c'est comme quand on passe un fichier windows vers unix si il est pur texte, on trouve des ^M partout...

tu peux faire un traitement sur le fichier avec sed ou tr ou ce que tu as l'habitude d'utiliser pour ne plus être géné.
18/07/2012, 11h55
Faible37

Suite

Merci pour votre réponse, comment sa marche ce traitement car c'est la première fois que j'utilise gvim et je ne sais pas comment faire ?

Merci bcp pour votre aide
18/07/2012, 14h19
Faible37

Suite

Je viens de comprendre ce que tu m'as répondu en fait sr le fait que je peux utiliser un autre éditeur sur unix mais c'est sa le problème pour moi je veux utiliser que Gvim donc voilà je sais pas quoi faire pur qu'il m'affiche pas ces caractères spéciaux ou si il ya une commande ou un script qui fait l'affaire SVP

Merci par avance
18/07/2012, 17h19
Faible37

help

Il y'a personne qui peut m'aider là SVP c'est un peu urgent !!!
19/07/2012, 08h58
frp31

par exemple

Code:

:1,$ s/^M//g

qui se tape dans l'ordre

[ESC]:1,$[SPC]s/[CTRL+V][ENTER]//g[ENTER]

c'est tjrs
[CTRL+V][le_caractère_spécial]
19/07/2012, 09h41
Faible37

Suite

Oui cette commande je la connais, le problème, c'est que je cherche un moyen pour enlever tous ces caractères spéciaux (Ã©,~@~S, ... voir fichier ci-dessous) et les remplacer et les corriger et ne pas le faire un par un.
Et aussi si je sais l'alphabet exact qui se cache derrière ces caractères spéciaux sa serai génial si vous avez une idée SVP

Merci
19/07/2012, 09h54
zipe31

Salut,

Voir : UTF-8 et Linux
19/07/2012, 10h03
Faible37

Réponse

Merci pour ta réponse, j'ai lu cet article, mais le problème persiste encore car j'ai utilisé la commande " set fileencoding=utf-8 " pour convertir en UTF-8 mais ca marche pas, par ce que je pense que le problème et dans le format du fichier XML en fait quand j’exécute la commande pour savoir quel format il a je me retrouve avec blanc ( file -i "le nomfichier" ==> il me donne blanc ) ??? et je sais pas quoi faire merci pour votre aide
19/07/2012, 10h05
Faible37

Suite

Ou sinon le problème dans l'éditeur GVIM qui interprète mal et dans ce cas là je sais pas si vous avez une solution merci bcp
19/07/2012, 10h15
zipe31

Tu peux mettre ton fichier en pièce jointe histoire de tester en live ce que sa donne ?
19/07/2012, 10h19
Faible37

1 pièce(s) jointe(s)

Suite

Tu peux le copier, je l'ai mi dans la 1 ère discussion, mais je le mets en fichier joint aussi si tu veux.
Merci infiniment
19/07/2012, 10h21
Faible37

Suite

Donc si tu l'ouvre avec un éditeur genre PSPad sa marche nickel si je l'ouvre avec GVIM il m'affiche des caractères spéciaux voilà le problème en gros
Merci encore
19/07/2012, 10h57
zipe31
Ton fichier est bien au format "utf-8" :
Code:

1 2 $ file -i btk_itfrisd.xml btk_itfrisd.xml: application/xml; charset=utf-8
Par contre sa conversion en latin-1 se passe mal :
Code:

1 2 $ iconv -f utf-8 -t iso-8859-1 < btk_itfrisd.xml > 8859.xml iconv: séquence d'échappement non permise à la position 334
Ça me donne un fichier en ascii qui s'arrête prématurément au caractère 334 :?
Code:

1 2 $ file -i 8859.xml 8859.xml: application/xml; charset=us-ascii
La ligne incriminée est celle-ci :

Code:

<description lang="fr">BTK – Interface – déclaration des risques (détail)</description>

Le caractère 334 est l'espace (visible mais apparemment suivi d'un caractère non-imprimable ou de contrôle) après BTK et qui peut être fiche le bazar :aie:

Désolé, mais mes compétences en matière d'encodage de fichier ne me permettent pas de t'aider davantage :(
19/07/2012, 11h21
Faible37

Suite

Merci pour ces précision , mais mon souci c'est bien au départ , moi je veux pas le convertir en ISO859-1 mon souci est quand je l'ouvre avec un éditeur comme GVIM, WORDPAD, GEDIT, ...) sa m'affiche des caracteres spéciaux bizzard genre les accents--> 'Ã©' et les espaces --> €“ ainsi les tirets --> â sont mal interprétés)
19/07/2012, 11h53
zipe31

Citation:

Envoyé par Faible37

Merci pour ces précision , mais mon souci c'est bien au départ , moi je veux pas le convertir en ISO859-1 mon souci est quand je l'ouvre avec un éditeur comme GVIM, WORDPAD, GEDIT, ...) sa m'affiche des caracteres spéciaux bizzard genre les accents--> 'Ã©' et les espaces --> €“ ainsi les tirets --> â sont mal interprétés)

J'ai bien compris que ton soucis était au départ. Ce que je voulais savoir c'est si c'était un problème d'encodage qui posait problème, d'où mes tests vu que ton fichier d'origine est bien en utf-8.

D'ailleurs quelles sont tes locales sur ton système ? (locale)
Et quel système aussi tant qu'on y est ?

Peut être aussi que les voyages de ton fichier entre plusieurs systèmes et plusieurs programmes ne facilitent pas la chose :?
19/07/2012, 14h24
Faible37

Suite

Donc je comprends que le soucis n'est pas un problème d'encodage ?
Sion je n'ai pas compris ta demande " le local de mon système" et comment puis je l'avoir lui et le typde de système que tu mas demandé
Enfin si tu peux m'expliquer aussi tu veux dire quoi par que le fichier a pu subir des modifications au cours de la route ? et si c'est vraiment un impact considérable sur la lecture du fichier à la fin ...

Merci pour l’intérêt

Pour le système : Unix ? GNU/Linux ? BSD ? etc. et lequel (version, distribution) ?

Pour les locales, c'est comment est configuré ton système, par exemple chez moi (GNU/Linux) la commande "locale" donne :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 $ locale LANG=fr_FR.UTF-8 LANGUAGE= LC_CTYPE="fr_FR.UTF-8" LC_NUMERIC=fr_FR.UTF-8 LC_TIME=fr_FR.UTF-8 LC_COLLATE="fr_FR.UTF-8" LC_MONETARY=fr_FR.UTF-8 LC_MESSAGES="fr_FR.UTF-8" LC_PAPER=fr_FR.UTF-8 LC_NAME=fr_FR.UTF-8 LC_ADDRESS=fr_FR.UTF-8 LC_TELEPHONE=fr_FR.UTF-8 LC_MEASUREMENT=fr_FR.UTF-8 LC_IDENTIFICATION=fr_FR.UTF-8 LC_ALL=
Quant aux voyages, je voulais dire si tu ouvres et édites ton fichiers sur plusieurs systèmes différents (Windows, Unix, Mac), comme chacun a sa propre façon d'écrire ses fins de lignes, forcément si tu t'amuses à les trimbaler d'un système à l'autre, ça créé des problèmes :-(

Suite

Pour le locale:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
LANG=fr_FR.iso88591
LC_CTYPE="fr_FR.iso88591"
LC_NUMERIC="fr_FR.iso88591"
LC_TIME="fr_FR.iso88591"
LC_COLLATE="fr_FR.iso88591"
LC_MONETARY="fr_FR.iso88591"
LC_MESSAGES="fr_FR.iso88591"
LC_PAPER="fr_FR.iso88591"
LC_NAME="fr_FR.iso88591"
LC_ADDRESS="fr_FR.iso88591"
LC_TELEPHONE="fr_FR.iso88591"
LC_MEASUREMENT="fr_FR.iso88591"
LC_IDENTIFICATION="fr_FR.iso88591"
LC_ALL=

et pour le système est un GNU/Linux aussi

19/07/2012, 16h15
zipe31

Bon ben tout porterait à croire que ton problème vient de l'encodage de ton système (iso-8859-1) et de celui des fichiers (utf-8).

Pour étayer, voilà l'inverse chez moi (système en utf-8 et un fichier en iso-8859-1) :

Citation:

$ file -i fichier
fichier: text/plain; charset=utf-8

$ cat fichier
éèàêïù

On converti en iso-8859-1 :

Citation:

$ iconv -f utf-8 -t iso-8859-1 < fichier > iso_8859-1

$ file -i iso_8859-1
iso_8859-1: text/plain; charset=iso-8859-1

$ cat iso_8859-1
��

$
19/07/2012, 16h50
Faible37

Suite

Tu crois qu'il faut que je change mes variables Locales en ISO....

Merci infiniment
19/07/2012, 16h54
Faible37

Suite
Comment je peux changer le locale de mon système ? C'est comme sa
Code:

1 2 Export Locale="fr_FR.UTF-8"
Merci bcp
19/07/2012, 17h38
Faible37

Suite
C'est bon j'ai trouvé c'est
Code:

1 2 Export LANG=fr_FR.UTF-8
Merci beaucoup pour votre aide
19/07/2012, 17h55
Faible37

Solution

C'est bon ça marche avec cette modification donc c'était juste un problème de configuration du système .

Merci infiniment pour ton aide et à bientôt