Discussion :

[chenwaZi]

Bonjour,

Je suis entrain de travailler sur le fichier ci-dessous. (il s'agit de quelque fonction pour manipuler une fichie xml)
http://nlp.lsi.upc.edu/awn/AWNDatabaseManagement.py.gz
et il prend comme entré ce fichier
http://nlp.lsi.upc.edu/awn/awn.xml.gz

Il est écris en 2008 avec python2 et je veux le transformer en pyhton3 sachant que J'ai utiliser le 2to3 et j'ai eu un résultat parfait. Mais, quand j'ai exécuté l'erreur ci-dessous a apparu sachant que le fichier s’exécute parfaitement avec python2.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
('processing file ', 'awn.xml')
<_io.TextIOWrapper name='awn.xml' mode='r' encoding='cp1252'>
Traceback (most recent call last):
  File "D:\Projets\Python\awnman.py", line 402, in <module>
    loadAWNfile(opts['i'])
  File "D:\Projets\Python\awnman.py", line 372, in loadAWNfile
    p.ParseFile(ent)
  File "D:\Logiciel\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\encodings\cp1252.py", line 23, in decode
    return codecs.charmap_decode(input,self.errors,decoding_table)[0]
UnicodeDecodeError: 'charmap' codec can't decode byte 0x90 in position 100: character maps to <undefined>

Quelqu'un me dit s'il vous plais de quoi il s'agit?

[IPreferCSharp]

Bonjour, c'est probablement une erreur d'encodage.

C'est une des principales amélioration sur Python3 par rapport à Python2, la gestion de l’Unicode.
Or l'exception levée est : UnicodeDecodeError
Et elle est lancée ici : "D:\Logiciel\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\encodings\cp1252.py"

Dans l'ouverture de ton fichier tu utilise encoding='cp1252', essaye peut-être en UTF-8

[chenwaZi]

j'ai ajouté

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

# -*- coding: utf-8 -*-

mais rien

[tyrtamos]

Bonjour,

Juste une petite précision...

Quand on indique en haut d'une page de code Python "# -*- coding: utf-8 -*-", on informe Python de l'encodage du fichier pour savoir lire les textes écrits en "dur" dans la page, mais il faut que ce soit vrai! C'est à dire que l'éditeur de texte utilisé a bien été configuré pour écrire et enregistrer le script avec cet encodage.

Quand on ne sait pas, on peut tâtonner, mais on peut aussi utiliser un éditeur comme notepad++ sous Windows (ou équivalents sous autres OS) qui reconnait souvent l'encodage au chargement, et qui permet de le changer comme on veut.

[wiztricks]

j'ai ajouté

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

# -*- coding: utf-8 -*-

mais rien

L'erreur n'est pas au lancement du script (que Python lit bien) mais dans le traitement du fichier XML.

- W

[chenwaZi]

Merci pour l’information
Mais je ne connais toujours pas comment faire

[IPreferCSharp]

Quand je disais "à l'ouverture de ton fichier" je parlai de ton fichier XML.

Il y a ça dans ton exception :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

name='awn.xml' mode='r' encoding='cp1252'

[chenwaZi]

Mais le programme s’exécute parfaitement avec python 2 donc j'assume qu'il'a y quelque chose dans le programme et non pas dans le fichier XML

[IPreferCSharp]

Ton fichier contient des caractères arabes. CP1252 ne sais pas les lires

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
>>> with open("C:\\Users\\toto\\Desktop\\awn.xml", 'r', encoding="UTF-8") as ff:
	for line in ff:
		print(line)
 
 
<wordnet version="20">
 
<item itemid="$A}ik_Aljilod_n1AR" offset="102231121" lexfile="" name="شائِك الجِلْد" type="synset" headword="" POS="n" source="" gloss="" authorshipid="1" />
 
<authorship author="musa" date="20070608" score="" comment="" covering="1" authorshipid="1" />
 
...

[wiztricks]

Mais le programme s’exécute parfaitement avec python 2 donc j'assume qu'il'a y quelque chose dans le programme et non pas dans le fichier XML

Si vous assumiez, vous testeriez:
open('awl.xml', encoding='cp1252').read() vs open('awl.xml', ncoding='utf-8').read()...

- W