Migration de python2 vers python3

Version imprimable

Bonjour,

Je suis entrain de travailler sur le fichier ci-dessous. (il s'agit de quelque fonction pour manipuler une fichie xml)
http://nlp.lsi.upc.edu/awn/AWNDatabaseManagement.py.gz
et il prend comme entré ce fichier
http://nlp.lsi.upc.edu/awn/awn.xml.gz

Il est écris en 2008 avec python2 et je veux le transformer en pyhton3 sachant que J'ai utiliser le 2to3 et j'ai eu un résultat parfait. Mais, quand j'ai exécuté l'erreur ci-dessous a apparu sachant que le fichier s’exécute parfaitement avec python2.
Code:

1 2 3 4 5 6 7 8 9 10 ('processing file ', 'awn.xml') <_io.TextIOWrapper name='awn.xml' mode='r' encoding='cp1252'> Traceback (most recent call last): File "D:\Projets\Python\awnman.py", line 402, in <module> loadAWNfile(opts['i']) File "D:\Projets\Python\awnman.py", line 372, in loadAWNfile p.ParseFile(ent) File "D:\Logiciel\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\encodings\cp1252.py", line 23, in decode return codecs.charmap_decode(input,self.errors,decoding_table)[0] UnicodeDecodeError: 'charmap' codec can't decode byte 0x90 in position 100: character maps to <undefined>
Quelqu'un me dit s'il vous plais de quoi il s'agit?

24/03/2017, 10h23
IPreferCSharp

Bonjour, c'est probablement une erreur d'encodage.

C'est une des principales amélioration sur Python3 par rapport à Python2, la gestion de l’Unicode.
Or l'exception levée est : UnicodeDecodeError
Et elle est lancée ici : "D:\Logiciel\WinPython-64bit-3.4.4.5Qt5\python-3.4.4.amd64\lib\encodings\cp1252.py"

Dans l'ouverture de ton fichier tu utilise encoding='cp1252', essaye peut-être en UTF-8
24/03/2017, 10h35
chenwaZi

j'ai ajouté

Code:

# -*- coding: utf-8 -*-

mais rien :calim2:
24/03/2017, 11h21
tyrtamos

Bonjour,

Juste une petite précision...

Quand on indique en haut d'une page de code Python "# -*- coding: utf-8 -*-", on informe Python de l'encodage du fichier pour savoir lire les textes écrits en "dur" dans la page, mais il faut que ce soit vrai! C'est à dire que l'éditeur de texte utilisé a bien été configuré pour écrire et enregistrer le script avec cet encodage.

Quand on ne sait pas, on peut tâtonner, mais on peut aussi utiliser un éditeur comme notepad++ sous Windows (ou équivalents sous autres OS) qui reconnait souvent l'encodage au chargement, et qui permet de le changer comme on veut.
24/03/2017, 11h47
wiztricks

Citation:

Envoyé par chenwaZi

j'ai ajouté

Code:

# -*- coding: utf-8 -*-

mais rien :calim2:

L'erreur n'est pas au lancement du script (que Python lit bien) mais dans le traitement du fichier XML.

- W
24/03/2017, 11h50
chenwaZi

Merci pour l’information :lol:
Mais je ne connais toujours pas comment faire :aie:
24/03/2017, 11h50
IPreferCSharp

Quand je disais "à l'ouverture de ton fichier" je parlai de ton fichier XML.

Il y a ça dans ton exception :

Code:

name='awn.xml' mode='r' encoding='cp1252'
24/03/2017, 12h03
chenwaZi

Mais le programme s’exécute parfaitement avec python 2 donc j'assume qu'il'a y quelque chose dans le programme et non pas dans le fichier XML 8-)

Ton fichier contient des caractères arabes. CP1252 ne sais pas les lires

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
>>> with open("C:\\Users\\toto\\Desktop\\awn.xml", 'r', encoding="UTF-8") as ff:
	for line in ff:
		print(line)
 
 
<wordnet version="20">
 
<item itemid="$A}ik_Aljilod_n1AR" offset="102231121" lexfile="" name="شائِك الجِلْد" type="synset" headword="" POS="n" source="" gloss="" authorshipid="1" />
 
<authorship author="musa" date="20070608" score="" comment="" covering="1" authorshipid="1" />
 
...

24/03/2017, 12h31
wiztricks

Citation:

Envoyé par chenwaZi

Mais le programme s’exécute parfaitement avec python 2 donc j'assume qu'il'a y quelque chose dans le programme et non pas dans le fichier XML 8-)

Si vous assumiez, vous testeriez:
open('awl.xml', encoding='cp1252').read() vs open('awl.xml', ncoding='utf-8').read()...

- W