Discussion :

[smed79]

Bonjour,
Je n'ai connais rien on programmation mais pour me faciliter la tâche à mettre a jour un projet (Liste Arabe Adblock Plus) sur le dépôt mercurial de google : http://code.google.com/p/liste-ar-ad...source/browse/. j'ai suivi un tutoriel pour qui nécessite l'installation de Python mais je suis bloquer quand je veux patcher le fichier modifier Liste_AR.txt parce qu'il contient des caractère en arabe et le fichier text est codé par défaut utf-8 !
voila le message d'erreur:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
D:\liste-ar-adblock>FOP.py
============================================
FOP (Filter Orderer and Preener) version 3.6
============================================
 
Primary location: D:\liste-ar-adblock\
Current directory: D:\liste-ar-adblock\
 
The following changes have been recorded by the repository:
Traceback (most recent call last):
  File "D:\liste-ar-adblock\FOP.py", line 398, in <module>
    start()
  File "D:\liste-ar-adblock\FOP.py", line 85, in start
    main(os.getcwd())
  File "D:\liste-ar-adblock\FOP.py", line 146, in main
    commit(repository, basecommand, originaldifference)
  File "D:\liste-ar-adblock\FOP.py", line 301, in commit
    print(difference.decode("utf-8"))
  File "C:\Python33\lib\encodings\cp850.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 215-221:
 character maps to <undefined>

merci pour votre aide.

[Sve@r]

Salut
Rajoute la ligne # -*- coding: utf-8 -*- sous #!/usr/bin/env python3. Elle indique justement à Python qu'il devra traiter de l'utf8 (qui est un standard permettant de coder des caractères exotiques comme l'arabe ou le cyrillique)

A titre d'exemple, ce code (en python2) lit parfaitement ton fichier

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
fp=open("Liste_AR.txt", "r")
for lig in fp:
	print lig
fp.close()

[mont29]

Humm…

Tout d’abord, la ligne # -*- coding: utf-8 -*- n’a à ma connaissance aucune influence dans la lecture d’un fichier, puisqu’elle ne spécifie que l’encodage du code source lui-même –*de plus, elle est superflue en py3, qui assume par défaut un encodage utf-8.

smed79, tu peux dire merci à Windows et à sa console, qui ne supporte toujours pas nativement l’utf-8… Ce qui se passe, c’est que quand tu fais print(difference.decode("utf-8")), print doit ré-encoder ton str (ou ton unicode si tu es en py2) dans l’encodage console, soit le cp850…

N’étant pas windowsien, je ne sais pas s’il y a des moyens (détournés) de forcer windows à comprendre l’utf-8 dans sa console, sinon tu peux toujours explicitement convertir ton texte en cp850, en remplaçant les caractères inconvertibles par des “?”, par exemple print(difference.decode("utf-8").encode("cp850", 'replace').decode("cp850")) en py3, c’est moche et l’affichage ne sera pas beau (plein de “?” à la place des beaux “ﺔﻴﺑﺮﻌﻟﺍ”), mais plus de bug…

[smed79]

Salut,
Comme dit mont29 # -*- coding: utf-8 -*- ne resolu pas le problème, apparemment c'est la faute de la console windows je vais tester sur Ubuntu et je revien vous dire j'ai quoi comme le résultat.

Merci pour votre aide

[smed79]

Finalement il faut juste supprimé la ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print(difference.decode("utf-8"))

Log : http://code.google.com/p/liste-ar-ad...path=%2FFOP.py

Merci

[smed79]

l'inconvénient d'avoir enlevé la ligne qui posait problème est que le résumé du commit ne s'affiche plus.

la solution c'est de remplacé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print(difference.decode("utf-8"))

par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print(difference.decode('ascii', 'ignore'))

Du coup, en le décodant en ASCII on oublie tous ces caractères-là, qui ne seront donc pas affichés, et on évite en outre d'afficher les erreurs dues à ces oublis grâce au paramètre d'erreur 'ignore'.

Merci a Crits