Discussion :

[smed79]

Bonjour,
Je n'ai connais rien on programmation mais pour me faciliter la tâche à mettre a jour un projet (Liste Arabe Adblock Plus) sur le dépôt mercurial de google : http://code.google.com/p/liste-ar-ad...source/browse/. j'ai suivi un tutoriel pour qui nécessite l'installation de Python mais je suis bloquer quand je veux patcher le fichier modifier Liste_AR.txt parce qu'il contient des caractère en arabe et le fichier text est codé par défaut utf-8 !
voila le message d'erreur:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
D:\liste-ar-adblock>FOP.py
============================================
FOP (Filter Orderer and Preener) version 3.6
============================================
 
Primary location: D:\liste-ar-adblock\
Current directory: D:\liste-ar-adblock\
 
The following changes have been recorded by the repository:
Traceback (most recent call last):
  File "D:\liste-ar-adblock\FOP.py", line 398, in <module>
    start()
  File "D:\liste-ar-adblock\FOP.py", line 85, in start
    main(os.getcwd())
  File "D:\liste-ar-adblock\FOP.py", line 146, in main
    commit(repository, basecommand, originaldifference)
  File "D:\liste-ar-adblock\FOP.py", line 301, in commit
    print(difference.decode("utf-8"))
  File "C:\Python33\lib\encodings\cp850.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_map)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 215-221:
 character maps to <undefined>

merci pour votre aide.

[Sve@r]

Salut
Rajoute la ligne # -*- coding: utf-8 -*- sous #!/usr/bin/env python3. Elle indique justement à Python qu'il devra traiter de l'utf8 (qui est un standard permettant de coder des caractères exotiques comme l'arabe ou le cyrillique)

A titre d'exemple, ce code (en python2) lit parfaitement ton fichier

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
fp=open("Liste_AR.txt", "r")
for lig in fp:
	print lig
fp.close()

[mont29]

Humm…

Tout d’abord, la ligne # -*- coding: utf-8 -*- n’a à ma connaissance aucune influence dans la lecture d’un fichier, puisqu’elle ne spécifie que l’encodage du code source lui-même –*de plus, elle est superflue en py3, qui assume par défaut un encodage utf-8.

smed79, tu peux dire merci à Windows et à sa console, qui ne supporte toujours pas nativement l’utf-8… Ce qui se passe, c’est que quand tu fais print(difference.decode("utf-8")), print doit ré-encoder ton str (ou ton unicode si tu es en py2) dans l’encodage console, soit le cp850…

N’étant pas windowsien, je ne sais pas s’il y a des moyens (détournés) de forcer windows à comprendre l’utf-8 dans sa console, sinon tu peux toujours explicitement convertir ton texte en cp850, en remplaçant les caractères inconvertibles par des “?”, par exemple print(difference.decode("utf-8").encode("cp850", 'replace').decode("cp850")) en py3, c’est moche et l’affichage ne sera pas beau (plein de “?” à la place des beaux “ﺔﻴﺑﺮﻌﻟﺍ”), mais plus de bug…

[smed79]

Salut,
Comme dit mont29 # -*- coding: utf-8 -*- ne resolu pas le problème, apparemment c'est la faute de la console windows je vais tester sur Ubuntu et je revien vous dire j'ai quoi comme le résultat.

Merci pour votre aide

[smed79]

Finalement il faut juste supprimé la ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print(difference.decode("utf-8"))

Log : http://code.google.com/p/liste-ar-ad...path=%2FFOP.py

Merci

[smed79]

l'inconvénient d'avoir enlevé la ligne qui posait problème est que le résumé du commit ne s'affiche plus.

la solution c'est de remplacé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print(difference.decode("utf-8"))

par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print(difference.decode('ascii', 'ignore'))

Du coup, en le décodant en ASCII on oublie tous ces caractères-là, qui ne seront donc pas affichés, et on évite en outre d'afficher les erreurs dues à ces oublis grâce au paramètre d'erreur 'ignore'.

Merci a Crits

[PsycoPy]

mont29 a tout dit et ce message n'apportera peut-être rien de plus à la discussion, mais dans le doute je m'offres quand-même la prétention d'apporter un soupçon d'idée de solution possible (ouais c'est pas très français).

L'invite de commande ne peut pas afficher les caractères unicode par défaut. Pour deux raisons :
1. par défaut, l'encodage de la console est le cp850.
2. par défaut, la police de caractères de la console ne supporte pas l'unicode

Ceci (je n'apporte en réalité aucune solution) peut être le début d'une piste pour parvenir à afficher des caractères unicode dans l'invite de commande. Par exemple, la commande chcp permet de changer l'encodage de la console.

Pour le reste, j'ignores tout. Si quelqu'un se sent de développer cette idée (ou une autre) de manière plus propre, constante et fiable, surtout qu'il ne se gêne pas ! Comme ça j'aurais au moins eu l'impression de ne pas poster un message totalement inutile...

[smed79]

après un mois j'ai revenu pour partager ce que j'ai trouvé utile et qui a résolu mon problème si par exemple une personne par l'intermédiaire de google temps sur mon message et cet personne elle a le même problème.

En plus moi je ne chercher pas a afficher des caractères unicode dans l'invite de commande mais :
1. éviter le message d'erreur
2. afficher le résumé du commit

chose faite

Merci pour votre intervention