Discussion :

[KR_Prog]

Bonjour,
j'ai fais un script de comparaison de fichiers, or il arrive que les fichiers soient encodés de façon pas terrible, je voudrai rendre mon script plus tolérant.
Voici le genre de chose sur laquelle je tombe:
'é' qui est en fait un 'é'

j'ai ouvert le fichier qui est bien en utf-8, comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

fichier_a = codecs.open(fichier_a_lien, encoding='utf-8')

mais notepad++ ne fait pas mieux.

en fait j'aimerai remplacer les 'é' par des 'é', mais comment?

merci d'avance

[marco056]

avec la fonction replace ?

[KR_Prog]

avec la fonction replace ?

merci pour ta réponse,

j'ai déjà essayé:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

convert = ligne.replace('é', 'é')

et aussi comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

convert = ligne.replace('\xc3\xa9', 'é')

mais il ne remplace rien

[wiztricks]

Salut,

en fait j'aimerai remplacer les 'é' par des 'é', mais comment?

Normalement, c'est le décodage effectué à la lecture du fichier qui devrait transformer la séquence de bytes b'\xc3\xa9' en 'é'. Si cela ne le fait pas il est préférable d'essayer de comprendre pourquoi avant de trouver une solution palliative. Et donc poster un exemple de contenu de fichier et opérations que vous faites dessus pour reproduire ce résultat.

- W

[marco056]

Salut,



Normalement, c'est le décodage effectué à la lecture du fichier qui devrait transformer la séquence de bytes b'\xc3\xa9' en 'é'. Si cela ne le fait pas il est préférable d'essayer de comprendre pourquoi avant de trouver une solution palliative. Et donc poster un exemple de contenu de fichier et opérations que vous faites dessus pour reproduire ce résultat.

- W

J'allais le proposer.

[disedorgue]

Bonjour,

Comme dit précédemment, vaut mieux corriger le problème à la source
Sinon d'après ce que tu dis, tu es dans la situation où l'on te donne un "é" en utf8 dés le départ mais celui qui réceptionne (quelque part dans la chaine) , pense que c'est de l'iso-latin et transforme donc ton "iso latin" en utf8, ce qui donne:
é de départ en utf8 => \xc3\xa9
\xc3 en iso-latin => Ã qui en utf8 est => \xc3\x89
\xa9 en iso-latin => © qui en utf8 est => \xc2\xa9

Et donc en final, tu te retrouves avec: \xc3\x89 \xc2\xa9

Si tu n'as vraiment pas le choix, une idée plus propre que le replace:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
>>> YY
'maman va à la plage'
>>> try:
...     YY.encode("latin1").decode()
... except UnicodeError:
...     YY
... 
'maman va à la plage'
>>> XX
'papa é la maison'
>>> try:
...     XX.encode("latin1").decode()
... except UnicodeError:
...     XX
... 
'papa é la maison'