Problème avec les accents

Bonjour,

je souhaite créer un fichier texte contenant la liste des mots d'un texte. J'applique le code suivant :

Code:

---

1 2 3 4 5 6 7

f=open("myText.txt","r") contenu=f.read()   f4=open("ListeMots.txt","w") mylist = contenu.split() f4.write(str(mylist))

---

Le fichier myText est en UTF-8.

S'il contient le texte suivant :

La première fois qu'Arthur vit Sidonie.

J'obtiens : ['La', 'première', 'fois', "qu'Arthur", 'vit', 'Sidonie']

Par contre si le fichier myText contient "ce jour-là" en plus :

La première fois qu'Arthur vit Sidonie ce jour-là.

J'obtiens : ['La', 'première', 'fois', "qu'Arthur", 'vit', 'Sidonie', 'ce', 'jour-lÃ']

Sauriez-vous svp comment résoudre ce problème? Merci pour votre aide.

Cordialement,
Arsène

Je pensais avoir identifier le problème : le fichier ListeMots.txt s'enregistrait avec l'encodage ANSI. J'ai modifié le code :

Code:

---

f4=open("ListeMots.txt","w",encoding="utf-8")

---

Mais le résultat est le même. J'ai toujours ['La', 'première', 'fois', "qu'Arthur", 'vit', 'Sidonie', 'ce', 'jour-lÃ'] avec un encodage UTF-8.

Salut,

Lancez l'interpréteur Python:

Code:

---

1 2 3

>>> s = "La première fois qu'Arthur vit Sidonie ce jour-là." >>> s.split() ['La', 'première', 'fois', "qu'Arthur", 'vit', 'Sidonie', 'ce', 'jour-là.']

---

Encodé utf-8, çà donne cette suite de bytes:

Code:

---

1 2	>>> str(s.split()).encode('utf-8') b'[\'La\', \'premi\xc3\xa8re\', \'fois\', "qu\'Arthur", \'vit\', \'Sidonie\', \'ce\', \'jour-l\xc3\xa0.\']'

---

Si on l'écrit dans un fichier:

Code:

---

1 2 3 4

>>> f = open('test.txt', 'w', encoding='utf-8') >>> f.write(str(s.split())) 75 >>> f.close()

---

si on relit çà sous forme de bytes, on vérifie qu'on y retrouve ses petits:

Code:

---

1 2	>>> open('test.txt', 'rb').read() b'[\'La\', \'premi\xc3\xa8re\', \'fois\', "qu\'Arthur", \'vit\', \'Sidonie\', \'ce\', \'jour-l\xc3\xa0.\']'

---

et on peut aussi s'assurer que çà decode "bien":

Code:

---

1 2 3 4 5

>>> open('test.txt', 'r', encoding='utf-8').read() '[\'La\', \'première\', \'fois\', "qu\'Arthur", \'vit\', \'Sidonie\', \'ce\', \'jour-là.\']' >>> str(s.split()) '[\'La\', \'première\', \'fois\', "qu\'Arthur", \'vit\', \'Sidonie\', \'ce\', \'jour-là.\']' >>>

---

- W

J'ouvre la console et je mets ceci :

Code:

---

1 2	>>> s = "La première fois qu'Arthur vit Sidonie ce jour-là." >>> s.split()

---

ça me donne :

Code:

---

1 2	['La', 'première', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-là.'] >>>

---

C'est bon jusque là. Ensuite :

Code:

---

>>> str(s.split()).encode('utf-8')

---

ça me donne :

Code:

---

b"['La', 'premi\xc3\xa8re', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-l\xc3\xa0.']"

---

OK. puis :

Code:

---

1 2 3 4

>>> f = open('myText.txt', 'w', encoding='utf-8') >>> f.write(str(s.split())) 74 (et non 75?) >>> f.close()

---

Ensuite :

Code:

---

1 2	>>> open('myText.txt', 'rb').read() b"['La', 'premi\xc3\xa8re', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-l\xc3\xa0.']"

---

Et je décode :

Code:

---

1 2 3

>>> open('myText.txt', 'r', encoding='utf-8').read() "['La', 'première', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-là.']" >>>

---

Tout est bon.

Donc ce code devait fonctionner :

Code:

---

1 2 3 4 5 6

f=open("myText.txt","r") contenu=f.read() f.close() f4=open("ListeMots.txt","w",encoding="utf-8") f4.write(str(contenu.split())) f4.close()

---

Mais j'ai toujours le problème sur les caractères accentués.

quArthur ≠ qu'Arthur

Citation:

---

Donc ce code devait fonctionner

---

Non, regardez ce que vous avez écrit dans l'interpréteur et ce que vous écrivez dans le code.

Ok, ça c'est pour le 74 au lieu du 75.

J'ai essayé le code :

Code:

---

1 2 3 4 5 6

f=open("myText.txt","r",encoding="utf-8") contenu=f.read() f.close() f4=open("ListeMots.txt","w",encoding="utf-8") f4.write(str(contenu.split())) f4.close()

---

J'y suis presque : J'ai :

Code:

---

"['\ufeffLa', 'première', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-là.']"

---

Faut que je fasse disparaître le \ufeff du début.

J'ai trouvé!

Code:

---

f=open("myText.txt","r",encoding="utf-8-sig")

---

Merci beaucoup pour l'aide que vous m'avez apporté :P

En fait, dès qu'on ouvre un fichier, il faut bien l'encodé encoding="utf-8. Le -sig s'ajoute pour les fichiers en mode "r" peut-être?

Citation:

---

En fait, dès qu'on ouvre un fichier, il faut bien l'encodé encoding="utf-8. Le -sig s'ajoute pour les fichiers en mode "r" peut-être?

---

non ça n'a rien à voir, c'est spécifique à Microsoft, voir ce lien !

Ça permet à certains logiciels Microsoft de reconnaître l'UTF-8.

Citation:

---

Envoyé par Arsene12

En fait, dès qu'on ouvre un fichier, il faut bien l'encodé encoding="utf-8. Le -sig s'ajoute pour les fichiers en mode "r" peut-être?

---

Tous les fichiers sont différents: à vous de savoir quoi mettre pour les traiter et surtout vérifier que ce que vous récupérez correspond à ce qui est attendu.... avant de retrouver des bizarreries en sortie.

- W