Discussion :

[Arsene12]

Bonjour,

je souhaite créer un fichier texte contenant la liste des mots d'un texte. J'applique le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
f=open("myText.txt","r")
contenu=f.read()
 
f4=open("ListeMots.txt","w")
mylist = contenu.split()
f4.write(str(mylist))

Le fichier myText est en UTF-8.

S'il contient le texte suivant :

La première fois qu'Arthur vit Sidonie.

J'obtiens : ['La', 'première', 'fois', "qu'Arthur", 'vit', 'Sidonie']

Par contre si le fichier myText contient "ce jour-là" en plus :

La première fois qu'Arthur vit Sidonie ce jour-là.

J'obtiens : ['La', 'première', 'fois', "qu'Arthur", 'vit', 'Sidonie', 'ce', 'jour-lÃ']

Sauriez-vous svp comment résoudre ce problème? Merci pour votre aide.

Cordialement,
Arsène

[Arsene12]

Je pensais avoir identifier le problème : le fichier ListeMots.txt s'enregistrait avec l'encodage ANSI. J'ai modifié le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

f4=open("ListeMots.txt","w",encoding="utf-8")

Mais le résultat est le même. J'ai toujours ['La', 'première', 'fois', "qu'Arthur", 'vit', 'Sidonie', 'ce', 'jour-lÃ'] avec un encodage UTF-8.

[wiztricks]

Salut,

Lancez l'interpréteur Python:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
>>> s = "La première fois qu'Arthur vit Sidonie ce jour-là."
>>> s.split()
['La', 'première', 'fois', "qu'Arthur", 'vit', 'Sidonie', 'ce', 'jour-là.']

Encodé utf-8, çà donne cette suite de bytes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
>>> str(s.split()).encode('utf-8')
b'[\'La\', \'premi\xc3\xa8re\', \'fois\', "qu\'Arthur", \'vit\', \'Sidonie\', \'ce\', \'jour-l\xc3\xa0.\']'

Si on l'écrit dans un fichier:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
>>> f = open('test.txt', 'w', encoding='utf-8')
>>> f.write(str(s.split()))
75
>>> f.close()

si on relit çà sous forme de bytes, on vérifie qu'on y retrouve ses petits:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
>>> open('test.txt', 'rb').read()
b'[\'La\', \'premi\xc3\xa8re\', \'fois\', "qu\'Arthur", \'vit\', \'Sidonie\', \'ce\', \'jour-l\xc3\xa0.\']'

et on peut aussi s'assurer que çà decode "bien":

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
>>> open('test.txt', 'r', encoding='utf-8').read()
'[\'La\', \'première\', \'fois\', "qu\'Arthur", \'vit\', \'Sidonie\', \'ce\', \'jour-là.\']'
>>> str(s.split())
'[\'La\', \'première\', \'fois\', "qu\'Arthur", \'vit\', \'Sidonie\', \'ce\', \'jour-là.\']'
>>>

- W

[Arsene12]

J'ouvre la console et je mets ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
>>> s = "La première fois qu'Arthur vit Sidonie ce jour-là."
>>> s.split()

ça me donne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
['La', 'première', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-là.']
>>>

C'est bon jusque là. Ensuite :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

>>> str(s.split()).encode('utf-8')

ça me donne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 b"['La', 'premi\xc3\xa8re', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-l\xc3\xa0.']"

OK. puis :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
>>> f = open('myText.txt', 'w', encoding='utf-8')
>>> f.write(str(s.split()))
74  (et non 75?)
>>> f.close()

Ensuite :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
>>> open('myText.txt', 'rb').read()
b"['La', 'premi\xc3\xa8re', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-l\xc3\xa0.']"

Et je décode :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
>>> open('myText.txt', 'r', encoding='utf-8').read()
"['La', 'première', 'fois', 'quArthur', 'vit', 'Sidonie', 'ce', 'jour-là.']"
>>>

Tout est bon.

Donc ce code devait fonctionner :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
f=open("myText.txt","r")
contenu=f.read()
f.close()
f4=open("ListeMots.txt","w",encoding="utf-8")
f4.write(str(contenu.split()))
f4.close()

Mais j'ai toujours le problème sur les caractères accentués.

[fred1599]

quArthur ≠ qu'Arthur

Donc ce code devait fonctionner

Non, regardez ce que vous avez écrit dans l'interpréteur et ce que vous écrivez dans le code.

[Arsene12]

Ok, ça c'est pour le 74 au lieu du 75.