Discussion :

[vince2121]

Bonjour à tous,

n'ayant pas trouvé de réponse à ma question, je viens la poser ici.


Je souhaite ouvrir un fichier texte encodé en UTF-8. C'est moi qui ai créé le fichier pour être sûr de l'encodage.

Je suis sur MAC avec Python 3.3.4

J'ai lu un peu partout que par défaut Python était réglé sur UTF-8, mais quand j'ouvre mon fichier texte, les accents ne sont pas gérés et sont remplacés par un code de type /xc3, ...

Le problème c'est que j'ai évidemment besoin de géré les accents

J'ai essayé différentes méthodes trouvées un peu partout sur le net, mais rien à faire


Est ce que quelqu'un aurait une idée ?

Merci d'avance

@+

[pfeuh]

Salut,

Est ce que tu parles de scripts python ou de fichiers texte ouverts avec python? Dans le premier cas il faut ajouter au début de ton script:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
#!/usr/bin/python
# encoding: utf-8

Dans le deuxième cas ton fichier est toujours lu en mode utf-8, il faut le "décoder" pour avoir de l'unicode.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
with open("my_file.txt", "r") as fp:
    text = fp.read(-1).decode("utf-8")

il est possible que tu aies un entête de deux octets à supprimer dans ton fichier texte originel

A+

Pfeuh

[vince2121]

Super, merci Pfeuh, çà fonctionne (je suis avec un fichier texte ouvert avec Python, donc 2ème solution).

Ca c'était la 1ère étape pour comprendre

Maintenant, j'ai un fichier .rtf encodé en us-ascii (d'après la fonction "file" directement dans le terminal), j'ai fait ta manip avec ce code là :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
with open("my_file.txt", "r") as fp:
    text = fp.read(-1).decode("us-ascii")

Ca paraissait trop simple, je me retrouve avec le même problème, les accents qui sont remplacés par un code. J'ai essayé comme çà :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
# -*- coding:us-ascii -*- 
with open("my_file.txt", "r") as fp:
    text = fp.read(-1).decode("us-ascii")

Ca change rien.

Est ce que l'idéal serait pas de transformer le us-ascii en utf-8 ? Si oui, comment faire ?

@+

[chticricri]

Bonjour,

Je m'interroge. Le codage us-ascii est sur 7 bits et ne permet pas les caractères accentués.
Est-tu sûr de l'encodage de ton fichier ?

Sinon en python 3, la fonction open permet de spécifier l'encodage du fichier lu ou écrit,
de sorte que tu n'a plus à faire des decode et des encode.

[tyrtamos]

Bonjour,

chticricri a raison: us-ascii est limité à 7 bits, et toute tentative d'utiliser des caractères accentués génère une erreur.

Pour le reste, comme on est avec Python 3, il faut effectivement utiliser l'argument "encoding=" dans l'appel de open, et on obtient de l'unicode (type str pour Python 3). Cela correspond au codecs.open de Python 2.

Mais, pour savoir si les accents sont bien restitués, on affiche avec un outil d'affichage (console, widget graphique, ...) qui attend aussi un certain encodage. Si nécessaire, il faut ajuster l'encodage (.encode(...)) au moment de l'affichage. Je dis ça parce qu'on a quelquefois l'impression qu'une chaine est mal encodée en mémoire, alors qu'en fait on essaie de l'afficher sur une console qui supporte un autre encodage.

[vince2121]

c'est la fonction "file -I nom_du_fichier.rtf" qui me dit que l'encodage est en us-ascii, et lorsque j'ouvre le fichier avec Textedit par exemple, j'ai bien les accents.

Mais j'ai cru comprendre que c'est pas forcément évident d'obtenir l'encodage d'un fichier.

J'ai transformé le fichier en .txt avec encodage en UTF-8, et ça fonctionne, par contre, il faut faire un copié / coller du texte, et évidemment je n'ai pas qu'un fichier, loin de là !

Mes fichier .rtf viennent de l'extraction de texte dans un pdf réalisée avec Automator. Je vais essayé de transformer mes fichiers .rtf en .txt avec Automator. C'est peut-être la meilleure solution ...

[tyrtamos]

Quand je disais que us-ascii était limité à 7 bits, je parlais de Python, et j'avais essayé avant et obtenu une exception avec les accents. Mais il est vrai que sur le web, certaines tables ascii comportent les accents (table ascii "étendue" probablement).

A part ça, les conversions d'encodage ne sont pas mystérieuses et fonctionnent plutôt bien quand on connait les encodages de départ et d'arrivée.

Quand on ne connait pas l'encodage d'un fichier, à part des essais systématiques ou des programmes "sniffeurs" d'encodage, il y a une solution que j'utilise de temps en temps: lire le fichier directement avec un programme hexa, et repérer comment les caractères accentués sont encodés. On va ensuite dans les tables des caractères sur le web. Il existe des programmes hexa gratuits avec tous les OS (j'utilise "EditHexa" sous Windows).

[vince2121]

Finalement j'ai trouvé une appli qui permet d'extraire le texte de tout les fichiers pdf d'un dossier, et de choisir l'encodage des fichiers texte de sortie

Le 2ème code de Pfeuh marche bien, mais il ne lit qu'une partie des fichiers (en gros, le milieu du texte). J'ai essayé avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

open('fichier','r',encoding='utf-8')

trouvé dans la doc Python, mais ça ne marche pas non plus, j'ai une erreur qui me dit que l'argument "encoding" n'est pas valide pour cette fonction

D'autre part, j'ai lu que par défaut Python 3 était en UTF-8, mais si je ne spécifie rien, il ne m'affiche pas les accents


C'est à devenir fou ... (je précise que je suis débutant en Python)

[vince2121]

La bonne blague ! Je viens de me rendre compte que j'utilise la syntaxe de Python 3 et que le Mac exécute le code avec Python 2.7 !

Du coup ça marche beaucoup mieux avec la bonne version. Je me disais bien aussi c'est bizarre ...

Merci beaucoup pour les réponses qui m'ont permis de trouver la solution

@+