Discussion :

[phpines]

salut,
comment peut-on connaitre l'encodage utilisé dans un fichier donnée format csv. lorsque je lis le fichier avec la fonction open, des caractère comme par exemple le caractère (—) s'affiche comme ça (�) malgré que j'ai utilisé le codage utf8 le problème reste toujours. merci d'avance.

[VinsS]

Salut,

Où as-tu utilisé l'encodage utf-8 ? Dans l'entête de ton script Python, à l'écriture du fichier csv, à la lecture ?

Est-ce qu'il se lit correctement dans un bloc-note ?

[tyrtamos]

Bonjour,

Avec Python 2.7, le module csv ne supporte que l'utf-8.

Le problème est que:
- la bonne pratique est de travailler en ram avec les chaines en unicode
- pour des échanges avec Excel, il faut utiliser l'encodage Windows cp1252 pour les fichiers csv sur disque.

Il faut donc envelopper le traitement csv par des conversions d'encodage. Je le fais en utilisant un fichier en mémoire cStringIO.StringIO() comme intermédiaire.

Dans le sens lecture:
1- lecture du fichier disque avec le module codecs (cp1252=>unicode), et écriture du fichier en mémoire (unicode=>utf-8)
2- lecture par csv à partir du fichier en mémoire (utf-8=>utf-8)
3- conversion des chaines en unicode (utf-8=>unicode)

On adopte le même principe dans le sens écriture csv (unicode=>utf-8=>utf-8=>cp1252).

Ça a l'air compliqué comme ça, mais une fois mis au point, c'est très rapide et ça marche très bien.

[phpines]

salut tout le monde
oui, j'ai utilisé le codage utf-8 et le encodage de Windows cp1252 mais le problème reste toujours. sachant que le fichier csv je l'ai pas créé en utilisant la programmation en python, c'est un fichier qui existe déja.

[Drawingrom]

j'ai utilisé le codage utf-8 et le encodage de Windows cp1252

Les problématiques d'encodage ne sont visiblement pas votre tasse de thé. Vous devriez poster votre code, ou en tout cas la partie qui s'occupe du décodage csv.

[phpines]

voici le code: comment faire ça en utilisant cStringIO?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 
import csv
import codecs
 
class Profiltableur(csv.Dialect):
    delimiter = ','
    quotechar = '"'
    doublequote = True
    skipinitialspace = False
    lineterminator = '\r\n'
    quoting = csv.QUOTE_MINIMAL
 
 
source  = codecs.open("fichin.txt", "rb", 'cp1252')
destination = codecs.open("fichout.csv", "wb", "utf-8")
 
c = csv.writer(destination, dialect=Profiltableur )
 
entete = source.readline().rstrip('\n\r').split("\t")
col1 = entete.index("col1")
col2 = entete.index("col2")
text = entete.index("text")
col4 = entete.index("col4")
 
# Ecrit l'en-tete
destination.write("col1,col2,col3,col4\r\n")
 
for ligne in source:
    # Extraction des donnees de la ligne separees par tabulation
    donnees = ligne.rstrip('\r\n').split("\t")
    donnees[text]=donnees[text].decode("cp1252")
    donnees[text]=donnees[text].encode("utf8")
    c.writerow((donnees[col1], donnees[col2], donnees[text], donnees[col4))
 
destination.close()
source .close()