Utf-8 et Ascii

Version imprimable

05/01/2011, 16h49
edblv

Utf-8 et Ascii

Bonjour, (et bonne année !)

J'écris actuellement un bout de code en Python 2.6 (sous Linux) et j'ai un problème d'UTF-8.

En fait, mon programme lit un fichier TXT avec csv.reader puis parcours les lignes et génère une requête INSERT qui doit être exécutée sur une base MS Sql (2008).

Jusque là, rien d'extraordinaire !
Le problème c'est que dans mon fichier, il y a des noms en Allemand (donc avec des ü et quelques trucs encore plus exotiques), donc au moment ou je crée ma requête, j'ai un méchant message qui me dit :
UnicodeDecodeError: 'ascii' codec can't decode byte 0xfc in position 9: ordinal not in range(128)

Quelqu'un connaît-il une solution ?

Merci d'avance.
05/01/2011, 23h41
Sve@r

Citation:

Envoyé par edblv

Quelqu'un connaît-il une solution ?

Oui mais il faudrait plus de précisions
1) comment est codé le fichier que tu lis
2) quel est le codage de ta base Sql

Mais on va admettre que ton fichier allemand est encodé en utf8 et que la ligne lue est stockée dans une variable "lig". Et que ta bdd est codée en latin
Ben il faudra que tu fasses un insert de lig.decode("utf-8").encode("latin-1")

Citation:

Envoyé par Sve@r

Oui mais il faudrait plus de précisions
1) comment est codé le fichier que tu lis
2) quel est le codage de ta base Sql

Mais on va admettre que ton fichier allemand est encodé en utf8 et que la ligne lue est stockée dans une variable "lig". Et que ta bdd est codée en latin
Ben il faudra que tu fasses un insert de lig.decode("utf-8").encode("latin-1")

Mon fichier TXT est en ASCII pur et dur, il est lu dans un programme en Python dans lequel j'ai indiqué # -*- coding: utf-8 -*-
Je l'ouvre avec :
Code:

1 2 3 4 NoFic = open(self.Repertoire+"/"+self.FichierCourant,'r') ReaderCSV= csv.reader(NoFic,delimiter='\t') self.TblFicCSV=list(ReaderCSV)
...et un peu plus loin, je fais ça :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 for IndCol in range(len(self.TblCorresp)) : if LstChamps!="": LstChamps+=", " LstValues+=", " NoColFic=self.TblCorresp[IndCol]["NOCOL"] LstChamps+=self.TblCorresp[IndCol]["NOMCHAMP"] LstValues+=self.TblFicCSV[NoLigne][NoColFic].decode("utf-8").encode("latin-1") Requete="INSERT INTO dbo."+self.NomTable+" ("+LstChamps+") VALUES ("+LstValues+")" cur = self.CnxBase.cursor() cur.execute(Requete) self.CnxBase.commit()
Et ça passe pas !
Sur la ligne ou je fais la concaténation (LstValues+=self.TblFicCSV[NoLigne][NoColFic].decode("utf-8").encode("latin-1") ) j'ai un message d'erreur.

06/01/2011, 09h12
pfeuh

Salut,

Citation:

Envoyé par edblv

dans mon fichier, il y a des noms en Allemand (donc avec des ü et quelques trucs encore plus exotiques)

Citation:

Envoyé par edblv

Mon fichier TXT est en ASCII pur et dur

Ne trouves-tu pas ces 2 affirmations un peu contradictoires?

A+

Pfeuh
06/01/2011, 10h20
edblv

Pour préciser mon problème (qui ne déchaîne pas les foules...)

Dans mon fichier TXT il y a ce texte : Josef-Schüttler -Str 17

Si je demande à Python de me l'afficher, il m'affiche ça :
Josef-Sch\xfcttler -Str 17

Si je fait type(MaVariable), il me réponds :
<type 'str'>

Comment puis-je obtenir une variable dans laquelle il y aura :
"INSERT INTO Adresse (Rue1) VALUES ('Josef-Schüttler -Str 17')"

La requête DOIT être construite dynamiquement à partir des champs que je trouve dans le fichier TXT.

J'espère avoir été plus clair.
Je fais ce genre de chose tout les jours en PHP mais je n'y arrive pas en Python
06/01/2011, 10h43
Sve@r
Citation:

Envoyé par edblv

Pour préciser mon problème (qui ne déchaîne pas les foules...)

Dans mon fichier TXT il y a ce texte : Josef-Schüttler -Str 17

Si je demande à Python de me l'afficher, il m'affiche ça :
Josef-Sch\xfcttler -Str 17

Hum, là déjà il convient de vérifier une chose. Pour afficher, utilises-tu l'ordre
>>> MaVariable
ou bien
>>> print MaVariable
Parce que le résultat n'est pas le même...

Citation:

Envoyé par edblv

Si je fait type(MaVariable), il me réponds :
<type 'str'>

Comment puis-je obtenir une variable dans laquelle il y aura :
"INSERT INTO Adresse (Rue1) VALUES ('Josef-Schüttler -Str 17')"
Code:

1 2 order="INSERT INTO Adresse (Rue1) VALUES ('%s')" % MaVariable print order
06/01/2011, 11h08
edblv
Alors, j'ai essayé ça pour voir
Code:

1 2 order="INSERT INTO Adresse (Rue1) VALUES ('%s')" % MaVariable print order
Et ça semble fonctionner.

Donc comment faire maintenant pour générer dynamiquement ma requête en fonction des colonnes qui sont dans le fichier (c'est mon tableau TblCorresp du début) ?
06/01/2011, 11h45
Sve@r

Citation:

Envoyé par edblv

Donc comment faire maintenant pour générer dynamiquement ma requête en fonction des colonnes qui sont dans le fichier (c'est mon tableau TblCorresp du début) ?

Alors là, ma poupougne, cela devient ton boulot. Tu récupères tes colonnes, tu fais une boucle, tu génère ta requête item par item. Bref c'est purement de l'algo quoi...
06/01/2011, 11h49
edblv

Citation:

Envoyé par Sve@r

Alors là, ma poupougne, cela devient ton boulot. Tu récupères tes colonnes, tu fais une boucle, tu génère ta requête item par item. Bref c'est purement de l'algo quoi...

Non mais pour l'algorythme, je maitrîse !!!
Mon problème, c'est la syntaxe Python ?
06/01/2011, 11h52
edblv
Es-ce qu'on peut faire un truc du genre :
Code:

1 2 order="INSERT INTO Adresse (Champ1, Champ2, Champ3) VALUES (%d, %d, '%s')" % MonTableau
... c'est possible ça ?

Parce que, quand je lis un fichier JE NE SAIS PAS combien de colonnes il y a dedans !
06/01/2011, 13h16
edblv
Citation:
Envoyé par edblv

Es-ce qu'on peut faire un truc du genre :

Code:

1 2 order="INSERT INTO Adresse (Champ1, Champ2, Champ3) VALUES (%d, %d, '%s')" % MonTableau

... c'est possible ça ?

Parce que, quand je lis un fichier JE NE SAIS PAS combien de colonnes il y a dedans !
Eh ben non, c'est pas possible, j'ai testé pour vous, maintenant, je suis à sec, si quelqu'un pouvait m'aider, ce serait sympa.

Bon, alors, je me réponds tout seul (dans l'espace, personne ne vous entend crier).

J'ai donc une boucle qui me génère une variable dans ce genre
Code:

1 2 Requete="INSERT INTO Adresse (IDFOURNISSEUR, VILLE, IDADRESSE, PAYS, ESCO, ENCOUR, NOREG, NOECH, TVADEF, NOM, RUE1, DEP, IDETVA, TELEPHONE1, TELEPHONE3, NOLIBTEL1, DEVISE, CODPOS, DOMICI, ETABLI, GUICHE, COMPTE, CLERIB, TARIF, CONDPO, COMMENT, CREATIONLE, MODIFLE, TELEPHONE2, NOLIBTEL2, NOLIBTEL3, RUE2, RUE3) VALUES ({IDFOURNISSEUR}, '{VILLE}', {IDADRESSE}, '{PAYS}', {ESCO}, {ENCOUR}, {NOREG}, {NOECH}, {TVADEF}, '{NOM}', '{RUE1}', '{DEP}', '{IDETVA}', '{TELEPHONE1}', '{TELEPHONE3}', {NOLIBTEL1}, '{DEVISE}', '{CODPOS}', '{DOMICI}', '{ETABLI}', '{GUICHE}', '{COMPTE}', '{CLERIB}', '{TARIF}', '{CONDPO}', '{COMMENT}', '{CREATIONLE}', '{MODIFLE}', '{TELEPHONE2}', {NOLIBTEL2}, {NOLIBTEL3}, '{RUE2}', '{RUE3}')"
... et puis un tableau associatif du genre :
Code:

1 2 3 4 5 TblValues["IDFOURNISSEUR"]=1 TblValues["VILLE"]="Bouzieux le haut" .... etc
et finalement je fait :
Code:

1 2 3 cur = self.CnxBase.cursor() cur.execute(Requete.format(**TblValues))
Et ça marche !!!
... sauf pour mon adresse allemande avec des ü dedans :cry:

Il doit bien y avoir une solution, j'aime bien cette façon de faire et à mon avis c'est la meilleur mais j'ai toujours un problème d'UTF-8

HEEEEEEEEEELP

Citation:

Envoyé par edblv

dans l'espace, personne ne vous entend crier

8O Isaac... C'est toi? Vivement le 28 janvier! ;)

En fait, on n'a pas de données suffisantes pour te répondre, Il faudrait un programme allégé (ne contenant que la reproduction du bug) que l'on pourrait tester sur notre machine et reproduisant simplement le problème. Si j'ai bien compris, tu as 2 problèmes:
1 - La fabrication d'une chaine/requête à partir d'un dictionnaire labels/valeurs
2 - le problème d'encodage/décodage.

Tu confirmes?
Code:

1 2 3 4 5 6 7 8 9 10 #!/usr/bin/python # -*- coding: latin-1 -*- import Tkinter dico = {'integer':12, 'float':12.45, 'string':u'"Straße"'} labels = dico.keys() values = [unicode(dico[key]) for key in dico.keys()] order = u"INSERT INTO Adresse (%s) VALUES (%s)"%(', '.join(labels), ', '.join(values)) root = Tkinter.Tk() Tkinter.Label(root, text=order).grid() root.mainloop()
Ceci te donnera peut-être une idée pour avancer. Chez moi, je ne peux pas afficher order dans la console c'est pour cela que je l'affiche graphiquement. Tu remarqueras que dico n'est pas trié, mais que les couples label/valeur sont respectés.

Citation:
Envoyé par pfeuh
8O Isaac... C'est toi? Vivement le 28 janvier! ;)

En fait, on n'a pas de données suffisantes pour te répondre, Il faudrait un programme allégé (ne contenant que la reproduction du bug) que l'on pourrait tester sur notre machine et reproduisant simplement le problème. Si j'ai bien compris, tu as 2 problèmes:
1 - La fabrication d'une chaine/requête à partir d'un dictionnaire labels/valeurs
2 - le problème d'encodage/décodage.

Tu confirmes?
Code:

1 2 3 4 5 6 7 8 9 10 #!/usr/bin/python # -*- coding: latin-1 -*- import Tkinter dico = {'integer':12, 'float':12.45, 'string':u'"Straße"'} labels = dico.keys() values = [unicode(dico[key]) for key in dico.keys()] order = u"INSERT INTO Adresse (%s) VALUES (%s)"%(', '.join(labels), ', '.join(values)) root = Tkinter.Tk() Tkinter.Label(root, text=order).grid() root.mainloop()
Ceci te donnera peut-être une idée pour avancer. Chez moi, je ne peux pas afficher order dans la console c'est pour cela que je l'affiche graphiquement. Tu remarqueras que dico n'est pas trié, mais que les couples label/valeur sont respectés.
Tiens ça m'a l'air pas mal ce bout de code, je vais l'essayer, merci.

En fait ça va être dur d'envoyer mon code parce c'est plusieurs méthode qui s'appellent.
Il y en une qui ouvre le fichier TXT, une qui analyse le contenu de la première ligne (avec les noms des champs) et qui fait la correspondance avec les champs de la table SQL, une autre qui parcours le fichier et une qui génère la requête !!!

Mais mon problème est bien celui que tu expose :
J'ai un fichier avec des données (utf-8 ou latin-1) et je doit générer des requêtes SQL dynamiques pour alimenter ma base.
La solution que j'ai trouvé pour le moment fonctionne bien avec du latin-1 mais pas avec de l'utf-8.

J'eesaye ton code et je reviens...

Bon, je progresse doucement.
Finalement j'ai conservé mon code, celui qui fait :

1° une chaîne avec la requête

Code:

1
2
 
Requete="INSERT INTO Adresse (IDFOURNISSEUR, VILLE, IDADRESSE, PAYS, ESCO, ENCOUR, NOREG, NOECH, TVADEF, NOM, RUE1, DEP, IDETVA, TELEPHONE1, TELEPHONE3, NOLIBTEL1, DEVISE, CODPOS, DOMICI, ETABLI, GUICHE, COMPTE, CLERIB, TARIF, CONDPO, COMMENT, CREATIONLE, MODIFLE, TELEPHONE2, NOLIBTEL2, NOLIBTEL3, RUE2, RUE3) VALUES ({IDFOURNISSEUR}, '{VILLE}', {IDADRESSE}, '{PAYS}', {ESCO}, {ENCOUR}, {NOREG}, {NOECH}, {TVADEF}, '{NOM}', '{RUE1}', '{DEP}', '{IDETVA}', '{TELEPHONE1}', '{TELEPHONE3}', {NOLIBTEL1}, '{DEVISE}', '{CODPOS}', '{DOMICI}', '{ETABLI}', '{GUICHE}', '{COMPTE}', '{CLERIB}', '{TARIF}', '{CONDPO}', '{COMMENT}', '{CREATIONLE}', '{MODIFLE}', '{TELEPHONE2}', {NOLIBTEL2}, {NOLIBTEL3}, '{RUE2}', '{RUE3}')"

2° un tableau qui contient les valeurs

Code:

1
2
3
4
5
 
TblValues["IDFOURNISSEUR"]=1
TblValues["VILLE"]="Bouzieux le haut"
....
etc

3° Un execution de la requête avec mise en correspondance Requête / Valeurs
Précision : c'est une base MS Sql 2008 non Unicode

Code:

1
2
3
4
5
6
 
import pymssql
self.CnxBase = pymssql.connect(host='xxxx', user='sa', password='xxx', database='xxx')
 
cur = self.CnxBase.cursor()
cur.execute(Requete.format(**TblValues))

J'ai trouvé un truc bien qui permet de détecter l'encode du texte que je récupère dans le fichier :

Code:

1
2
3
4
5
6
7
8
9
 
import chardet
 
TblCharset=chardet.detect(self.TblFicCSV[NoLigne][NoColFic])
 
if TblCharset["encoding"]=="ascii" or TblCharset["encoding"]==None :
	TblValues[NomChamp]=self.TblFicCSV[NoLigne][NoColFic]
else :
	TblValues[NomChamp]=self.TblFicCSV[NoLigne][NoColFic].decode(TblCharset["encoding"]).encode('iso-8859-1')

Le problème se situe maintenant au niveau de l'execution de la requête

Code:

1
2
 
cur.execute(Requete.format(**TblValues))

il me réponds :

Code:

1
2
3
4
5
6
7
8
9
10
11
 
File "/usr/local/lib/python2.6/dist-packages/pymssql.py", line 196, in execute
    raise OperationalError, e[0]
pymssql.OperationalError: SQL Server message 105, severity 15, state 1, line 1:
Unclosed quotation mark after the character string 'Josef-Sch'.
DB-Lib error message 105, severity 15:
General SQL Server error: Check messages from the SQL Server
SQL Server message 102, severity 15, state 1, line 1:
Incorrect syntax near 'Josef-Sch'.
DB-Lib error message 102, severity 15:
General SQL Server error: Check messages from the SQL Server

On peut constater que mon adresse est tronquée au niveau du ü : Incorrect syntax near 'Josef-Sch'.

Quelqu'un a une idée avant que je me tire une balle ?

07/01/2011, 10h26
pfeuh

Citation:

Envoyé par edblv

Unclosed quotation mark after the character string 'Josef-Sch'.

C'est surtout ça que je retiens, ça semblerait vouloir dire que tu as passé une chaine non refermée, genre "Josef-Sch au lieu de "Josef-Sch". Comme tu n'as pas posté la requete, pas moyen de savoir.

Citation:

Envoyé par pfeuh

C'est surtout ça que je retiens, ça semblerait vouloir dire que tu as passé une chaine non refermée, genre "Josef-Sch au lieu de "Josef-Sch". Comme tu n'as pas posté la requete, pas moyen de savoir.

Non ! Justement, je lui passe la chaîne complète mais elle est tronquée au niveau du ü et je n'arrive pas à comprendre pourquoi.

Bon alors voilà la requête telle qu'elle est générée par mon code (affichée par un print dans ma boucle) :
Code:

1 2 INSERT INTO MaTable (IDFOURNISSEUR, VILLE, IDADRESSE, PAYS, ESCO, ENCOUR, NOREG, NOECH, TVADEF, NOM, RUE1, DEP, IDETVA, TELEPHONE1, TELEPHONE3, NOLIBTEL1, DEVISE, CODPOS, DOMICI, ETABLI, GUICHE, COMPTE, CLERIB, TARIF, CONDPO, COMMENT, CREATIONLE, MODIFLE, TELEPHONE2, NOLIBTEL2, NOLIBTEL3, RUE2, RUE3) VALUES (1674, 'SINGEN', 3852, 'ALLEMAGNE', 0, 0, 7, 17, 7, 'Le nom du fournisseur', 'Josef-Schüttler -Str 17', '', 'DE811578832', '06 07 08 09', '0049 01 01 001 001', 1, 'EUR', '78224', '', '', '', '', '', 'AB', 'F', '', '', '2010-03-09', 'toto@toto.fr', 6, 2, '', '')
Pour obtenir ça j'ai dû faire un :
Code:

1 2 Requete=unicode(Requete)
Du coup j'obtiens ça :
Code:

1 2 3 4 File "/usr/local/lib/python2.6/dist-packages/pymssql.py", line 190, in execute self._source.execute_query(operation) UnicodeEncodeError: 'ascii' codec can't encode character u'\xfc' in position 410: ordinal not in range(128)
J'en peu plus !
Je crois que je vais allé bouffer...

07/01/2011, 11h03
tyrtamos

Bonjour,

Si MS SQL est bien en 'iso-8859-1' (appelé aussi 'latin1'), il devrait accepter 'Josef-Schüttler' parce que le 'ü' en fait partie (voir: http://fr.wikipedia.org/wiki/ISO_8859-1).

On peut d'ailleurs voir dans le tableau que ce caractère est codé comme '\xfc', ce qui explique l'affichage 'Josef-Sch\xfcttler'. Cela veut dire aussi que ta console d'affichage ne supporte pas le 'ü', mais c'est un autre problème.

Bref, si MS SQL accepte le latin1 et ne supporte pas le 'ü' de 'Schüttler', c'est que son encodage n'est pas correct. Ou, comme le dit pfeuh, parce qu'il y a un pb de syntaxe.

En tout cas, je confirme que Python permet de faire absolument tout ce qu'on veut en matière d'encodage: certifie donc l'encodage de la chaine origine et celle destination, et on peut te dire comment faire la conversion. Mais il faut être précis: tu ne peux pas dire que ta chaine origine est "utf-8 ou latin-1": c'est l'un ou l'autre!

Tyrtamos
07/01/2011, 14h19
edblv

Ohhhh joie !!!

J'ai enfin réussi et je crois que je vais allé courrir nu dans le jardin pour fêter ça !!

Alors, j'explique pour ceux que ça intérresse.
En fait le problème ne se situait pas au niveau de la génération de la requête mais de la classe que j'utilisait pour l'éxecuter.
J'ai utilisé pymssql et c'était une erreur.
J'ai changé pour pyodbc et tout s'est débloqué.

Je suppose que pymssql n'est pas capable d'interpréter une chaîne unicode.

En tout cas merci infiniement à ceux qui se sont penchés sur mon problème.
J'espère que cette discussion permettra à certains de gagner les deux jours que je viens de perdre.
08/01/2011, 13h06
Sve@r

Citation:

Envoyé par edblv

et je crois que je vais allé courrir nu dans le jardin pour fêter ça !!

Prends une vidéo que tout le monde en profite...

Citation:

Envoyé par edblv

Alors, j'explique pour ceux que ça intérresse.
En fait le problème ne se situait pas au niveau de la génération de la requête mais de la classe que j'utilisait pour l'éxecuter.
J'ai utilisé pymssql et c'était une erreur.
J'ai changé pour pyodbc et tout s'est débloqué.

Je suppose que pymssql n'est pas capable d'interpréter une chaîne unicode.

Bizarre. A priori, pymssql n'a aucune raison d'interpréter la chaine. Son rôle est de la bazarder au serveur bdd et basta. Enfin c'est une supposition car je connais pas cette librairie. Donc on va admettre que ton pb est réglé...

Bon alors, je me suis réjouis un peu vite !

Bizarrement les caractères ü ou encore ß passent bien mais pas les è !!!!!!!

Cette fois, je crois que je vais partir élever des chêvres et faire du macramé...

Voilà mon code, si ça inspire quelqu'un pendant que je fais mes baggages...

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
 
LstChamps=""
LstValues=""
TblValues={}
 
#---- Maintenant, on parcours les colonnes qui ont une correspondance SQL
for IndCol in range(len(self.TblCorresp)) :
	if LstChamps!="":
		LstChamps+=", "
		LstValues+=", "
 
	NoColFic=self.TblCorresp[IndCol]["NOCOL"]
	NomChamp=self.TblCorresp[IndCol]["NOMCHAMP"]
	LstChamps+=NomChamp
 
	if (NoColFic>len(self.TblFicCSV[NoLigne])):
		TblValues[NomChamp]=""
	else:
		TblCharset=chardet.detect(self.TblFicCSV[NoLigne][NoColFic])
		if TblCharset["encoding"]=="ascii" or TblCharset["encoding"]==None :
			TblValues[NomChamp]=self.TblFicCSV[NoLigne][NoColFic]
		else :
			print "-----------------------------------------"
			print self.TblFicCSV[NoLigne][NoColFic]
			print TblCharset["encoding"]
			print unicode(self.TblFicCSV[NoLigne][NoColFic].decode(TblCharset["encoding"]))
			TblValues[NomChamp]=unicode(self.TblFicCSV[NoLigne][NoColFic].decode(TblCharset["encoding"]))
 
	#---- Formatage des champs en fonction de leur type
	if self.TblCorresp[IndCol]["TYPE"]=="char" or self.TblCorresp[IndCol]["TYPE"]=="varchar" or self.TblCorresp[IndCol]["TYPE"]=="nchar" or self.TblCorresp[IndCol]["TYPE"]=="nvarchar" or self.TblCorresp[IndCol]["TYPE"]=="text":
		#---- Chaîne
		TblValues[NomChamp]=self.FormatSql(TblValues[NomChamp], "C")
		LstValues+="'{"+NomChamp+"}'"
	elif self.TblCorresp[IndCol]["TYPE"]=="datetime" :
		#---- Date
		TblValues[NomChamp]=self.FormatSql(TblValues[NomChamp], "D")
		LstValues+="'{"+NomChamp+"}'"
	elif self.TblCorresp[IndCol]["TYPE"]=="decimal" :
		#---- Réel
		TblValues[NomChamp]=self.FormatSql(TblValues[NomChamp], "R")
		LstValues+="{"+NomChamp+"}"
	else :
		TblValues[NomChamp]=self.FormatSql(TblValues[NomChamp], "E")
		LstValues+="{"+NomChamp+"}"
 
Requete="INSERT INTO "+self.NomTable+" ("+LstChamps+") VALUES ("+LstValues+")"
Requete=unicode(Requete)
 
try:
	cur = self.CnxBase.cursor()
	cur.execute(Requete.format(**TblValues))
	self.CnxBase.commit()
except db.ProgrammingError:
	print "--------- Erreur dans "+self.FichierCourant+" ligne "+str(NoLigne)+"-------------------"
	print Requete.format(**TblValues)

Tout vient à point à qui sait attendre...

Je viens de trouver la solution et je vais en faire profiter tout le monde (quelle grandeur d'âme !).

En fait c'est dans l'encodage que je me suis vautré il ne fallait pas écrire :
Code:

1 2 3 4 5 6 TblCharset=chardet.detect(self.TblFicCSV[NoLigne][NoColFic]) if TblCharset["encoding"]=="ascii" or TblCharset["encoding"]==None : TblValues[NomChamp]=self.TblFicCSV[NoLigne][NoColFic] else : TblValues[NomChamp]=unicode(self.TblFicCSV[NoLigne][NoColFic].decode(TblCharset["encoding"]))
mais :
Code:

1 2 3 4 5 6 TblCharset=chardet.detect(self.TblFicCSV[NoLigne][NoColFic]) if TblCharset["encoding"]=="ascii" or TblCharset["encoding"]==None : TblValues[NomChamp]=self.TblFicCSV[NoLigne][NoColFic] else : TblValues[NomChamp]=unicode(self.TblFicCSV[NoLigne][NoColFic].decode("latin-1"))
Et c'est tout !!!
Pourquoi ? J'en sais rien, je suis over-gavé par ces histoires d'encodage et de décodage. Tout ce que je sais, c'est que ça marche, tous les caractères passent, les é, les è, les ü, les ß (bon, je vais pas tous les faires non plus...)

10/01/2011, 18h06
wiztricks

Salut,

La différence semble être de forcer la valeur de l'encoding à "latin-1" plutôt que d'utiliser celle détectée par chardet.

? Je n'ai pas lu le code attentivement mais 'de loin', çà semble détecter l'encoding sur la base de quelques champs plutôt que sur tout le fichier ?

Comme, in fine, il faut transformer tout çà en Unicode avant de pouvoir l'utiliser, je séparerais complètement la partie transcodage de celle de chargement de la base. Cette dernière n'ayant qu'à traiter des fichiers utf-8.

Les intérêts pouvant être:
1 - pouvoir éventuellement écarter les .CSV douteux - plutôt que de polluer la BDD c'est une option "à voir".
2 - vérifier que le transcodage et chardet "fonctionne raisonnablement".

Note: "raisonnablement" pouvant être de s'assurer sur un jeu de test ou à chaque "conversion" que la transformation vers utf-8 est réversible.

Cordialement et meilleurs vœux
- W