Discussion :

[kap]

Bonjour à tous,

J'ai apparemment un problème d'encodage avec l'upload d'un fichier texte. Je développe une application javascript + GoogleAppEngine (Python). Les utilisateurs doivent pouvoir charger un fichier texte local et réaliser des traitements côté client. Pour se faire, j'utilise le plugin jQuery File-Upload. Pour fonctionner sous IE09 (browser utilisé par mon client), le plugin utilise une iframe pour envoyer le fichier et récupérer son contenu. Voici mon code python pour retourner le contenu du fichier (je tiens à préciser que je suis débutant en python, un autre développeur s'occupe normalement de la programmation côté serveur mais il est parti en vacances):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
@csrf_exempt
def fileUpload(request):
    try:
 
        file = request.FILES['files'] 
        content = file.read(file.size)
        logging.info(type(content))
        logging.info(content)
        result = [{"name": file.name,
                   "size": file.size,
                   "content": content}]
        logging.info(result)
        json_data =  json.dumps(result)
        logging.info(json_data)
        return HttpResponse(json_data, content_type='text/plain')
 
    except Exception, exception:
        return utility.create_http_error_response(exception.message)

Mon client m'a envoyé un fichier texte. Celui-ci ne fonctionne pas. Voici les logs :

2014-02-11 11:24:05.514 <type 'str'> 
I 2014-02-11 11:24:05.560 Col1;Col2;...;ColN
W 2014-02-11 11:24:05.566 /app/maps/views.py:444: DeprecationWarning: BaseException.message has been deprecated as of Py 
E 2014-02-11 11:24:05.567 /app/maps/views.py:444: DeprecationWarning: BaseException.message has been deprecated as of Py 
E 2014-02-11 11:24:05.567  return utility.create_http_error_response(exception.message)

Si j'encode ce fichier en UTF-8 avec Notepad++, mon script fonctionne. Avez-vous une idée pour résoudre mon problème?

[VinsS]

Salut,

Essaye comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
    except Exception, exception:
        return utility.create_http_error_response(exception)
 
# ou encore, python >= 2.6
    except Exception as exception:
        return utility.create_http_error_response(exception)

[kap]

Merci pour ta réponse.

J'ai implémenté ta deuxième proposition. Le client Javascript ne reçoit pas de retour. Dans mes logs, j'ai plusieurs erreurs dont :

raise TypeError(repr(o) + " is not JSON serializable")
TypeError: UnicodeDecodeError('utf8', "Brand;CD_SITE...

Avant de voir ta réponse, j'ai testé avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
result = {"name": file.name,
          "size": file.size,
          "content": unicode(content , errors='replace')}

Là ça passe mais pour le coup mes "é" sont remplacés par des caractères "?", ce qui ne m'arrange pas

[kap]

J'ai un peu contourné le problème mais la solution n'est pas satisfaisante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
@csrf_exempt
def fileUpload(request):
 
    def force_decode(string, codecs=['utf8', 'cp1252']):
        for i in codecs:
            try:
                return string.decode(i)
            except:
                pass    
 
    try:
 
        file = request.FILES['files']
        content = file.read(file.size)
        content = force_decode(content)
 
        logging.info(type(content))
        logging.info(content)
        result = {"name": file.name,
                   "size": file.size,
                   "content": content}
        logging.info(result)
        json_data =  json.dumps(result)
        logging.info(json_data)
        return HttpResponse(json_data, content_type='text/plain')
 
    except Exception, exception:
        return utility.create_http_error_response(exception)

Ca fonctionne dans le cadre de ce fichier (puisque encodé en cp1252). L'application va être utilisée en Belgique, en Allemagne, en Italie et en France... Du coup je risque de rencontrer d'autres problèmes d'encoding... Si vous avez une meilleure piste, je suis preneur !!

[wiztricks]

Salut,

Ca fonctionne dans le cadre de ce fichier (puisque encodé en cp1252). L'application va être utilisée en Belgique, en Allemagne, en Italie et en France... Du coup je risque de rencontrer d'autres problèmes d'encoding... Si vous avez une meilleure piste, je suis preneur !!

Sauf a imposer que tous les fichiers soient utf-8, il faudra détecter l'encoding au pif et accepter de se planter de temps en temps. C'est déjà ce que vous faites et il n'y a pas d'autres solutions.
Ceci dit, les anciens ont déjà fait le gros du boulot et pris le temps de le mettre a disposition via différents packages:

• chardet: il fait un peu ce que vous faites (essai/erreur).
• UnicodeDammit: avant de faire comme chardet, ça va regarder si l'encoding n'est pas donne dans le fichier.

note: UnicodeDammit est intégré a BeautifulSoup. Il utilise chardet s'il le trouve.

Reste a récupérer ces packages et les mettre en œuvre.

- W