Discussion :

[khaled87]

Bonjour a tous

pour charger un fichier .txt j'ai fait ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 
 
def charge_fichier(nomFile,cpt_doc):
    global nb_doc
    f=codecs.open(nomFile,'r','utf-8')
    if(not f):return 0;
    nb_doc+=1;
    t=f.read()
    t=t.lower()
    a=t.split()
    for mot in a:
        if(not (mot,cpt_doc) in freq0 ):
            freq0[mot,cpt_doc]=a.count(mot)
            n0[mot]+=1
    f.close()
    for (mot ,doc) in freq0 :
        poid0[mot,doc]=freq0[mot,doc]*log(nb_doc/n0[mot]+1,10)
##      bool
    index_bool(indexBoolean_0,a,cpt_doc);
 
    a=[porteur.stem(x)for x in a if not x in ignored_words]
    for mot in a:
        if(not (mot,cpt_doc) in freq1 ):
            freq1[mot,cpt_doc]=a.count(mot)
            n1[mot]+=1
    f.close()
    for (mot ,doc) in freq1 :
        poid1[mot,doc]=freq1[mot,doc]*log(nb_doc/n1[mot]+1,10)
 
    index_bool(indexBoolean_1,a,cpt_doc);
 
    return 1;

mais une erreur UnicodeWarning s'affiche dans la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

a=[porteur.stem(x)for x in a if not x in ignored_words]

comme suite :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
 
 a=[porteur.stem(x)for x in a if not x in ignored_words]
UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal

pour éviter cette erreur j'ai enregistré le fichier en UTF-8 ''notpade++''

et j'ai fait ça aussi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
 
# -*- coding: utf-8 -*-
import codecs

mais toujours la meme erreur s'affiche

Merci pour vos repense

[tyrtamos]

Bonjour,

Ce qui est lu avec codecs.open est en unicode. Il faudrait donc voir quel est l'encodage de ignored_words.

[khaled87]

Bonjour,

Ce qui est lu avec codecs.open est en unicode. Il faudrait donc voir quel est l'encodage de ignored_words.

Merci pour votre repense

lignored_words est un fichier .txt avec un encodage UTF-8 (sans BOM)

alors comment je peut régler le problème ?

Merci

[tyrtamos]

alors comment je peut régler le problème ?

En le lisant aussi avec codecs.open(..., 'r', 'utf-8') pour qu'il soit aussi en unicode en mémoire.

[khaled87]

En le lisant aussi avec codecs.open(..., 'r', 'utf-8') pour qu'il soit aussi en unicode en mémoire.

mais si je veut lire mon document charger avec utf-8 sans BOM ?

[tyrtamos]

Si tu veux laisser "ignored_words" en 'utf-8', tu peux aussi convertir le 'x' de "if not x in ignored_words" en utf-8 comme suit: "if not x.encode('utf-8') in ignored_words".

L'objectif, pour répondre au warning, est que la condition 'in' se fasse entre des chaines ayant le même encodage.