Discussion :

[Channelle]

Bonjour

Je viens vers vous dans l'espoir de trouver une solution à mon probléme Je voudrais faire la lemmatisation d'un file (un fichier texte txt) en python j'ai fait des teste mais ca ne marche pas je sollicite votre aide svp car cest urgent Merci d'avance

[VinsS]

Salut,

À la place du dictionnaire et du set utilise plutôt Counter.
Et splitte ton texte si tu veux le compte des mots.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
>>> import collections
>>> collections.Counter("Je viens vers vous dans l'espoir de trouver une solution à mon probléme".split())
Counter({'dans': 1, 'une': 1, 'Je': 1, "l'espoir": 1, 'mon': 1, 'vers': 1, 'trouver': 1, 'à': 1, 'probléme': 1, 'de': 1, 'solution': 1, 'viens': 1, 'vous': 1})

[BufferBob]

salut,

splitte ton texte si tu veux le compte des mots.

du coup il faut aussi comprendre que la méthode .read() n'est pas adaptée, puisqu'on va se retrouver avec les retours chariots dans le texte, et qu'il faudra également prendre en compte les éventuelles césures, donc qu'il faut envisager de pré-traiter le texte correctement

par ailleurs je ne suis pas expert du TAL mais de ce que j'ai pu comprendre la seule façon de lemmatiser correctement depuis une autre langue que l'anglais avec nltk (et sans devoir implémenter soi-même tout un barda) c'est de passer par TreeTagger

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
>>> from treetagger import TreeTagger
>>> tt_fr = TreeTagger(encoding='utf-8', language='french')
>>> from pprint import pprint
>>> pprint(tt_fr.tag(u'Mon Dieu, faites que ça marche!'))
[[u'Mon', u'DET:POS', u'mon'],
 [u'Dieu', u'NOM', u'Dieu'],
 [u',', u'PUN', u','],
 [u'faites', u'VER:pres', u'faire'],
 [u'que', u'KON', u'que'],
 [u'\xe7a', u'PRO:DEM', u'cela'],
 [u'marche', u'NOM', u'marche'],
 [u'!', u'SENT', u'!']]

[Channelle]

salut,

Merci pour vos réponse.

@VinsS j'ai testé la solution que vous avez proposé en remplaçant votre phrase ( ("Je viens vers vous dans l'espoir de trouver une solution à mon probléme".split()) par le chemin de mon fichier texte mais ça ne marche pas il me met une erreur il prend pas le contenu de mon fichier texte. Savez vous pourquoi please

[Channelle]

Salut @BufferBob

Merci pour la répondre. J'ai eu le méme souci avec Treetagger il prend pas le contenu de mon fichier

[VinsS]

Essaye ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
with open("C:/Troismousquetaires.txt", "r") as inf:
    content = inf.read().replace("\n", " ")
 
count = collections.Counter(content.split())
print(count)