programme python: mot syntaxiquement correct

Version imprimable

08/04/2012, 15h58
ysahel

programme python: mot syntaxiquement correct

Salut,

y a t il un programme python qui me permettra de lire le contenu d'un fichier mot par mot tout en vérifiant que chaque mot qu'on extrait possède une information lexicale ou bien phrases avec information syntaxique.

Merci d'avance !

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import linecache;
 
filename = "monfichier.txt"
 
#Methode 1, on compte s arreter à un moment donné...
index = 1
line = linecache.getline(filename, index)
while True:
    mots = line.split()
    for mot in mots:
        mot
        #bla bla bla
 
 
#Méthode 2, on doit traiter tout le fichier, je le suppose pas trop volumineux
for line in open(filename):
    for mot in line.split():
        mot
        #bla bla bla

Pour le reste des "vérifications" des mots, le module re devrait pouvoir le faire s'il est besoin de chose "compliquée"

'lut

14/04/2012, 19h57
ysahel

Merci afranck64 pour votre réponse, ça me permettra de lire le fichier texte mot par mot. Mais comment pourrais je vérifier le lexique de chaque mot ??

Pourriez vous s'il vous plait m'aider ou me guider à coder ce code c ma premier tentative à coder en python ?

Merci beaucoup par avance!!
14/04/2012, 20h16
wiztricks

Salut,

Il serait bon que vous précisiez un peu plus ce que vous entendez par lexique et syntaxe car suivant le type de grammaire, les outils à utiliser ne sont pas du tout les mêmes.

Cordialement,
- W
14/04/2012, 20h48
ysahel
Merci pour vous,

Voila en fait mon but après avoir lu le fichier c'est de vérifier :
- le lexique : vocabulaire :
- la syntaxe : grammaire ;
- la sémantique : sens.
C'est ça mon but en grosso-modo.

Je vous remercie !!
15/04/2012, 00h49
ysahel
Peut être que ma question n'est pas beaucoup claire, en fait je vise à vérifier les 3 points, que je l'ai déjà cités.
Citation:
le lexique : vocabulaire :
la syntaxe : grammaire ;
la sémantique : sens.
en les appliquant sur le contenu du fichier en utilisant le langage python. Par exemple, je voudrai trouver une phrase dans mon fichier texte qui est syntaxiquement correcte.

j'espères que c'est claire maintenant :( .
j'ai vraiment besoin de votre aide.
Je vous remercie !!
15/04/2012, 10h52
fred1599

Le plus simple serait que tu donnes un exemple d'entrée sortie.
15/04/2012, 11h47
ysahel

Ok merci,
Contenu du fichier:

Citation:

Message de UNIKA à à V.X.Y.Z le 16/07/2003/ 16:04:31
=== FILMS XX COMPLETS A TÉLÉCHARGER ===
Plus de 900 Films XX toutes catégories à télécharger sans kits de connexions ni CB.

Notez le lien suivant: www.ZZZZZZ.com

Pour fermer cette fenetre appuyez sur OK apres avoir noté l'url www.ZZZZZZ.com

je voudrai verifier que les information contenu dans le fichier sont vraiment des informations pertinentes et non pas du bla bla bla. Donc avec python:
--> Je dois lire le fichier et vérifier sont contenu ( lexique, syntaxe et sémantique de ses phrases )

Merci beaucoup pour vous !!
15/04/2012, 11h53
fred1599

Citation:

je voudrai verifier que les information contenu dans le fichier sont vraiment des informations pertinentes

Oui c'est bien mais de quelles informations tu parles ?
15/04/2012, 12h21
ysahel

Citation:

quelles informations tu parles ?

Le contenu du fichier c'est à dire les mots et les phrases, qui forment le fichier, sont correctes.
15/04/2012, 12h44
fred1599
Bon je vois que tu manques de précision, donc je vais faire avec ce que j'ai.

Pour vérifier qu'un mot est dans une chaîne de caractères on peut utiliser if...in
Code:

1 2 if "string" in line: # traitement...
Si tu veux vérifier la position d'un mot dans une ligne, tu peux utiliser la fonction find().
Code:

1 2 if line.find("string", 5, 10) != -1: # vérifie que "string" se trouve entre l'indice 5 et 10 de line # traitement...
Après si tu n'arrives pas à te débrouiller avec cela, il faudra nettement plus de précision, car

Citation:

Le contenu du fichier c'est à dire les mots et les phrases, qui forment le fichier, sont correctes.

Un ordinateur n'est pas un cerveau avec une boule magique, il n'applique que se qu'on lui demande d'appliquer, il ne devine pas.
15/04/2012, 13h10
ysahel

:D Merci pour votre réponse, vous avez raisons. Mais le problème c'est que je connait pas d'avance le contenu du fichier.
Alors pour simplifier comment par exemple "google", "Word"...etc, vérifient l'orthographe d'un texte en français ou en anglais ??
15/04/2012, 13h36
fred1599

Citation:

Merci pour votre réponse, vous avez raisons. Mais le problème c'est que je connait pas d'avance le contenu du fichier.

Admettons, seulement tu devrais savoir exactement ce que tu cherches ;)

Citation:

Alors pour simplifier comment par exemple "google", "Word"...etc, vérifient l'orthographe d'un texte en français ou en anglais ??

Il te faudra un fichier dictionnaire (français ou anglais) qui te permettra de vérifier si ton orthographe est correct.
15/04/2012, 13h44
ysahel

Citation:

Il te faudra un fichier dictionnaire (français ou anglais) qui te permettra de vérifier si ton orthographe est correct.

Et ce je pourrai le trouvé sur le Web ce fichier ??
15/04/2012, 13h47
fred1599

Citation:

Et ce je pourrai le trouvé sur le Web ce fichier ??

Oui souvent il existe des fichiers pour le scrabble ou autres jeux d'instruction littéraire, je te laisse chercher avec google ;)
15/04/2012, 14h05
tyrtamos

Bonjour,

Tel que formulé, le problème ressemble au "traitement automatisé du language", et je ne pense pas qu'il existe un module tout fait qui traite ce problème très complexe dans le cas général. Avec google et des mots comme "python traitement des langues", on trouve des sites comme http://traitementautomatiquedeslangu...2/hello-world/. Un simple coup d’œil sur le pdf (à télécharger) montre la dimension du problème.

A mon avis, le problème à résoudre me semble plutôt être analogue au traitement des emails pour détecter les spams. En particulier, recherche de mots et évaluation: ça devrait être beaucoup plus simple, même si l'évaluation est probabiliste ("tel message est 'probablement' un spam").

Dans ce cas, la démarche est empirique: quels sont les mots qui suggèrent que c'est une bonne info et les mots qui suggèrent le contraire? Il faut donc commencer par de nombreux exemples des 2 types de messages pour déceler ce qui caractérise l'un et l'autre. Et dans ce cas, on n'a pas besoin d'un dictionnaire de tous les mots français (si c'est du français), mais seulement (entre autres) d'une liste des mots caractéristiques.

Un exemple qui va un peu plus loin est disponible ici: http://www.cri.ensmp.fr/classement/doc/A-399.pdf.

Bref, il y a du boulot...
15/04/2012, 14h14
fred1599

Salut Tyrtamos,

Je pensais plus à un correcteur orthographique, dont l'utilisation d'un dictionnaire me semblait incontournable.

Citation:

A mon avis, le problème à résoudre me semble plutôt être analogue au traitement des emails pour détecter les spams. En particulier, recherche de mots et évaluation: ça devrait être beaucoup plus simple, même si l'évaluation est probabiliste ("tel message est 'probablement' un spam").

Si c'est le cas on pourrait par exemple créer une liste de mots interdits qui seraient contrôlés dans chaque corps et titre du mail, non?

La réponse à cette question peut être si j'ai bien compris

Citation:

Et dans ce cas, on n'a pas besoin d'un dictionnaire de tous les mots français (si c'est du français), mais seulement (entre autres) d'une liste des mots caractéristiques.

à voir maintenant ce que le PO souhaite réellement faire.
15/04/2012, 14h58
ysahel

1 pièce(s) jointe(s)

salut :) je vous remercie beaucoup pour vos réponses,

En fait, Tyrtamos vous avez beaucoup approché du problème mais moi ce que je cherches ce n'est pas de détecter si c’était un spam ou non, mais plus tôt je connais que c'est un fichier spam et je voudrai analyser de plus son contenu.
vous trouverez ci-joint une capture que je l'ai obtenu à partir de votre lien ( http://www.cri.ensmp.fr/classement/doc/A-399.pdf ) qui vas mieux expliquer.

Je vous remercie !!
15/04/2012, 16h14
tyrtamos

Alors, c'est bien ce que je craignais (:roll:): on a tout:
- traitement automatisé du langage pour trouver les phrases
- évaluation du caractère subjectif du sens de la phrase
- en fonction => stockage dans une base de données

Je ne connais pas de module Python capable de faire ça. On trouve assez facilement des 'parsers' pour analyser des codes informatiques, y compris Python, mais c'est beaucoup plus restreint que des phrases en langage naturel. A noter qu'en plus, des hommes peuvent dire des choses très intéressantes avec des phrases incorrectes et des fôtes d'ortographes...:D (ça arrive même très souvent!).

Je suis cependant tombé sur un livre qui en parle: http://www.developpez.net/forums/d11...g-with-python/, présenté dans un des forums de developpez: celui qui traite d'intelligence artificielle (qui, comme chacun sait, est le contraire de la "bétise naturelle"...).

Pour plus d'infos sur le traitement automatisé du langage naturel, cherche dans google avec "python traitement du langage naturel". Il y a de nombreux sites qui évoquent le sujet, qui fait partie des techniques d'intelligence artificielle. On y trouve des choses intéressantes et inattendues comme l'analyse automatiques des CV (http://www.pmellot.com/techno/analyseur.aspx)!. Tu devrais trouver quelques bases pour ton projet, en plus de la thèse de DZICZKOWSKI qui contient des éléments vraiment très intéressants.
15/04/2012, 16h39
ysahel

Je vous remercie infiniment !!
je vais essayer et je vous tiendrai au courant :)