Une réseau de neurones pour un agent de dialogue en langage naturel

Bonjour,
Je ne connais rien aux réseaux de neurone, alors j'étais sur point de faire une expérience, et je me suis dis, pourquoi ne pas poser la question.

Que puis-je espérer du système suivant ?

Soit un ensemble de dialogue en français dont chaque mot est identifié par code de 3 décimaux d'un delta de 0.01.

Soit un réseau de neurones avec :
N entrées (N = nombre de mots max dans la phrase d'entrée la plus longue de l'ensemble de dialogue X 3)
N sorties (N = nombre de mots max dans la phrase de sortie la plus longue de l'ensemble de dialogue X 3)

Question bonus,
Que va-t-il se passer lors de l'apprentissage ?
Que va-t-il se passer lors de l'exploitation ?

Merci

Il me semble que le problème principal d'une telle approche est que la fonction à approximer par le réseau n'est pas très continue (un petit changement à l'entrée, comme le rajout d'une négation dans la phrase, peut entrainer un changement important à la sortie). Du coup le réseau aura des difficultés à généraliser.

Yep ! Merci,

Par exemple si j'ai dans mon modèle d'apprentissage :

(entrée) - je pense donc je suis.
(sortie) - L'être est un processus intellectuel
(entrée) - Je suis donc je pense.
(sortie) - un processus intellectuel est un être.
(entrée) - je ne mange pas de haricots verts
(sortie) - C'est dommage.

Et que je rentre : " je ne suis pas un haricot vert."

Je ne vais pas avoir quelque chose du genre : "C'est dommage".

?

Je m'attend à ce genre de résultat.

Je doute que ce genre de résultats soit prévisible. En effet, un réseau de neurones dans le cas général approche des fonctions continues. Tu lui donnes une image d'un 8 manuscrit, il te dit c'est un 8 (après apprentisage). Tu re-écris ton 8 (ça sera forcément un chouilla différent, justement un chouilla (cf le post de Sylvain)), et il te dira que c'est un 8 également :arrow: il s'agit ici de continuité. Pour des fonctions discontinues c'est beaucoup plus complexe. Qui plus est, il me semble que les réseaux de neurones ne sont pas la solution à préférer pour ce qui concerne le langage. Toutefois, ne touchant pas du tout à ce domaine pour le moment, je te laisse effectuer des recherches pour trouver une technique d'IA efficace.

Faire un agent conversationnel est loin d'être chose facile... Il faut parser la phrase, en récupérer la structure (Groupe verbale, nominal, etc), en extraire la sémantique (le sens de la phrase), mais surtout, si tu veux faire un bon agent, il faut en analyser la pragmatique (en gros, qu'est ce qu'un humain répondrait dans ce cas ? Est ce que ma réponse présente un quelconque intéret). Je ne pense pas qu'un simple réseau de neuronne ai une chance de s'en sortir avec tout ça.
Il y a beaucoup de débat concernant le fait que le cerveau humain soit spécifiquement adapté au langage, mais ce qui semble assez raisonnable, c'est qu'un réseau en double couche à 42 neuronnes n'aura aucune chance de donner quoi que ce soit de probant.

yep, Je me doute bien que pour avoir quelque chose de cohérent je devrais mettre en œuvre une certain nombre de techniques variées et concevoir un certain nombre de chose indispensable à la maitrise du discours.

C'est en vue d'un développement plus élaboré (selon l'avancement de mes capacités) que je me suis donné cette expérience en exercice afin de définir une sorte de ligne médiane du comportement des RdN que je ne connais pas du tout.


Vous dites que le RdN n'est pas adapté au problème.
Cepndant, le modèle réel selon les connaissance est bien un modèle de RdN. Donc, quelque part, il doivent avoir leur place. Je doit trouver laquelle.

Citation:

---

Envoyé par jovalise

Vous dites que le RdN n'est pas adapté au problème.
Cepndant, le modèle réel selon les connaissance est bien un modèle de RdN. Donc, quelque part, il doivent avoir leur place. Je doit trouver laquelle.

---

Ouaip, sauf que le "modèle réel" comme tu l'appelle si joliment il en a un peu plus des neurones... Et le "un peu" est là pour être poli. Les réseaux de neurones actuels emploie une quantité de neurones et de synapse absolument incomparable, sans parler des petites différences entre les neurones réels et les "neurones" utilisés habituellement en informatique. ;)

De plus, les réseau de neurone doivent subir une phase d'apprentissage, or pour automatiser cette phase d'apprentissage dans ton cas... Ca va être un peu dur. (mais bon si tu es prêt à éduquer ton ordi à la main pour quelques dizaines d'années... :roll: )

En bref, la question n'est pas si simple !! :aie:

--
Jedaï

Merci Jedaï ,

Il n'est pas question d'éduquer la machine à la main.
Je vais prendre un ensemble de dialogue existant et constituer un base d'apprentissage.

Pour le reste, je crois qu'il ne manque pas beaucoup de temps avant d'y remédier.



Vous ne m'avez pas convaincu de l'inutilité de l'expérience. Je suis recadré, mais je vais tester.

Merci de votre aide.

Citation:

---

Envoyé par jovalise

Merci Jedaï ,

Il n'est pas question d'éduquer la machine à la main.
Je vais prendre un ensemble de dialogue existant et constituer un base d'apprentissage.
.

---

Juste un peu de bon sens : avec nos milliards de neurones, il nous faut environ 17 à 20 ans (et encore, quand on voit sur ce forum...:aie:) pour maitriser notre langue....

Avec une 50aine.....

Un peu voir suffisamment pour l'invalider, inconsistante, ... notre langue ... au passage.

Bonjour,

Dans quelque heures, je devrais être fixé sur la validité du principe dont je fais l'expérience.

Je voudrais anticiper un peu sur la réussite.

Je voudrais savoir si je doit reprendre l'apprentissage du réseau à zéro dans le cas d'une extension de la matrice d'apprentissage ou si je peux profiter d'un apprentissage antérieur ? Svp Merci.

Bonjour ou re-bonjour,

Voila, je suis toujours sur ce projet... Et je cherche à savoir comment définir mon échantillon d'apprentissage, si je ne me trompe pas de question. :aie:

Ce programme doit donc prendre des chaînes de mots de longueur variable.
Afin de constituer un I.A. je fait l'expérience d'architecturer, et d'instruire des RdN artificiels. Mais si je connais à peux près le contenu d'une représentation discursive de la réalité, je n'ai aucune idée de la taille de l'échantillon d'apprentissage. Existe t-il un moyen de la calculer à peu près ?
S'il vous plaît merci!

Aussi varié que possible. Tant que tu pourras ajouter des exemples qui apportent une connaissance à ton RdN (exploitent une dimension peu exploitée par les autres, etc), rajoutes en.

Citation:

---

Envoyé par Alp

Aussi varié que possible. Tant que tu pourras ajouter des exemples qui apportent une connaissance à ton RdN (exploitent une dimension peu exploitée par les autres, etc), rajoutes en.

---

Merci Alp. Donc, rester varié. Pas de redondance... Si j'ai 4 exemple d'une règle, ça sert à rien d'en mettre ne serait-ce que deux.

Bah ça dépend de si les exemples sont différents ou pas.

L'idée c'est que la distance entre deux exemples de ta base d'apprentissage soit pas toute petite, en moyenne. Ca sert à rien de mettre un paquet d'exemples qui sont très très proches les uns des autres. Ca ne ferait que renforcer l'apprentissage de tels exemples mais au dépit des autres types d'exemples. Imagine tu veux faire un RdN qui va apprendre à reconnaître des chiffres manuscrits. Il est fortement déconseillé par exemple de lui donner 100 exemples de "7" manuscrits à apprendre, et 10 exemples pour tous les autres chiffres. Car il reconnaitrait très bien les 7 mais moins bien les autres, que ce qu'il aurait pu si tu n'avais pas mis 100 exemples de 7.

Re-merci Alp.

Citation:

---

Envoyé par Alp

au dépit

---

aux dépens ;)

Citation:

---

Envoyé par souviron34

aux dépens ;)

---

Promis je vais trouver une excuse valable pour avoir fait une telle faute au milieu de la journée :aie:

Citation:

---

Envoyé par Alp

Promis je vais trouver une excuse valable pour avoir fait une telle faute au milieu de la journée :aie:

---

Me semble que c'est "en dépit". le "au" m'aura suffis à ne pas me laisser prendre à la faute.

Vous êtes vraiment des expert en IA ?

Expert non, mais je ne devrais pas avoir dit de bêtise pour autant :)

Sinon, c'était bien "au dépens" que je voulais utiliser à l'origine.