Discussion :

[kokomtg]

Bonjour à tous,

je me tourne vers vous car il me manque des outils mathématiques que je n'arrive pas à trouver, pourriez vous m'aiguiller dans mes recherches afin de résoudre mon problème...

Je travaille actuellement avec un labo de linguistique qui essaye de simuler l'apprentissage de la syntaxe par un enfant. Le but de l’expérience est d'analyser une phrase et d'en déterminer la racine syntaxique.

Pour cela j'analyse chaque paire de mots de la phrase selon un système de pile (shift reduce):

A chaque paire de mots est associé un vecteur de dimension 10. Nous voulons classifier le lien entre les deux mots.

Il y a 3 classes qui correspondent au type de lien syntaxique qu'il y a entre les deux mots:
3 types de lien (gauche, droite, aucun lien)
Le lien détermine quel mot gouverne l'autre

Simplement, s'il y a un lien vers la gauche, le mot de droite gouverne le mot de gauche.


Le type de lien indique le sens de la fleche. “chat” gouverne “le” et est gouverné par “mange”. Le mot racine est “mange”.

Une fois toutes les paires de mots classifiées, je liste l'ensemble des gouverneurs qui ne sont jamais gouvernés. (un mot ne peut être la racine s'il est gouverné).

J'en sélectionne un au hasard pour être la racine.

Un logiciel annexe m'indique s'il s'agit de la bonne racine.

Je veux développer un réseau de neurones capable de déterminer la classe des vecteurs.

A aucun moment je reçoit la valeur exacte de la classe du vecteur (du lien syntaxique)

Ma question est :

Comment entraîner un réseau de neurones si, à la fin de l’expérience, il n'y a pas la valeur correcte de la classe, mais seulement une valeur de retour sur l'ensemble des opérations. Comment réaliser un réseau de neurones partiellement supervisé ?

Merci d'avance pour votre aide, j'espere avoir été clair.

Corentin

[dourouc05]

Une partie n'est pas claire pour moi :

mais seulement une valeur de retour sur l'ensemble des opérations

Donc, tu cherches à prédire un vecteur, mais tu n'as pas le "vrai" vecteur à atteindre, juste un nombre qui compare les deux ?

[kokomtg]

Merci de ton interet dourouc05!

Voila c'est ça, je n'ai pas le vrai vecteur a atteindre, la vraie classe.

Le resultat de ces vecteurs me donnent une classe qui determine des deux mots qui gouverne l'autre (ou aucune gouvernance).

J’établis donc la gouvernance pour chaque paire de mot de la phrase
(même les mots non mitoyens : pour la phrase "je vais bien", on analyse [je;vais],[vais;bien] et [je;bien]).

Tous les mots qui ne sont pas du tout gouvernés sont potentiellement racine. On en désigne un au hasard pour etre la racine.

Le seul retour que j'ai est la bonne racine.

[dourouc05]

Dans ce que je comprends, la racine implique tout de même une bonne partie du reste de ta prédiction (quand tu peux la déterminer de manière unique). Tu peux donc n'utiliser que cette information-là dans ta fonction de perte, en espérant que les autres sorties sont correctes. C'est un peu inspiré de l'apprentissage par transfert : tu entraînes ton réseau neuronal sur une tâche particulière avec beaucoup de données, puis tu réapprends ta dernière couche pour un autre problème où tu as assez peu de données… et tu espères que ça marche.

Pour augmenter tes chances que cela fonctionne, pourrais-tu envisager d'augmenter ton jeu de données initial ? Par exemple, si tu as une phrase avec un complément grammaticalement inutile, tu peux avoir la phrase d'origine (hier, il pleuvait) et cette sans ce complément (il pleuvait). Je pense que ça pourrait améliorer tes résultats.

[kokomtg]

Merci beaucoup, je vais tenter cette piste là alors