Ça c'est normal, c'est dans sa nature même. Par contre, c'est tant qu'on se limite au LLM. Dès que tu le combine avec des outils, tu peux compenser dans une certaine mesure les trous. Un LLM est un générateur de texte statistique : si tu as peu de données tu as peu de chances qu'il te la génère, d'où les perfs lamentables sur des sujets de niche. Moi j'y ai eu droit avec le XSD 1.1: il fournit des contraintes qui m'intéressait mais est bien moins utilisé. Du coup dès que je posais une question nécessitant ses fonctionnalités, le LLM me sortait bien ça, mais en mettant "XSD 1.0" dans le XML généré. Quand je lui disais que ce n'est pas du XSD 1.0, il me disait gentiment que j'avais raison, mais quand je lui demandais de corriger il remettait 1.0.
Ça je n'en suis pas convaincu. Elle va finir par stagner, probablement, mais autant je comprends la possibilité que ça décroisse en théorie, autant en pratique il suffira d'arrêter de réinjecter du synthétique au pire. Car quand on fait du synthétique, il faut nettoyer pour ne pas réinjecter des erreurs.
La "compréhension" viendra plutôt avec les systèmes hybrides LLM + symbolique je pense. Le LLM est doué pour traiter le langage, mais le raisonnement faut le donner à quelque chose de plus rigoureux. Pas du statistique comme le LLM.
Pas vraiment. C'est entrainé sur de le génération de texte (retire le dernier mot et fait le deviner à la machine). C'est le post-entrainement (fine tuning) qui formate ensuite sur la base de questions-réponses pour avoir quelque chose d'utilisable en mode discussion. Mais ce n'est pas inscrit dans le marbre.
Les interviews, on a de tout et n'importe quoi. Quand c'est Yann Lecun et autres directeurs techniques qui sortent des trucs, oui y'a moyen qu'il ait du nez pour voir où ça va, même si je ne suis pas d'accord avec tout ce qu'il dit. Mais quand c'est des présidents qui font plus de business/marketing que de technique, ça part dans tous les sens et c'est à qui sortira l'affirmation la plus osée.
Partager