Les grands modèles de langage (LLM) récompensent l’expertise
Les grands modèles de langage (LLM) récompensent l’expertise, par Sean Goedecke
Dans les années 2010, si vous aviez des lacunes techniques (par exemple, si vous ne saviez pas écrire du CSS), vous deviez soit compter sur un collègue compétent, soit simplement espérer que la réponse exacte à votre problème se trouvait quelque part sur Internet. Aujourd’hui, tout le monde peut écrire du CSS plus ou moins correct en déléguant la tâche à un LLM. Les LLM transforment tout le monde en généraliste.
De ce fait, beaucoup de gens pensent qu’il n’y a aucune compétence requise pour travailler avec les LLM. Si vous voulez le produit que les LLM peuvent fournir — des mathématiques de niveau doctorat, du code informatique plutôt bon mais parfois sans saveur, ou des textes maladroits à la manière de LinkedIn —, il vous suffit de le demander. Puisque tout le monde s’adresse aux mêmes modèles, les « utilisateurs expérimentés » obtiennent les mêmes résultats que ceux qui découvrent les LLM pour la première fois.
C’est faux. La compétence la plus importante en matière de formulation d'instruction générative réside dans l’expertise du domaine concerné.
La conversation de Terence Tao avec ChatGPT au sujet du contre-exemple récemment découvert à la conjecture de Jacobian en est une bonne illustration. Ce n’est pas le même ChatGPT auquel je m’adresse ! Je n’aurais jamais pu arriver là où Tao est parvenu, même avec un nombre illimité de tokens à dépenser.
La conversation de Tao nous apprend beaucoup sur la manière de bien formuler des instructions génératives. Voici quelques observations :
- Les messages de Tao sont très courts et vont droit au but. Il ne répond pas point par point au modèle, mais seulement à l’essentiel.
- Les réponses du modèle sont bien plus concises que lorsque j’essaie de parler de mathématiques avec GPT-5.6 Sol. En affichant son expertise, Tao fait basculer le modèle en mode « conversation avec des mathématiciens », et non en mode « explication à des amateurs ».
- Tao remet en question les réponses du modèle lorsqu’elles lui semblent erronées, mais sans le contredire directement ; il dit plutôt des choses comme « cela semble plus complexe que ce que j’espérais ».
- Tao propose lui-même plusieurs pistes et suggestions. Il ne suit presque jamais les conseils du modèle quant à la suite à donner.
Cependant, il ne suffit pas de suivre ces conseils pour interroger le modèle comme le fait Tao sur des questions mathématiques. La clé de sa technique réside en réalité dans la compréhension des mathématiques : extraire l’idée pertinente de la réponse en plusieurs paragraphes de ChatGPT, suggérer d’autres approches ou formulations, et identifier ce qui « semble bizarre ».
Terence Tao est un meilleur mathématicien que je ne suis programmeur. Mais l’idée sous-jacente — à savoir que la connaissance du domaine vous permet de mieux utiliser les LLM — est une chose que j’ai moi-même constatée dans mon travail. Si vous avez une bonne maîtrise de votre base de code, vous pouvez pousser le LLM bien plus loin que si vous n’y êtes pas familier. Comme vous avez votre propre idée de ce à quoi pourrait ressembler une bonne solution, vous pouvez dire « non, je pense que ça pourrait être plus simple ici », ou « mais ne faisons-nous pas déjà X ? », ou encore « peut-on exprimer ce problème en termes qui nous sont familiers ? ».
Cela rejoint une idée sur laquelle j’ai déjà écrit : les problèmes de conception de systèmes sont dominés par des spécificités concrètes, et non par des principes génériques. Bien sûr, les deux sont utiles, mais je préfère avoir une bonne connaissance de la base de code plutôt qu’une compréhension générale approfondie des systèmes logiciels. Dans sa conversation, Terence Tao pose beaucoup de questions spécifiques telles que « est-ce que X fonctionne ici ? » ou « étant donné Y et Z, pourquoi A ? ». Je ne peux pas poser ces questions à propos de la conjecture jacobienne, mais je peux les poser à propos des systèmes dont je suis responsable sur GitHub.
Si vous n’avez aucune connaissance du domaine, vous pouvez vous en remettre au LLM pour obtenir au moins quelque chose. Ce n’est pas mal ! Mais si vous disposez de connaissances du domaine, vous pouvez tirer bien plus de valeur du même LLM en l’orientant résolument dans la direction que vous souhaitez. La plupart d’entre nous devront combiner ces deux approches, car nous possédons des connaissances du domaine dans certains domaines, mais pas dans d’autres.
L’utilité des connaissances métier suggère que l’expertise humaine restera utile même à mesure que les modèles gagneront en puissance. Pour de nombreuses tâches, c’est l’humain qui constitue le goulot d’étranglement, et non le modèle, car la difficulté réside dans la communication au modèle du type exact de solution que l’humain souhaite. L’information se trouve déjà « dans le modèle », mais il faut un humain très intelligent pour l’en extraire.
Source : "LLMs reward expertise"
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi :
Répondre avec citation
Partager