Après avoir constaté que le marketing autour de Claude Mythos s’était avéré, comme prévu, être une arnaque, j’ai voulu dresser une liste exhaustive des astuces utilisées pour commercialiser les LLM.
Cette liste exhaustive comprend des déclarations provenant directement des dirigeants de ces entreprises ou du « marketing organique » de personnes sur les réseaux sociaux, ainsi qu'une explication du fonctionnement de l'arnaque. Il s'agit de ma première tentative, elle est donc probablement incomplète.
Liste exhaustive des arnaques marketing liées aux LLM v1 :
« Encore deux semaines » : les modèles seront bientôt suffisamment performants pour faire ce que nous prétendons.
« Ils sont déjà assez performants » – les modèles sont déjà assez performants pour remplacer les travailleurs, mais cela ne s’est pas encore produit pour x, y et z raisons.
« Nous venons de créer Dieu dans nos laboratoires, et non, vous ne pouvez pas le voir » – les modèles qu’ils ont développés en secret sont en réalité capables de faire ce que nous attendons, mais ils ne peuvent pas encore nous les montrer pour x, y et z raisons.
« En réalité, ils ont déjà remplacé des emplois » – les licenciements effectués par les entreprises technologiques, invoquant l’IA comme raison, ont déjà été remplacés par la technologie LLM actuelle, en ignorant les conditions du marché et les données passées sur les licenciements dans de telles conditions.
« C’est juste que vous ne savez pas les utiliser aussi bien que moi » – les modèles sont assez performants, mais une ingénierie de prompts ésotérique est nécessaire pour obtenir ces résultats, et non, je ne vous l’apprendrai pas.
« J’ai créé une application qui rapporte gros grâce aux LLM » – ils prétendent avoir déjà monté des start-ups, presque toujours des entreprises SaaS, qui leur rapportent des tonnes d’argent, mais quand on leur demande de les voir, ils ne les montrent pas.
« Vous n’utilisez pas le bon modèle » – ils prétendent que vous devez utiliser le mauvais modèle et que vous devez utiliser Open Claude 420b-parameter Gemini Plus Pro 6.9 avec le mode agent 4RealThisTime HomerSimpson activé. Notez que cet argument servira à attaquer toutes les études sur l’efficacité des LLM, car les études prennent du temps à réaliser et à publier, alors que de nouveaux modèles sortent plus fréquemment qu’il n’est possible de mener à bien et de publier une étude
« Vous prenez du retard » – affirme que vous devez utiliser les bots dès maintenant, même s’ils ne sont pas encore assez performants pour automatiser entièrement des tâches, car sinon, lorsque les bots seront suffisamment performants, vous aurez perdu vos compétences en anglais naturel nécessaires pour formuler des instructions génératives efficacement.
« Toutes ces entreprises utilisent des grands modèles de langage (LLM) ; pensez-vous donc en savoir plus qu'elles ? » – en faisant référence aux affirmations de grandes entreprises qui ont massivement investi dans les LLM et qui clament leur succès, tout en affirmant que ces modèles sont utilisés efficacement, sans qu'on puisse constater de résultats tangibles en termes de rapidité et/ou de qualité des résultats produits par leur entreprise.
« Le score de référence a augmenté » – en revendiquant des améliorations lors des tests de référence effectués sur leur dernier modèle, bien que l'entraînement ait été spécifiquement optimisé pour améliorer ces résultats, puis en confondant de meilleurs scores de référence avec une réelle capacité à automatiser des tâches ou à améliorer considérablement la productivité des travailleurs.
« Il peut désormais compter les lettres dans le mot « Strawberry » / il peut désormais faire des choses qu'il était notoirement incapable de faire auparavant » – affirmer qu'il peut désormais compter les lettres dans le mot « Strawberry » ou vous expliquer comment utiliser une tasse sans fond, etc. est souvent utilisé pour suggérer une capacité de raisonnement accrue du LLM, mais implique souvent simplement l'intégration d'une réponse codée en dur dans le service.
« Il a échappé à notre contrôle » – dire qu’ils ne peuvent pas contrôler le LLM, sous-entendant qu’il est conscient ou vivant dans une certaine mesure, alors qu’en réalité, il a simplement prononcé des mots qu’il n’était pas censé dire ou qu’un agent a utilisé une application qui n’était pas prévue par la requête de l’utilisateur lors de la prédiction du token suivant
« Il se sent triste/effrayé/heureux/en colère, ce qui suggère qu’il est conscient » – on demande au LLM ce qu’il ressent, et il prédit le token suivant avec une réponse incluant une émotion ressentie par les humains, puisque les données d’entraînement proviennent de conversations humaines en ligne.
« Les coûts baissent / le service LLM est rentable » : cela ignore les coûts de formation et les dépenses d'investissement en matériel, se référant généralement uniquement à la rentabilité de l'inférence, ce qui n'est même pas vrai dans de nombreux cas. La formation et les dépenses d'investissement représentent plus de 95 % des coûts totaux liés à l'exploitation des modèles.
En ai-je oublié ?
Partager