La bulle de l'IA repose sur l'ignorance d'un fait scientifique : le langage n'est pas synonyme d'intelligence
« Un plafond mathématique cantonne l’IA générative à une créativité de niveau amateur », selon une étude qui précise que les productions de l'IA ne sont que des recombinaisons prévisibles de motifs existants
L'IA générative est loin du niveau que le sensationnalisme médiatique lui prête. C'est ce qu'indique une nouvelle étude qui brise le mythe selon lequel les systèmes d'IA tels que ChatGPT pourraient bientôt remplacer les humains les plus créatifs de la société. Selon l'étude, les grands modèles de langage (LLM) existants ont une limite mathématique intégrée à leur capacité créative, ce qui signifie qu'ils ne pourront jamais rivaliser avec l'originalité ou l'ingéniosité des individus les plus créatifs. Cette étude fait écho aux propos de Yann LeCun, pionnier de l'apprentissage profond, qui avait déclaré : les LLM n'atteindront pas l'intelligence humaine.
Le battage médiatique affirme que l’IA est sur le point d’égaler ou de dépasser l’humain. Cette idée est propagée par des acteurs tels que Sam Altman, PDG d'OpenAI, Elon Musk, PDG de xAI, etc. D'après eux, l'IA pourrait bientôt remplacer des artistes ou des acteurs, et serait capable d’une créativité comparable à celle des meilleurs créateurs. Ils laissent entendre que l’IA approche d’une intelligence artificielle générale (AGI) capable de tout faire.
Mais une nouvelle étude théorique publiée dans le Journal of Creative Behaviour remet en question cette idée. Menée par le professeur David H Cropley de l'Université d'Australie du Sud, l'étude soutient que les modèles d'IA tels que ChatGPT sont mathématiquement limités à une créativité de niveau amateur.
« Si l'IA peut imiter un comportement créatif, parfois de manière assez convaincante, sa capacité créative réelle est limitée au niveau d'un être humain moyen et ne peut jamais atteindre les normes professionnelles ou expertes selon les principes de conception actuels », a-t-il déclaré. L'étude remet en question les hypothèses largement répandues sur les pouvoirs créatifs de l'IA et apporte de la clarté dans le battage médiatique et les malentendus.
Évaluation des « capacités créatives » de l'IA générative
Le professeur David Cropley a lancé cette étude dans le but d'apporter des éclaircissements au débat actuel sur la capacité réelle de l'IA à être créative. Il a appliqué la définition standard de la créativité, qui requiert à la fois originalité et efficacité, au fonctionnement des grands modèles linguistiques. David Cropley a expliqué que cette approche permet de déterminer si la conception des systèmes d'IA limite naturellement leurs capacités créatives.
L'efficacité fait référence à l'utilité, à la pertinence ou à l'adéquation du produit par rapport à l'usage auquel il est destiné. L'originalité évoque le caractère novateur, inhabituel ou surprenant du produit. Dans la créativité humaine de haut niveau, ces deux traits coexistent : un chef-d'œuvre est à la fois unique et parfaitement exécuté.
Les grands modèles de langage fonctionnent en prédisant le mot ou « token » (jeton) suivant sur la base des modèles appris à partir de leurs données d'entraînement. Le professeur note que cette méthode prévisible et statistique permet une évaluation mathématique de la créativité des systèmes d'IA actuels. Son analyse montre que si l'IA peut produire des résultats qui semblent créatifs, son originalité est limitée par les modèles qu'elle a appris.
Elle révèle également que la créativité de l'IA ne peut donc pas dépasser le niveau moyen des humains. Dans l'étude, David Cropley cite des tests antérieurs montrant que les récits et les idées générés par l'IA se classent généralement entre le 40e et le 50e centile par rapport au travail humain. Cela confirme la conclusion selon laquelle « l'IA ne peut pas atteindre les normes expertes ou professionnelles avec les méthodes de conception actuelles ».
David Cropley note que la plupart des gens ont un niveau de créativité moyen, ce qui explique pourquoi les résultats de l'IA peuvent sembler impressionnants pour le grand public. Toutefois, les professionnels de l'écriture, du design ou de l'art remarquent rapidement que le contenu généré par l'IA est répétitif et stéréotypé.
Selon l'étude, une créativité de très haut niveau implique de produire des idées à la fois uniques et très efficaces, ce que l'IA ne peut pas réaliser, car elle s'appuie sur des données existantes. Le professeur David Cropley explique que l'IA générative peut aider à accomplir des tâches routinières, mais qu'elle ne peut pas remplacer les créateurs qualifiés ni produire à elle seule des œuvres révolutionnaires. L'étude reconnaît néanmoins quelques limites.
Limite mathématique de la créativité des modèles d'IA
L'étude a révélé un compromis fondamental inhérent à l'architecture des grands modèles de langage. Pour qu'une réponse de l'IA soit efficace, le modèle doit sélectionner des mots qui ont une forte probabilité de correspondre au contexte. Si la consigne est « Le chat était assis sur le... », le mot « tapis » est une complétion très efficace, car il est logique et grammaticalement correct. Le terme « tapis » est la fin la plus probable statistiquement.
Cependant, David Cropley estime que c'est aussi la complétion la moins originale. Elle est tout à fait prévisible. À l'inverse, le professeur explique que si le modèle sélectionnait un mot avec une très faible probabilité d'augmenter la nouveauté, l'efficacité diminuerait. À titre d'exemple, compléter la phrase par « clé à molette rouge » ou « nuage grondant » serait très inattendu et donc novateur, mais cela serait probablement absurde et inefficace.
David Cropley a déterminé que dans le système fermé d'un grand modèle de langage, la nouveauté et l'efficacité fonctionnent comme des variables inversement proportionnelles. À mesure que le système s'efforce d'être plus efficace en choisissant des mots probables, il devient automatiquement moins novateur.
En exprimant cette relation à l'aide d'une formule mathématique, l'auteur de l'étude a identifié une limite supérieure spécifique pour la créativité de l'IA. Dans le cadre de l'étude, le professeur a modélisé la créativité comme « le produit de l'efficacité et de la nouveauté ». Comme ces deux facteurs s'opposent dans un système probabiliste, « le score de créativité maximal possible » est mathématiquement plafonné à 0,25 sur une échelle de zéro à un.
L'IA n'atteint pas automatiquement ce score. Ce pic ne se produit que lorsque l'efficacité et la nouveauté sont équilibrées à des niveaux modérés. Cette conclusion indique que les grands modèles de langage sont structurellement incapables de maximiser simultanément ces deux variables, ce qui les empêche d'atteindre les scores élevés possibles pour les créateurs humains qui peuvent combiner une nouveauté extrême avec une efficacité extrême.
Comparaison avec la créativité humaine
Pour contextualiser cette conclusion, le chercheur a comparé la limite de 0,25 aux données établies concernant les performances créatives humaines. Il a aligné ce score sur le modèle des « quatre C » de la créativité, qui classe l'expression créative en niveaux allant de « mini-c » (interprétatif) à « Big-C » (légendaire). Cette comparaison a révélé que les systèmes d'IA actuels peinent encore à faire mieux que le niveau amateur des humains.
Plus précisément, l'expérience du professeur David Cropley a révélé que la limite de 0,25 fixée pour l'IA générative correspond à la frontière entre la créativité « little-c », qui représente les efforts quotidiens des amateurs, et la créativité « Pro-c », qui représente l'expertise de niveau professionnel.
L'étude du professeur David Cropley est le premier calcul formel de la créativité de l'IA basé sur les mécanismes internes des grands modèles de langage. Il rappelle que malheureusement, de nombreuses personnes comprennent mal le sens du mot « créativité ». Elles pensent notamment qu'il signifie « l'acte de donner naissance à quelque chose » ou « générer », alors qu'il s'agit en réalité de créer quelque chose de nouveau, d'original et d'efficace.
« En général, 60 % des gens ont un niveau de créativité inférieur à la moyenne, il est donc inévitable qu'une partie importante de la société pense que les LLM comme ChatGPT sont créatifs, alors qu'ils ne le sont pas. Les personnes très créatives reconnaîtront les faiblesses des systèmes d'IA générative. Un écrivain, un artiste ou un designer talentueux peut parfois produire quelque chose de vraiment original et efficace », a souligné David Cropley.
« Un LLM n'y parviendra jamais. Il produira toujours quelque chose de moyen, et si les industries s'appuient trop sur lui, elles se retrouveront avec un travail stéréotypé et répétitif ». Selon le professeur, ces conclusions sont encourageantes pour tous ceux qui accordent de l'importance à l'innovation humaine. « Cette recherche montre que le monde a toujours besoin d'êtres humains créatifs, peut-être plus que jamais », a déclaré David Cropley.
Les limites de cette étude théorique
L'étude souffre de quelques limites reconnues par l'auteur. David Cropley utilise des hypothèses mathématiques simplifiées et se concentre sur des paramètres d'IA standard. Le modèle utilise une approximation linéaire pour définir la créativité comme l'inverse de l'efficacité. L'étude suppose également un mode de fonctionnement standard pour les grands modèles de langage, connu sous le nom de décodage glouton ou d'échantillonnage simple.
L'étude ne mesure pas non plus dans quelle mesure l'édition humaine ou les prompts avancés peuvent améliorer les résultats finaux. Elle se concentre sur la production autonome du système plutôt que sur son potentiel en tant qu'outil collaboratif. L'analyse reste donc incomplète. Par exemple, de futures études pourraient explorer si l'ajustement des paramètres de l'IA ou l'utilisation d'architectures différentes pourraient élargir son potentiel créatif.
Conclusion
L'auteur de l'étude a conclu en expliquant que pour que les systèmes d'IA atteignent un niveau de créativité équivalent à celui d'un expert, il faudrait « un système d'un genre entièrement nouveau », capable de générer des idées au-delà des modèles statistiques appris. Tant qu'un tel changement de paradigme ne se produira pas en informatique, les preuves indiquent que les êtres humains restent la seule source de créativité de haut niveau.
Yann LeCun, chercheur en IA et considéré comme l'un des inventeurs de l'apprentissage profond, a déclaré que les grands modèles de langage n'atteindront pas l'intelligence humaine. Selon lui, ces systèmes ne sont pas en mesure de résoudre les défis cognitifs tels que le raisonnement, la planification, la mémoire persistante et la compréhension du monde physique. Il estime que ces systèmes ne peuvent même pas reproduire l'intelligence d'un chat.
Source : rapport de l'étude
Et vous ?
Que pensez-vous des conclusions de cette étude ? Sont-elles pertinentes ?
Voir aussi
Répondre avec citation
Envoyé par Matthieu Vergne
Partager