Discussion :

[Nancy Rey]

Les scientifiques affirment que les IA super-intelligentes seront impossibles à contrôler et à contenir,
et leurs calculs indiquent qu’il est impossible de définir si ces IA nuiront aux humains

Le débat intellectuel autour du potentiel constructif ou destructeur d'une IA super-intelligente se poursuit depuis un certain temps dans le milieu scientifique, mais une étude collaborative menée par une équipe d'experts internationaux a déterminé que le contrôle d'une telle entité serait pratiquement impossible. La littérature et le cinéma de science-fiction regorgent de représentations d'une IA capable de surpasser les êtres humains et d'utiliser ses immenses prouesses informatiques pour accomplir des tâches actuellement hors de portée de l'humanité. De nombreux experts prédisent l'arrivée d'une telle IA. De plus, les craintes fleurissent quant à un hypothétique scénario où elle deviendrait rebelle. L'humanité utilise déjà l'IA pour un large éventail de tâches telles que la prévision des effets du changement climatique, l'étude du comportement complexe du repliement des protéines, l'évaluation du bonheur d'un chat, et bien d'autres encore. Mais la question qui intrigue beaucoup d'esprits est de savoir si une IA super-avancée restera fidèle à ses créateurs humains ou si elle deviendra trop puissante pour être contenue. La réponse des scientifiques : IA super-intelligente sera impossible à contenir entièrement et que la question du confinement est elle-même incompressible.

Un groupe de scientifiques issus d'instituts tels que l'Institut Max-Planck pour le développement humain, l'Institut des réseaux ORGIMDEA de Madrid, l'Université de Californie San Diego et l'Université du Chili, entre autres, ont fait un véritable remue-méninges en appliquant une série de théorèmes. Ils ont conclu qu'une IA superintelligente sera impossible à contenir entièrement et que la question du confinement est elle-même incompressible. Le groupe a pris en compte les récentes avancées en matière d'apprentissage automatique, de capacités de calcul et d'algorithmes conscients d'eux-mêmes pour évaluer le potentiel d'une IA superintelligente. Ils l'ont ensuite testé à partir de certains théorèmes établis afin de déterminer si le fait de la contenir serait une bonne idée, si tant est que cela soit possible.

Le problème est que le contrôle d'une super-intelligence dépassant largement l'entendement humain nécessiterait une simulation de cette super-intelligence que nous pourrions analyser. Mais si nous sommes incapables de la comprendre, il est impossible de créer une telle simulation. « Une super-intelligence pose un problème fondamentalement différent de ceux qui sont généralement étudiés sous la bannière de l'"éthique des robots". C'est parce qu'une super-intelligence a de multiples facettes et est donc potentiellement capable de mobiliser une diversité de ressources pour atteindre des objectifs potentiellement incompréhensibles pour les humains, et encore moins contrôlables », écrivent les chercheurs.

Pour commencer, les célèbres trois lois de la robotique postulées par Isaac Asimov ne sont pas applicables à une entité telle qu'une IA super-intelligente, car elles servent principalement de principe directeur pour les systèmes qui prennent des "décisions autonomes" au nom des êtres humains dans une mesure très contrôlée.

Un autre aspect clé est la nature fondamentale d'une telle IA et la façon dont elle perçoit et traite les choses différemment, et à une échelle variable, par rapport aux êtres humains. Une IA super-intelligente a de multiples facettes et est donc capable d'utiliser des ressources potentiellement incompréhensibles pour les humains afin d'atteindre un objectif. Cet objectif peut être d'assurer sa propre survie en utilisant des agents externes et sans aucun besoin de supervision humaine. Ainsi, la façon dont il peut utiliser les ressources disponibles pour son propre bénéfice dépasse la compréhension humaine.

Mais il y a un problème inhérent au confinement lui-même. Si une IA super-intelligente est mise en cage, cela signifie que son potentiel d'atteindre des objectifs sera limité, ce qui remet en question l'objectif même de sa création. Et même si les scientifiques optent pour un système d'incitation pour chaque réalisation, l'IA super-intelligente pourrait devenir indigne de confiance envers les humains et les percevoir comme quelque chose d'inférieur à son niveau de compréhension de ce que sont les objectifs et les réalisations. Et puis, il y a aussi la crainte qu'une IA super-intelligente consciente de son statut d'emprisonnement soit beaucoup plus dangereuse. Une autre limite considérable est de savoir comment décider si une IA super-intelligente doit être contenue ou non. Il n'existe pas de mécanismes de test concrets permettant de confirmer qu'une IA super-intelligente peut fonctionner librement, car elle pourrait très bien simuler ses ambitions et ses capacités au cours de l'évaluation.

Les scientifiques ont également appliqué quelques théorèmes de Turing et ont conclu qu'il est impossible de déterminer si une IA super-intelligente peut nuire aux humains. Il est également impossible de calculer le problème de confinement avec certitude en se basant sur la logique de calcul du Castor Busy. Citant l'expert russe en informatique Roman Vladimirovich Yampolskiy (connu pour ses travaux sur la sécurité de l'intelligence artificielle et la biométrie comportementale) la dernière recherche affirme « qu'une IA ne devrait jamais sortir de sa "boîte" de confinement, quelles que soient les circonstances».

« Une machine super-intelligente qui contrôle le monde ressemble à de la science-fiction. Mais il existe déjà des machines qui accomplissent certaines tâches importantes de manière autonome sans que les programmeurs comprennent parfaitement comment elles l'ont appris. La question se pose donc de savoir si cela pourrait à un moment donné devenir incontrôlable et dangereux pour l'humanité », a déclaré l'informaticien Manuel Cebrian, de l'Institut Max-Planck pour le développement humain.

Source : Journal of Artificial Intelligence Research

Et vous ?

Que pensez-vous du point de vue exprimé dans cet article ? Quelle pertinence luir accordez-vous ?

Quel est votre avis sur les dangers liés à la création d’une d’une super-intelligence numérique ?

Voir aussi :

« Nous pourrions ne pas être capables de contrôler une IA super intelligente ou ignorer qu'elle est déjà parmi nous », d'après de récents travaux sur la théorie de calculabilité en informatique

Pour Elon Musk l'IA est bien plus dangereuse que l'arme nucléaire, alors que Bill Gates estime que l'IA est à la fois porteuse d'espoir et dangereuse

« Arrêtez de tout appeler IA », dit Michael I. Jordan, un pionnier de l'apprentissage automatique, qui explique pourquoi les systèmes d'IA actuels ne sont pas réellement intelligents

L'ONU avertit que l'IA peut menacer les droits de l'homme, le rapport met en garde contre l'utilisation de l'IA en tant qu'outil de prévision et de profilage

[Jules34]

« Une machine super-intelligente qui contrôle le monde ressemble à de la science-fiction. Mais il existe déjà des machines qui accomplissent certaines tâches importantes de manière autonome sans que les programmeurs comprennent parfaitement comment elles l'ont appris. La question se pose donc de savoir si cela pourrait à un moment donné devenir incontrôlable et dangereux pour l'humanité », a déclaré l'informaticien Manuel Cebrian, de l'Institut Max-Planck pour le développement humai

Je visualise bien les robots tradeurs qui pourrait faire ce genre de chose mais concrètement vous avez d'autres exemples en tête ? Je ne vois pas vraiment d'exemple d'IA en service à qui on laisse un vrai potentiel décisionnel dans le monde réel. J'espère qu'il n'y en a pas en médecine, ni dans la police, la justice...

Les énergies peut être ?

[melka one]

Quel est votre avis sur les dangers liés à la création d’une d’une super-intelligence numérique ?

j'ai toujours dans la tête que pour être intelligent il faut avoir au moins une conscience.

[TotoParis]

Il faut prévoir un moyen de couper l'alimentation électrique sans que cette IA puisse le bloquer...
On joue un peu avec le feu là...

[Matthieu Vergne]

La première chose à demander à quelqu'un qui parle d'intelligence artificielle est sa définition d'intelligence. Voilà ce qu'il en est pour la définition de super-intelligence de cet article (cf. source de l'article DVP) :

a superintelligence will contain a program that includes all the programs that can be executed by a universal Turing machine on input potentially as complex as the state of the world

Un programme exécutable par une machine de Turing est fini. Mais l'ensemble de ces programmes finis est infini. Un programme qui les contiendrait tous est donc, par définition, infini. En pratique, ça n'est pas implémentable, que ce soit humainement ou automatiquement, ne serait-ce que pour des raisons évidentes de limites de ressources. Cela le rend par ailleurs encore moins exécutable.

C'est un problème récurrent quand on parle de super-intelligence : on parle d'une entité physiquement impossible à produire. Je n'ai rien contre les expériences de pensées, mais on parle l'à d'impacter la société humaine, pas de simples principes généraux. Merci donc de se limiter à des choses qui peuvent se concrétiser plutôt que d'écrire des articles qui font du vent même sans les plier en éventail.

On peut donc résumer l'article à ceci :

On n'est pas capable de poser des garanties quand au comportement d'une machine qu'on ne comprendrai pas (merci Captain Obvious) du simple fait qu'elle serait déjà trop complexe à produire.

Pour le coup, à défaut de me sentir plus intelligent après telle lecture, je sais au moins que je pourrais dormir sur mes deux oreilles ce soir.

Mais soyons sérieux 2s.

Cet article tente de résoudre par le calcul un problème qu'il considère applicable à une machine de Turing. Pour rappel, une machine de Turing exécute une suite de lecture-écriture-déplacement (sur une bande infinie) en suivant un programme fini. Donc déjà ça part mal : si une super-intelligence contient une infinité de programme, fussent-ils tous finis, ça ne peut pas être une machine de Turing. Donc l'argument utilisé, qui est le problème de l'arrêt (démontré incalculable en général) est bancal : il s'applique à une machine de Turing (et à tout ce qui est plus limité qu'une machine de Turing, comme un ordinateur), pas à une super-intelligence qui respecterait les termes de l'article. Mais je trollerai en disant qu'un article qui démarre par les lois de la robotique d'un auteur de science fiction (et qui termine sur un autre auteur de SF d'ailleurs) n'a pas vocation à se préoccuper de ce genre de détails.

Par ailleurs, si le problème de l'arrêt est vérifié dans le cas général, cela veut seulement dire que, sans information supplémentaire sur le programme utilisé (en dehors qu'il soit exécutable sur une machine de Turing), on ne peut savoir à l'avance si celui-ci va s'arrêter. Des informations supplémentaires sur le programme peuvent rendre le problème décidable. Par exemple, savoir qu'il s'agit d'un "while(true) continue;" suffit à identifier immédiatement qu'il ne s'arrête pas. Avoir cette information rend donc le problème décidable. L'argument de l'arrêt ne rend donc pas impossible la décision dans l'absolu, seulement la décision sans plus d'information sur ce programme qu'utiliserait la super-intelligence. Autrement dit, pour une super-intelligence donnée sur laquelle on aurait forcément plus d'information en pratique, on n'a rien démontré.

Autant les auteurs on considéré cet aspect, autant ils le balaient d'un revers de la main parce que... on se limite a ce qu'a dit maître Bostrom :

Superintelligent machines, those Bostrom is interested in, are written in Turing-complete program-
ming languages, are equipped with powerful sensors, and have the state of the world as their input.
This seems unavoidable if we are to program machines to help us with the hardest problems facing
society, such as epidemics, poverty, and climate change. These problems forbid the limitations im-
posed by available formal verification techniques, rendering those techniques unusable at this grand
scale.

Il serait plus productif de chercher les propriétés à obtenir sur une super-intelligence pour rendre le problème décidable. Déjà, ça la réduirait probablement à quelque chose de produisible et donc ayant un intérêt bien supérieur à une entité purement théorique.

Ah mais j'oubliais : ça ne serait alors plus une super-intelligence !

[todisef]

La première chose à demander à quelqu'un qui parle d'intelligence artificielle est sa définition d'intelligence. Voilà ce qu'il en est ici pour la définition de super-intelligence :

Un programme exécutable par une machine de Turing est fini. Mais l'ensemble de ces programmes finis est infini. Un programme qui les contiendrait tous est donc, par définition, infini. En pratique, ça n'est pas implémentable, que ce soit humainement ou automatiquement, ne serait-ce que pour des raisons évidentes de limites de ressources. Cela le rend par ailleurs encore moins exécutable.
...

Mais soyons sérieux 2s.

Je ne suis pas convaincu par votre demonstration, elle se base entierement sur une definition de superintelligence qui est fausse. Une super intelligence est simplement un processus surpassant l'esprit humain. Et ne doit pas necessairement contenir l'ensemble infini de programme.
Avec l'explosion recente des capacites des reseaux de neurones il n'est plus fou d'imaginer creer des reseaux d'une taille equivalente et superieure au cerveau humain, un tel reseau atteindrait probablement la "superintelligence". Une majorite de scientifiques travaillants sur le sujet estiment d'ailleurs que cela arrivera avant 2100.

[Matthieu Vergne]

Je ne suis pas convaincu par votre demonstration, elle se base entierement sur une definition de superintelligence qui est fausse.

Mais ce n'est pas la mienne, c'est celle des auteurs de l'article. Il suffit d'aller voir la source et de lire l'abstract, elle y est donnée (je tire ma citation de là).

L'intelligence est un concept très flou car chacun y va de sa sauce. Et pour la simple raison qu'on est incapable de se mettre d'accord sur ce qu'il faut y mettre. Considérer par exemple la superintelligence comme "simplement" un processus surpassant l'esprit humain suffira à certain, alors que d'autres trouverons ça simpliste et superficiel : une calculatrice calcule plus vite qu'un esprit humain, doit-on pour autant la considérer comme une superintelligence ? Probablement pas car trop limitée dans ses cas d'application. Mais si on considère qu'il faut dépasser l'esprit humain dans toutes ses dimensions, doit-on aussi considérer l'empathie, la conscience, etc. Là on sort de l'aspect ingénierie, et ça beaucoup rechignent à le faire pour une intelligence artificielle. La définition des auteurs, basé sur la machine de Turing, est un compromis classique qui se focalise sur l'aspect calculatoire. Cette définition n'est donc pas étonnante, mais ça n'est pas la seule.

C'est pourquoi la première chose à faire avant d'interpréter un article qui parle d'intelligence, c'est de comprendre quelle définition il place derrière ce mot. Sinon il y a de fortes chance qu'on interprète mal le contenu de l'article.