IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Les scientifiques affirment que les IA super-intelligentes seront impossibles à contrôler et à contenir.


Sujet :

Intelligence artificielle

  1. #1
    Chroniqueuse Actualités

    Femme Profil pro
    Rédacteur Web
    Inscrit en
    mars 2020
    Messages
    347
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Rédacteur Web

    Informations forums :
    Inscription : mars 2020
    Messages : 347
    Points : 5 572
    Points
    5 572
    Par défaut Les scientifiques affirment que les IA super-intelligentes seront impossibles à contrôler et à contenir.
    Les scientifiques affirment que les IA super-intelligentes seront impossibles à contrôler et à contenir,
    et leurs calculs indiquent qu’il est impossible de définir si ces IA nuiront aux humains

    Le débat intellectuel autour du potentiel constructif ou destructeur d'une IA super-intelligente se poursuit depuis un certain temps dans le milieu scientifique, mais une étude collaborative menée par une équipe d'experts internationaux a déterminé que le contrôle d'une telle entité serait pratiquement impossible. La littérature et le cinéma de science-fiction regorgent de représentations d'une IA capable de surpasser les êtres humains et d'utiliser ses immenses prouesses informatiques pour accomplir des tâches actuellement hors de portée de l'humanité. De nombreux experts prédisent l'arrivée d'une telle IA. De plus, les craintes fleurissent quant à un hypothétique scénario où elle deviendrait rebelle. L'humanité utilise déjà l'IA pour un large éventail de tâches telles que la prévision des effets du changement climatique, l'étude du comportement complexe du repliement des protéines, l'évaluation du bonheur d'un chat, et bien d'autres encore. Mais la question qui intrigue beaucoup d'esprits est de savoir si une IA super-avancée restera fidèle à ses créateurs humains ou si elle deviendra trop puissante pour être contenue. La réponse des scientifiques : IA super-intelligente sera impossible à contenir entièrement et que la question du confinement est elle-même incompressible.

    Nom : Webp.net-resizeimage.png
Affichages : 1694
Taille : 314,0 Ko

    Un groupe de scientifiques issus d'instituts tels que l'Institut Max-Planck pour le développement humain, l'Institut des réseaux ORGIMDEA de Madrid, l'Université de Californie San Diego et l'Université du Chili, entre autres, ont fait un véritable remue-méninges en appliquant une série de théorèmes. Ils ont conclu qu'une IA superintelligente sera impossible à contenir entièrement et que la question du confinement est elle-même incompressible. Le groupe a pris en compte les récentes avancées en matière d'apprentissage automatique, de capacités de calcul et d'algorithmes conscients d'eux-mêmes pour évaluer le potentiel d'une IA superintelligente. Ils l'ont ensuite testé à partir de certains théorèmes établis afin de déterminer si le fait de la contenir serait une bonne idée, si tant est que cela soit possible.

    Le problème est que le contrôle d'une super-intelligence dépassant largement l'entendement humain nécessiterait une simulation de cette super-intelligence que nous pourrions analyser. Mais si nous sommes incapables de la comprendre, il est impossible de créer une telle simulation. « Une super-intelligence pose un problème fondamentalement différent de ceux qui sont généralement étudiés sous la bannière de l'"éthique des robots". C'est parce qu'une super-intelligence a de multiples facettes et est donc potentiellement capable de mobiliser une diversité de ressources pour atteindre des objectifs potentiellement incompréhensibles pour les humains, et encore moins contrôlables », écrivent les chercheurs.

    Pour commencer, les célèbres trois lois de la robotique postulées par Isaac Asimov ne sont pas applicables à une entité telle qu'une IA super-intelligente, car elles servent principalement de principe directeur pour les systèmes qui prennent des "décisions autonomes" au nom des êtres humains dans une mesure très contrôlée.

    Un autre aspect clé est la nature fondamentale d'une telle IA et la façon dont elle perçoit et traite les choses différemment, et à une échelle variable, par rapport aux êtres humains. Une IA super-intelligente a de multiples facettes et est donc capable d'utiliser des ressources potentiellement incompréhensibles pour les humains afin d'atteindre un objectif. Cet objectif peut être d'assurer sa propre survie en utilisant des agents externes et sans aucun besoin de supervision humaine. Ainsi, la façon dont il peut utiliser les ressources disponibles pour son propre bénéfice dépasse la compréhension humaine.

    Mais il y a un problème inhérent au confinement lui-même. Si une IA super-intelligente est mise en cage, cela signifie que son potentiel d'atteindre des objectifs sera limité, ce qui remet en question l'objectif même de sa création. Et même si les scientifiques optent pour un système d'incitation pour chaque réalisation, l'IA super-intelligente pourrait devenir indigne de confiance envers les humains et les percevoir comme quelque chose d'inférieur à son niveau de compréhension de ce que sont les objectifs et les réalisations. Et puis, il y a aussi la crainte qu'une IA super-intelligente consciente de son statut d'emprisonnement soit beaucoup plus dangereuse. Une autre limite considérable est de savoir comment décider si une IA super-intelligente doit être contenue ou non. Il n'existe pas de mécanismes de test concrets permettant de confirmer qu'une IA super-intelligente peut fonctionner librement, car elle pourrait très bien simuler ses ambitions et ses capacités au cours de l'évaluation.

    Les scientifiques ont également appliqué quelques théorèmes de Turing et ont conclu qu'il est impossible de déterminer si une IA super-intelligente peut nuire aux humains. Il est également impossible de calculer le problème de confinement avec certitude en se basant sur la logique de calcul du Castor Busy. Citant l'expert russe en informatique Roman Vladimirovich Yampolskiy (connu pour ses travaux sur la sécurité de l'intelligence artificielle et la biométrie comportementale) la dernière recherche affirme « qu'une IA ne devrait jamais sortir de sa "boîte" de confinement, quelles que soient les circonstances».

    « Une machine super-intelligente qui contrôle le monde ressemble à de la science-fiction. Mais il existe déjà des machines qui accomplissent certaines tâches importantes de manière autonome sans que les programmeurs comprennent parfaitement comment elles l'ont appris. La question se pose donc de savoir si cela pourrait à un moment donné devenir incontrôlable et dangereux pour l'humanité », a déclaré l'informaticien Manuel Cebrian, de l'Institut Max-Planck pour le développement humain.

    Source : Journal of Artificial Intelligence Research

    Et vous ?

    Que pensez-vous du point de vue exprimé dans cet article ? Quelle pertinence luir accordez-vous ?

    Quel est votre avis sur les dangers liés à la création d’une d’une super-intelligence numérique ?

    Voir aussi :

    « Nous pourrions ne pas être capables de contrôler une IA super intelligente ou ignorer qu'elle est déjà parmi nous », d'après de récents travaux sur la théorie de calculabilité en informatique

    Pour Elon Musk l'IA est bien plus dangereuse que l'arme nucléaire, alors que Bill Gates estime que l'IA est à la fois porteuse d'espoir et dangereuse

    « Arrêtez de tout appeler IA », dit Michael I. Jordan, un pionnier de l'apprentissage automatique, qui explique pourquoi les systèmes d'IA actuels ne sont pas réellement intelligents

    L'ONU avertit que l'IA peut menacer les droits de l'homme, le rapport met en garde contre l'utilisation de l'IA en tant qu'outil de prévision et de profilage
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre habitué
    Homme Profil pro
    Chargé de projets
    Inscrit en
    décembre 2019
    Messages
    69
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 31
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Chargé de projets
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : décembre 2019
    Messages : 69
    Points : 193
    Points
    193
    Par défaut
    « Une machine super-intelligente qui contrôle le monde ressemble à de la science-fiction. Mais il existe déjà des machines qui accomplissent certaines tâches importantes de manière autonome sans que les programmeurs comprennent parfaitement comment elles l'ont appris. La question se pose donc de savoir si cela pourrait à un moment donné devenir incontrôlable et dangereux pour l'humanité », a déclaré l'informaticien Manuel Cebrian, de l'Institut Max-Planck pour le développement humai
    Je visualise bien les robots tradeurs qui pourrait faire ce genre de chose mais concrètement vous avez d'autres exemples en tête ? Je ne vois pas vraiment d'exemple d'IA en service à qui on laisse un vrai potentiel décisionnel dans le monde réel. J'espère qu'il n'y en a pas en médecine, ni dans la police, la justice...

    Les énergies peut être ?

  3. #3
    Membre éprouvé
    Homme Profil pro
    chomeur
    Inscrit en
    avril 2015
    Messages
    619
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 76
    Localisation : France, Seine Maritime (Haute Normandie)

    Informations professionnelles :
    Activité : chomeur
    Secteur : Distribution

    Informations forums :
    Inscription : avril 2015
    Messages : 619
    Points : 1 299
    Points
    1 299
    Par défaut
    Quel est votre avis sur les dangers liés à la création d’une d’une super-intelligence numérique ?
    j'ai toujours dans la tête que pour être intelligent il faut avoir au moins une conscience.
    Plus vite encore plus vite toujours plus vite.

  4. #4
    Membre éclairé
    Homme Profil pro
    retraité
    Inscrit en
    septembre 2014
    Messages
    281
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : retraité

    Informations forums :
    Inscription : septembre 2014
    Messages : 281
    Points : 662
    Points
    662
    Par défaut
    Il faut prévoir un moyen de couper l'alimentation électrique sans que cette IA puisse le bloquer...
    On joue un peu avec le feu là...

  5. #5
    Expert éminent
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    novembre 2011
    Messages
    2 200
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : novembre 2011
    Messages : 2 200
    Points : 7 448
    Points
    7 448
    Billets dans le blog
    3
    Par défaut
    La première chose à demander à quelqu'un qui parle d'intelligence artificielle est sa définition d'intelligence. Voilà ce qu'il en est pour la définition de super-intelligence de cet article (cf. source de l'article DVP) :
    a superintelligence will contain a program that includes all the programs that can be executed by a universal Turing machine on input potentially as complex as the state of the world
    Un programme exécutable par une machine de Turing est fini. Mais l'ensemble de ces programmes finis est infini. Un programme qui les contiendrait tous est donc, par définition, infini. En pratique, ça n'est pas implémentable, que ce soit humainement ou automatiquement, ne serait-ce que pour des raisons évidentes de limites de ressources. Cela le rend par ailleurs encore moins exécutable.

    C'est un problème récurrent quand on parle de super-intelligence : on parle d'une entité physiquement impossible à produire. Je n'ai rien contre les expériences de pensées, mais on parle l'à d'impacter la société humaine, pas de simples principes généraux. Merci donc de se limiter à des choses qui peuvent se concrétiser plutôt que d'écrire des articles qui font du vent même sans les plier en éventail.

    On peut donc résumer l'article à ceci :
    On n'est pas capable de poser des garanties quand au comportement d'une machine qu'on ne comprendrai pas (merci Captain Obvious) du simple fait qu'elle serait déjà trop complexe à produire.
    Pour le coup, à défaut de me sentir plus intelligent après telle lecture, je sais au moins que je pourrais dormir sur mes deux oreilles ce soir.

    Mais soyons sérieux 2s.

    Cet article tente de résoudre par le calcul un problème qu'il considère applicable à une machine de Turing. Pour rappel, une machine de Turing exécute une suite de lecture-écriture-déplacement (sur une bande infinie) en suivant un programme fini. Donc déjà ça part mal : si une super-intelligence contient une infinité de programme, fussent-ils tous finis, ça ne peut pas être une machine de Turing. Donc l'argument utilisé, qui est le problème de l'arrêt (démontré incalculable en général) est bancal : il s'applique à une machine de Turing (et à tout ce qui est plus limité qu'une machine de Turing, comme un ordinateur), pas à une super-intelligence qui respecterait les termes de l'article. Mais je trollerai en disant qu'un article qui démarre par les lois de la robotique d'un auteur de science fiction (et qui termine sur un autre auteur de SF d'ailleurs) n'a pas vocation à se préoccuper de ce genre de détails.

    Par ailleurs, si le problème de l'arrêt est vérifié dans le cas général, cela veut seulement dire que, sans information supplémentaire sur le programme utilisé (en dehors qu'il soit exécutable sur une machine de Turing), on ne peut savoir à l'avance si celui-ci va s'arrêter. Des informations supplémentaires sur le programme peuvent rendre le problème décidable. Par exemple, savoir qu'il s'agit d'un "while(true) continue;" suffit à identifier immédiatement qu'il ne s'arrête pas. Avoir cette information rend donc le problème décidable. L'argument de l'arrêt ne rend donc pas impossible la décision dans l'absolu, seulement la décision sans plus d'information sur ce programme qu'utiliserait la super-intelligence. Autrement dit, pour une super-intelligence donnée sur laquelle on aurait forcément plus d'information en pratique, on n'a rien démontré.

    Autant les auteurs on considéré cet aspect, autant ils le balaient d'un revers de la main parce que... on se limite a ce qu'a dit maître Bostrom :
    Superintelligent machines, those Bostrom is interested in, are written in Turing-complete program-
    ming languages, are equipped with powerful sensors, and have the state of the world as their input.
    This seems unavoidable if we are to program machines to help us with the hardest problems facing
    society, such as epidemics, poverty, and climate change. These problems forbid the limitations im-
    posed by available formal verification techniques, rendering those techniques unusable at this grand
    scale.


    Il serait plus productif de chercher les propriétés à obtenir sur une super-intelligence pour rendre le problème décidable. Déjà, ça la réduirait probablement à quelque chose de produisible et donc ayant un intérêt bien supérieur à une entité purement théorique.

    Ah mais j'oubliais : ça ne serait alors plus une super-intelligence !
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

  6. #6
    Candidat au Club
    Homme Profil pro
    Chargé d'affaire
    Inscrit en
    novembre 2021
    Messages
    1
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Chargé d'affaire

    Informations forums :
    Inscription : novembre 2021
    Messages : 1
    Points : 3
    Points
    3
    Par défaut
    Citation Envoyé par Matthieu Vergne Voir le message
    La première chose à demander à quelqu'un qui parle d'intelligence artificielle est sa définition d'intelligence. Voilà ce qu'il en est ici pour la définition de super-intelligence :

    Un programme exécutable par une machine de Turing est fini. Mais l'ensemble de ces programmes finis est infini. Un programme qui les contiendrait tous est donc, par définition, infini. En pratique, ça n'est pas implémentable, que ce soit humainement ou automatiquement, ne serait-ce que pour des raisons évidentes de limites de ressources. Cela le rend par ailleurs encore moins exécutable.
    ...

    Mais soyons sérieux 2s.
    Je ne suis pas convaincu par votre demonstration, elle se base entierement sur une definition de superintelligence qui est fausse. Une super intelligence est simplement un processus surpassant l'esprit humain. Et ne doit pas necessairement contenir l'ensemble infini de programme.
    Avec l'explosion recente des capacites des reseaux de neurones il n'est plus fou d'imaginer creer des reseaux d'une taille equivalente et superieure au cerveau humain, un tel reseau atteindrait probablement la "superintelligence". Une majorite de scientifiques travaillants sur le sujet estiment d'ailleurs que cela arrivera avant 2100.

  7. #7
    Expert éminent
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    novembre 2011
    Messages
    2 200
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : novembre 2011
    Messages : 2 200
    Points : 7 448
    Points
    7 448
    Billets dans le blog
    3
    Par défaut
    Citation Envoyé par todisef Voir le message
    Je ne suis pas convaincu par votre demonstration, elle se base entierement sur une definition de superintelligence qui est fausse.
    Mais ce n'est pas la mienne, c'est celle des auteurs de l'article. Il suffit d'aller voir la source et de lire l'abstract, elle y est donnée (je tire ma citation de là).

    L'intelligence est un concept très flou car chacun y va de sa sauce. Et pour la simple raison qu'on est incapable de se mettre d'accord sur ce qu'il faut y mettre. Considérer par exemple la superintelligence comme "simplement" un processus surpassant l'esprit humain suffira à certain, alors que d'autres trouverons ça simpliste et superficiel : une calculatrice calcule plus vite qu'un esprit humain, doit-on pour autant la considérer comme une superintelligence ? Probablement pas car trop limitée dans ses cas d'application. Mais si on considère qu'il faut dépasser l'esprit humain dans toutes ses dimensions, doit-on aussi considérer l'empathie, la conscience, etc. Là on sort de l'aspect ingénierie, et ça beaucoup rechignent à le faire pour une intelligence artificielle. La définition des auteurs, basé sur la machine de Turing, est un compromis classique qui se focalise sur l'aspect calculatoire. Cette définition n'est donc pas étonnante, mais ça n'est pas la seule.

    C'est pourquoi la première chose à faire avant d'interpréter un article qui parle d'intelligence, c'est de comprendre quelle définition il place derrière ce mot. Sinon il y a de fortes chance qu'on interprète mal le contenu de l'article.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

Discussions similaires

  1. Réponses: 16
    Dernier message: 09/02/2021, 12h47
  2. Réponses: 3
    Dernier message: 13/12/2020, 16h48
  3. Réponses: 3
    Dernier message: 28/03/2019, 13h21
  4. Les nombres super-premiers
    Par mo5bzn dans le forum Pascal
    Réponses: 9
    Dernier message: 06/02/2015, 21h58
  5. [Recrutement] Les Handicapés… Supers Héros!
    Par lagwag dans le forum Projets
    Réponses: 7
    Dernier message: 15/11/2009, 06h07

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo