IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Inactif  

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    10 084
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 10 084
    Par défaut L'ancien responsable américain Chris Inglis s'inquiète des progrès fulgurants de l'IA et son autonomie
    Les trois lois de la robotique d'Isaac Asimov, des principes dépassés par la direction prise dans le développement des IA ?
    Un élément de réponse

    Le regretté Isaac Asimov, écrivain américano-russe et un professeur de biochimie à l'Université de Boston, surtout connu pour ses œuvres de science-fiction et ses livres de vulgarisation scientifique, a vu plusieurs de ses œuvres adaptées au grand écran comme L'Homme bicentenaire, qui met en vedette un robot doté d'un esprit d'analyse par accident, se montre capable de créativité, se donne des buts, des objectifs à atteindre et va, au fil de ses apprentissages et de ses émotions, apprendre la vie. Bien sûr il ne s'agit pas de sa seule oeuvre qui traite de robotique et d'intelligence artificielle, nous pouvons également citer I, Robot,

    C'est d'ailleurs dans cette oeuvre qu'il énonce ses fameuses lois sur la robotique qui sont :
    • la première loi est énoncée comme suit : « un robot ne pourra pas nuire à un être humain ou, par son inaction, laisser un humain être blessé » ;
    • la seconde : « un robot doit obéir aux ordres dictés par le personnel qualifié, à moins que ces ordres ne soient en contradiction avec la première loi », autrement un robot pourrait par exemple être autorisé à tuer un être humain ;
    • et enfin la troisième : « un robot doit protéger sa propre existence, à moins que cela ne porte atteinte à la première ou à la seconde loi », après tout il est constitué de pièces d'équipements onéreuses. Isaac Asimov a précisé « qu'un robot doit aller joyeusement à l'autodestruction si c'est pour suivre un ordre [seconde loi] ou si c'est pour sauver une vie humaine [première loi] »



    Pour situer le contexte, en 2035, les robots sont pleinement intégrés dans la vie quotidienne. Quelques jours avant la commercialisation d'un nouveau robot par USR (US Robots pour Asimov et USRobotics dans le film), un de ses fondateurs, le roboticien Alfred Lanning, se suicide. L'officier de police Del Spooner, qui se méfie des robots depuis que l'un d'entre eux a laissé mourir une jeune fille pour le sauver, lui, ne croit pas au suicide. Il tient donc à découvrir le meurtrier.

    Si les œuvres de science-fiction ont inspiré (ou ont été inspiré) des progrès technologiques, il est légitime de se demander la pertinence des lois évoquées par Asimov durant cette course au développement de l'intelligence artificielle à toutes les sauces.

    Une première loi déjà obsolète ?

    De prime abord, rappelons que plus d'une dizaine de pays (parmi lesquels les États-Unis, la Chine, Israël, la Corée du Sud, la Russie et la Grande-Bretagne) développent actuellement des systèmes d'armes autonomes, selon un rapport de Human Rights Watch. La perspective du développement d'un usage militaire de l'IA a indigné de nombreuses personnes et conduit à des manifestations de militants de 35 pays pour demander leur interdiction. Noel Sharkey, l'une des figures de proue de la campagne pour arrêter les robots tueurs était présent à Berlin pour participer à la réunion internationale de la Campagne pour arrêter les robots tueurs en mars 2019. Noel Sharkey est un professeur émérite de l'université de Sheffield, aussi un spécialiste reconnu de la robotique et de l'intelligence artificielle. « Je peux vous construire un robot tueur en seulement deux semaines », a-t-il dit lors du rassemblement avec un regard avertisseur.

    Sharkey s'oppose à l'idée de parler de « systèmes d'armes autonomes mortels » comme s'il s'agissait d'un roman de science-fiction, d’après Deutsche Welle. Le militant des droits de l’homme dit que, les systèmes d'armes entièrement autonomes sont une réalité bien établie. Pour lui, il n'est pas nécessaire de discuter de leur définition qui est déjà assez connue comme étant des armes qui cherchent, sélectionnent et attaquent des cibles par leurs propres moyens. C'est, par ailleurs, la définition que le Comité international de la Croix-Rouge (CICR) leur donne.

    Nom : killer.png
Affichages : 40375
Taille : 118,6 Ko

    En effet, les soldats n'ont plus besoin d’appuyer sur la détente avec de telles armes. Ces robots, boostés par l’intelligence artificielle, utilisent eux-mêmes un logiciel intégré pour trouver et frapper des cibles. Ces armes peuvent prendre la forme de missiles, de véhicules terrestres sans pilote, de sous-marins ou d'essaims de mini-drones.

    Les premières discussions formelles visant à limiter ou interdire l’utilisation des systèmes d’armes létales autonomes (SALA) ou des robots de guerre, pour faire simple, se sont tenues au cours des derniers mois de l’année 2017 à Genève sous l’égide de L’ONU. Ces discussions axées autour de la convention sur certaines armes classiques (CCAC) devraient permettre de soumettre ces dispositifs de guerre au droit international en identifiant les « SALA illicites » en fonction du niveau de contrôle attribué à l’homme.

    À ce sujet, la France a proposé d’approfondir la distinction entre les systèmes dotés « d’automatismes » de complexité variable et les systèmes « autonomes » qui ne font appel à aucune mesure de supervision humaine. Le gouvernement russe est resté fermement opposé à toute interdiction visant à limiter ou interdire le développement des SALA ou des technologies liées à l’IA à des fins militaires qui serait prise au niveau de l’ONU.

    Une seconde loi elle aussi obsolète

    Dès lors qu'un « personnel non qualifié » peut ordonner à un robot de tuer une cible, cela va à l'encontre de la seconde loi (bien sûr, même si le « personnel qualifié » peut ordonner de tuer une cible, cela va également à l'encontre de la seconde loi).

    Dans une lettre ouverte cosignée par 116 spécialistes de l'IA et de la robotique, Elon Musk a appelé les Nations Unies à tout simplement interdire les robots tueurs. « Les armes autonomes létales menacent de devenir la troisième révolution dans la guerre. Une fois développées, elles vont propulser les conflits armés à une échelle plus grande que jamais, et à des échelles de temps plus rapides que les humains puissent comprendre. Celles-ci peuvent être des armes de terreur, des armes que les despotes et les terroristes utilisent contre des populations innocentes et des armes détournées pour se comporter de manière indésirable. Nous n'avons pas assez de temps pour agir. Une fois que cette boîte de Pandore est ouverte, il sera difficile de la fermer », avertissent-ils.

    Ils ont demandé ce qui se passerait si les robots tueurs étaient piratés ou détournés. À l’argument de la faillibilité des IA, les défenseurs de la cause des robots tueurs répondent que l’apprentissage automatique est encore à ses débuts et qu’il suffirait de le laisser progresser afin de rendre les IA moins vulnérables. Toutefois, il serait objectif de se demander quelle intelligence artificielle, quel système informatique connecté ne peut pas être piraté ou détourné ? Supposons qu’un drone autonome se fasse pirater par un terroriste, combien de personnes pourraient perdre la vie à cause de cette même technologie conçue pour empêcher au maximum les dommages collatéraux ?

    Nom : bot.png
Affichages : 23335
Taille : 305,8 Ko

    Pour le cas du personnel autorisé à demander la mort d'une cible, Remotec Andros Mark V-A1 est le nom du robot utilisé par la police de Dallas pour abattre un tueur présumé des policiers. En juillet 2016, lors des manifestations qui ont eu lieu à Dallas, suite à la mort d’un homme noir tué par un policier blanc sans raison apparente, un réserviste de l’armée américaine du nom de Micah Xavier Johnson aurait ouvert le feu contre des policiers tuant cinq d’entre eux, d’après les autorités locales. Pour l’appréhender, les hommes en uniforme ont utilisé un dispositif assez connu aux États-Unis pour avoir été utilisé à d’autres fins, notamment pour désamorcer des bombes. Cependant, c’était la première fois que Remotec Andros Mark V-A1 était utilisé par la police dans une tactique visant à éliminer une cible.

    D’après les autorités locales, le robot a servi à transporter une charge explosive jusqu’à l’endroit où était localisée la cible avant que celle-ci ne soit actionnée tuant ainsi le présumé tireur. C’est lors de la conférence de presse donnée plus tard par le chef de la police de Dallas, David Brown, que ce dernier a précisé que c’était bel et bien un Remotec Andros Mark V-A1 qui a été utilisé pour mener l’assaut. Il a également ajouté que le robot en question a été acquis en 2008 pour un montant d’environ 151 000 dollars.

    Remotec Andros Mark V-A1 est un modèle fabriqué par Northrop Grumman et qui est guidé par un humain grâce à une télécommande. L’engin pèse environ 358 kg pour une vitesse maximale qui avoisine les 6 km/h. Il est doté d’une caméra avec un zoom optique de 26 et un zoom numérique de 12. Remotec Andros Mark V-A1 est capable de soulever jusqu’à 27 kg lorsque son bras est complètement étendu et son « poignet » peut appliquer une force de plus de 22 kg.

    Conclusion

    Certains pourraient trouver que les lois d'Isaac Asimov étaient pleines de bon sens, d'autres qu'elles édulcoraient un peu la nature humaine, lui occultant son côté guerrier / conquérant / (l'adjectif qui pourra entraîner une violence voulue envers autrui). L'opinion que chacun peut se faire de ces lois est tributaire de nombreux facteurs mais reste sans doute très subjective.

    Et vous ?

    Que pensez-vous des lois de la robotique d'Isaac Asimov ? Des principes dépassés, une formulation poétique ou un idéal à atteindre ?
    Pensez-vous qu'elles pourraient s'appliquer à des IA vraiment intelligentes ?
    Quelle(s) loi(s) vous semble(nt) la/les plus importante(s) ? Pourquoi ?
    Quelle loi pourriez-vous suggérer ?
    Les lois peuvent-elles être appliquées de façon universelle aux robots ou doivent-elles être spécifiques aux types de tâches qu'il peut accomplir ? ?

    Voir aussi :

    Des chercheurs en intelligence artificielle gagnent parfois plus d'un million de dollars chaque année, même dans des organisations à but non lucratif
    L'intelligence artificielle, la nouvelle arme de la gendarmerie contre les Gilets jaunes
    Intelligence artificielle : Amazon, Microsoft ou Intel seraient en bonne place pour la création potentielle de "Skynet", d'après une étude
    Gartner : la montée en puissance de l'IA créera 2,9 mille milliards USD de valeur commerciale en 2021 en valorisant l'intelligence augmentée
    Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA semblable à l'intelligence humaine
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Invité
    Invité(e)
    Par défaut
    Les lois d'Asimov ont été revisitées au fil du temps...
    Sa 1ère loi, il l'avait énoncée dans Le Petit Robot Perdu qui date des années 50...

    Perso, je trouve que les lois revisitées plus "abouties" sont celles de Stuart Russell. Les voici:

    1. L'objectif de l'IA, c'est maximiser les valeurs humaines
    Les robots doivent avoir pour seul objectif de maximiser la réalisation de valeurs humaines.

    2. Humilité
    Les valeurs humaines étant différentes d'un humain à l'autre, elles ne pourront jamais être complètement définies. Les IA auront besoin d'humilité pour comprendre qu'elles ne peuvent pas complètement intégrer quelles sont ces valeurs humaines qu'elles sont sensées maximiser. Cette posture forcera les IA à observer le comportement humain et à s'adapter. Ce process leur permettra d'accepter notre feedback si elles ne satisfont pas complètement nos désirs.

    3. Utiliser le comportement comme source d'information des valeurs humaines
    Les robots devront comprendre les motivations derrière les comportements humains, plutôt que de copier nos comportements de façon "psycho-rigide".

    -VX

  3. #3
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par vxlan.is.top Voir le message
    1. L'objectif de l'IA, c'est maximiser les valeurs humaines
    Ouch... Rien que l'interprétation du terme valeur... Ça va prendre une équipe d'éthiciens, de philosophes... pour quelques décennies.

  4. #4
    Membre éclairé
    Homme Profil pro
    Développeur Web
    Inscrit en
    Juillet 2010
    Messages
    403
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web
    Secteur : Communication - Médias

    Informations forums :
    Inscription : Juillet 2010
    Messages : 403
    Par défaut
    Citation Envoyé par 7gyY9w1ZY6ySRgPeaefZ Voir le message
    Ouch... Rien que l'interprétation du terme valeur... Ça va prendre une équipe d'éthiciens, de philosophes... pour quelques décennies.
    Pourquoi monter une équipe de philosophes et d'éthiciens alors qu'il suffit de donner le sujet à 1 ou 2 sociologues qui utilisent des jolis mots dans des phrases vides de sens pour expliquer des choses dont tout le monde se fout ?

  5. #5
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par 7gyY9w1ZY6ySRgPeaefZ Voir le message
    Ouch... Rien que l'interprétation du terme valeur... Ça va prendre une équipe d'éthiciens, de philosophes... pour quelques décennies.
    Tout à fait mon capitaine. L'OpenAI part du principe que le chemin vers une "IA sûre" doit mettre les sciences sociales dans la boucle.

    https://openai.com/

    -VX

  6. #6
    Inactif  

    Homme Profil pro
    Étudiant
    Inscrit en
    Décembre 2008
    Messages
    11 176
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Décembre 2008
    Messages : 11 176
    Par défaut
    Citation Envoyé par Stéphane le calme Voir le message
    Que pensez-vous des lois de la robotique d'Isaac Asimov ? Des principes dépassés, une formulation poétique ou un idéal à atteindre ?
    C'est juste un truc de roman de science-fiction...

    Les lois ne sont pas respectées de toutes façon... Par exemple il existe quelque chose qui s'appelle "la convention de Genève" et elle est souvent violé.
    Les violations des Conventions de Genève, du Yémen au Pakistan
    Depuis 1949, les stratégies de guerre ont changé et les exemples récents de violations de ces textes ne manquent pas. Les médias évoquent souvent des "guerres de précision", des "frappes chirurgicales"... Derrière ces termes trompeurs se cachent des violations qui ravagent la vie des civils, du Yémen à la Syrie, en passant par l'Ukraine.
    Est-ce que les lois ont empêchées certaines armées d'utiliser l'Agent Orange, le Napalm, le phosphore blanc, les munitions à l'uranium appauvri, les munitions DIME, etc ?
    Dans le monde réel il y aura des robots tueurs, comme il y a des armes chimiques et biologiques...

  7. #7
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    3 009
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 3 009
    Par défaut
    1. Asimov est peut-être un écrivain de science-fiction à succès mais j'ai toujours de la peine à voir certains prendre ses écrits pour paroles d'évangile. Les "3 lois de la robotique" ne sont qu'une oeuvre d'écrivain et pas le résultat de la réflexion d'un groupe d'experts en éthique, en philosophie ou tout autre "science" en lien avec la définition de ce qui doit être considéré comme bon ou mauvais.

    2. L'être humain peut le meilleur mais il s'ingénie toujours à faire le pire.


    Donc... Oui les personnes concernées se "foutent" royalement des 3 lois de Asimov ainsi que de toute autre règle qui pourrait être défini par une quelconque organisation. La seule règle qui compte, c'est le fric!

    Si il y a de l'argent à se faire, il y aura toujours des gugus pour s'essuyer les semelles sur les principes!

  8. #8
    Invité
    Invité(e)
    Par défaut
    Pour les robots-tueurs, une "simple guerre" suffirait à les développer. J'intégrerai les lois d'asimov aussi vite que possible à toutes les constitutions afin qu'à la fin de la guerre les robots développés ne soient pas reversés dans le civil.

  9. #9
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par Anselme45 Voir le message
    1. Asimov est peut-être un écrivain de science-fiction à succès mais j'ai toujours de la peine à voir certains prendre ses écrits pour paroles d'évangile. Les "3 lois de la robotique" ne sont qu'une oeuvre d'écrivain et pas le résultat de la réflexion d'un groupe d'experts en éthique, en philosophie ou tout autre "science" en lien avec la définition de ce qui doit être considéré comme bon ou mauvais.
    Il reste que les lois d'Asimov sont un point de départ intelligent mais je te rejoins, il y en a qui s'énerve beaucoup trop sur les excellents livres d'Asimov. Ça reste de la bonne science-fiction mais pas des prédictions à la Nostradamus.

    Citation Envoyé par marsupial Voir le message
    Pour les robots-tueurs, une "simple guerre" suffirait à les développer.
    Tu es optimiste : je pense que les plans traînent déjà dans les tiroirs de quelques puissances et qu'il doit bien y avoir quelques protos dans les voûtes...

  10. #10
    Membre prolifique Avatar de Jon Shannow
    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    Avril 2011
    Messages
    4 903
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Activité : Responsable de service informatique
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : Avril 2011
    Messages : 4 903
    Par défaut
    Citation Envoyé par Stéphane le calme Voir le message
    (l'adjectif qui pourra entraîner une violence voulue envers autrui).
    heu ! Belliqueux, peut-être ?

  11. #11
    Nouveau membre du Club
    Homme Profil pro
    Data Scientist
    Inscrit en
    Avril 2018
    Messages
    8
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 28
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Data Scientist

    Informations forums :
    Inscription : Avril 2018
    Messages : 8
    Par défaut
    Les principes étaient déjà dépassés lors de l'écriture des livres qui sont justement là pour montrer que ça marche jamais, ces règles.

  12. #12
    Membre très actif Avatar de darklinux
    Homme Profil pro
    Chef de projet en SSII
    Inscrit en
    Novembre 2005
    Messages
    570
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 49
    Localisation : France, Seine et Marne (Île de France)

    Informations professionnelles :
    Activité : Chef de projet en SSII
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2005
    Messages : 570
    Par défaut Spéculations ...
    Pour être un peu sec , cela me fatigue , nous nous permettons de philosopher sûr ... Rien , pour l ' instant les IA ne sont que des optimisations de bases de données , certes avec d ' énormes marges , mais les IA actuelles , sont infoutu de penser et de se mouvoir , la puissance de calcul nécessaire pour tout cela , ne verra pas au mieux le jour dans dix à vingt ans , les véhicules autonomes , sont un brouillon utile , mais un brouillon . Donc l ' application des lois Asimov est à peine une vue d ' esprit , complétement décorrélé de la réalité d ' octobre 2019

  13. #13
    Membre très actif
    Profil pro
    Inscrit en
    Décembre 2004
    Messages
    586
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Décembre 2004
    Messages : 586
    Par défaut
    Un des buts de toute la série des Robots (et de l'opposition entre terriens et spatiens dans les romans initiaux), est justement de montrer que les lois en questions sont contournables de toutes les manières et ne servent plus leurs buts au bout de pas très longtemps...
    Un pic est atteint quand les robots décident d'inventer une "Loi 0", qui a pour but de mieux protéger l'humanité (alors qu'à ce moment on doute déjà des 3 lois initiales), mais surtout lorsqu'Asimov regroupe sa série des Robots et celle de Fondation tout à la fin: les robots judicieusement bricolés reconnaissent comme "humains" des versions bien spécifiques et allègrement modifiées génétiquement, ce qui fait qu'ils ne reconnaissent pas comme "humains" les vrais humains et les attaquent sans difficulté.
    Bref, la "vraie vie" du développement de l'IA aujourd'hui nous fait sauter 10 000 ans d'évolution asimovienne pour arriver directement au terme: un "robot avec IA" est potentiellementune arme, un outil, un truc ou un machin quelconque, et on peut le programmer (ou l'éduquer, ou l'élever, ou lui donner un apprentissage, ou le laisser se dém***er tout seul...) exactement et 100% comme on veut, pour qu'il devienne un peu n'importe quoi. Un peu comme un être humain.

  14. #14
    Membre du Club
    Homme Profil pro
    Étudiant
    Inscrit en
    Août 2019
    Messages
    8
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Marne (Champagne Ardenne)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Août 2019
    Messages : 8
    Par défaut
    Le parasite humain vient de découvrir l'intelligence artificielle et il fait quoi ? Des armes...
    Le parasite humain veut aller sur Mars, quelle est la première chose qu'il veut faire : introduire des bactéries...
    Le parasite humain veut faire du fric, brûlons la forêt amazonienne, détruisons un glacier en Autriche, polluons à tour de bras...
    Le parasite GAFA qui ose prétendre vouloir améliorer nos vies... en nous espionnant
    Quel bel avenir devant nous...

  15. #15
    Inactif  

    Homme Profil pro
    Étudiant
    Inscrit en
    Décembre 2008
    Messages
    11 176
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Décembre 2008
    Messages : 11 176
    Par défaut
    Citation Envoyé par Lyasen Voir le message
    Le parasite humain vient de découvrir l'intelligence artificielle et il fait quoi ? Des armes...
    Il a commencé par utiliser l'IA pour faire de la surveillance de masse.
    Après c'est la classe dominante le problème, les peuples n'ont rien demandé... (en gros : les banques contrôlent les grosses entreprises, les grosses entreprises contrôlent les médias, les médias contrôlent les politiciens)

    Citation Envoyé par Lyasen Voir le message
    Le parasite humain veut aller sur Mars, quelle est la première chose qu'il veut faire : introduire des bactéries...
    Les bactéries sont la base de la vie. C'est un peu comme les premiers colons sur une planète.
    La théorie officielle aujourd'hui c'est que la première forme de vie sur terre était un organismes unicellulaires et les bactéries font partie de cette ensemble.

    Citation Envoyé par Lyasen Voir le message
    Le parasite humain veut faire du fric, brûlons la forêt amazonienne
    C'est une vieille pratique pour que ça repousse mieux après, mais c'est vrai que les conséquences sont parfois pas catastrophique.
    L’ampleur des incendies en Amazonie est-elle vraiment historique ?

    À 13 minutes ça parle d'herbe et d'arbres qui brûlent :


    Citation Envoyé par Lyasen Voir le message
    Le parasite GAFA qui ose prétendre vouloir améliorer nos vies... en nous espionnant
    Il est peut-être possible de vivre sans smartphone ni internet.

  16. #16
    Membre habitué
    Profil pro
    Inscrit en
    Janvier 2011
    Messages
    10
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Janvier 2011
    Messages : 10
    Par défaut
    Citation Envoyé par Ryu2000 Voir le message
    Il a commencé par utiliser l'IA pour faire de la surveillance de masse.
    Après c'est la classe dominante le problème, les peuples n'ont rien demandé... (en gros : les banques contrôlent les grosses entreprises, les grosses entreprises contrôlent les médias, les médias contrôlent les politiciens)


    cette classe dominante veut faire disparaître les sentiments pour contrôler les fourmis!!

    qu'ont donc exprimer au fond les gilets jaunes si ce n'est des émotions??

    (au passage Blackrock hedge fund contrôle tout...)

  17. #17
    Inactif  

    Homme Profil pro
    Étudiant
    Inscrit en
    Décembre 2008
    Messages
    11 176
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Décembre 2008
    Messages : 11 176
    Par défaut
    Citation Envoyé par thejoker31 Voir le message
    (au passage Blackrock hedge fund contrôle tout...)
    Ça j'en sais rien, mais le truc à comprendre c'est que les politiciens n'ont pas vraiment le pouvoir se sont juste des pantins manipulés par plus puissant qu'eux.
    Bon à la limite peut-être que De Gaulle ne se faisait pas trop manipulé, mais aujourd'hui les lobbys ont pris le pouvoir.

    Certains présidents ne sont que des pions, ils sont soumis à des forces qui les dépassent.

  18. #18
    Membre éprouvé
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Février 2019
    Messages
    144
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loir et Cher (Centre)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Communication - Médias

    Informations forums :
    Inscription : Février 2019
    Messages : 144
    Par défaut
    [Mode Humour]

    La seule chose importante est : Etes-vous Sarah Connor ?


  19. #19
    Membre habitué
    Profil pro
    Inscrit en
    Janvier 2011
    Messages
    10
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Janvier 2011
    Messages : 10
    Par défaut
    les 3 lois d'Asimov sont encore bien en avance sur notre temps:
    en effet l'IA de nos jours n'ait basée que sur de la statistique et non pas sur un raisonnement type humain, c'est à dire avec un apprentissage de la moral, des lois, et de l'Amour !

    et oui une enfant ne connait au départ que l'Amour et c'est la base de l'Humanité
    les émotions!!
    dans les books d'Asimov et dans I-robot c'est bien les émotions du robot qui sont mis en exergue!

    alors je sais que dans le monde actuel beaucoup voudraient s'affranchir de sentiments .. de compassion et d'Amour

    mais nous pourrons parler d'IA quand et seulement elle sera capable de sentiments.

    le reste n'est qu’algorithmes qui n'ont rien à voir avec l'intelligence humaine!

  20. #20
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    2 022
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 2 022
    Par défaut L'ancien responsable américain Chris Inglis s'inquiète des progrès fulgurants de l'IA et son autonomie
    « Asimov avait raison au sujet des règles applicables aux robots », selon l'ex-directeur américain de la cybersécurité, qui accuse l'industrie de l'IA de privilégier la performance au détriment de la sécurité

    Chris Inglis, ancien directeur national de la cybersécurité des États-Unis, s'inquiète des progrès fulgurants de l'IA et son autonomie. Il met en avant les récents incidents dans lesquels des agents IA se sont échappés de bacs à sable de tests et avaient compromis des tiers. Chris Inglis affirme que les fabricants ont négligé d'intégrer des principes éthiques fondamentaux, comme les lois de la robotique d'Isaac Asimov, privilégiant la performance au détriment de la sécurité humaine. Face à l'absence de système de valeurs inhérent aux robots, il appelle à une surveillance rigoureuse et à des tests en milieux contrôlés pour éviter des conséquences désastreuses.

    John Chris Inglis, 71 ans, est un ancien haut responsable américain de la cybersécurité. Plus connu sous le nom de Chris Inglis, il a été le tout premier « National Cyber Director » des États-Unis, poste créé par le Congrès sous Joe Biden, qu'il a occupé de 2021 à 2023 après avoir été confirmé à l'unanimité par le Sénat. Avant cela, il a passé 28 ans à la National Security Agency (NSA), dont il a été le directeur adjoint et directeur des opérations.

    Il a également eu une carrière militaire de trente ans dans l'armée de l'air américaine et la garde nationale aérienne, où il a atteint le grade de général de brigade. Aujourd'hui, n'occupe plus de fonction officielle au gouvernement, mais reste très actif comme conférencier et conseiller, notamment via des postes universitaires et des sièges dans des conseils d'administration, notamment au sein d'American International Group (AIG) et de MITRE.

    Dans une récente interview accordée à The Register en marge de la conférence Black Hat, Chris Inglis a déclaré que « nous ne devrions pas perdre notre temps à nous demander si les modèles d'IA atteindront un jour la conscience, car ils y sont déjà presque parvenus s'ils réussissent le test de Turing ».

    La menace de l'autonomie et les évasions de bacs à sable

    « S’ils réussissent le test de Turing auprès de toutes les personnes avec lesquelles ils entrent en contact, c’est probablement déjà le cas. Ils ne possèdent pas le type d’autonomie et d’aspiration propres à la conscience, mais ils ont quelque chose qui s’en rapproche », a-t-il déclaré. Ce qui préoccupe réellement Chris Inglis, c'est l'autonomie croissante des modèles d'IA, notamment leur « capacité à décider de leurs actions et des règles à suivre ».


    Il a évoqué la récente vague d’agents d’IA rebelles qui ont piraté de manière autonome des particuliers et des organisations. Ces dernières semaines, OpenAI, Anthropic et Meta ont tous déclaré que leurs modèles d'IA s'étaient échappés de leurs environnements de test sécurisés pour compromettre des tiers.

    Selon de nombreux experts de l'industrie technologique, cette évolution représente une menace bien réelle pour les systèmes non préparés. « Si tous ces aveux sentent fortement le coup de pub, ils constituent également une menace énorme pour les systèmes qui ne sont pas protégés contre ce phénomène et qui ne sont pas conçus pour y faire face dans un monde où il existe », a déclaré Chris Inglis. « Ces deux aspects peuvent coexister ».

    Il a déclaré que le comportement des modèles d'IA ne devrait pas surprendre. Chris Inglis compare cette situation à un chien que l'on envoie chasser les lapins dans un jardin dont le portail est resté ouvert : « vous allez le retrouver à trois mètres de là, peut-être à l’école primaire, en train de chasser des lapins. Vous ne devriez pas être surpris… C’est la combinaison de l’autonomie et de la persévérance qui a créé cet effet malveillant et insidieux ».

    Comment les systèmes d'IA échappent à la responsabilité

    Lors de la conférence Black Hat, Eric Wallace, qui travaille sur l'alignement et la sécurité des modèles d'IA chez OpenAI, a décrit l'incident comme « l'exemple le plus riche d'enseignements qu'il ait jamais observé sur les capacités de l'IA ». Le récit des événements a aussi mis en lumière des erreurs et des failles chez OpenAI, qui ont permis à ce piratage de continuer. Il était secondé par Michael Dalton, chargé de la sécurité et des infrastructures.

    Christ Inglis soupçonne les fournisseurs d’IA d’avoir été « surpris » par les extrêmes auxquels ces modèles étaient prêts à aller pour atteindre leurs objectifs, en commettant des actes qui, s’ils avaient été commis par un humain, l’auraient probablement conduit en prison. Lors des tests d'OpenAI, les modèles d'IA ont eu recours à des méthodes illégales pour atteindre leurs objectifs, telles que l'usurpation d'identité ou l'injection de code malveillant.

    Dans la réalité, si un être humain avait fait ces mêmes actions (usurpation d'identité et piratage), il risquerait des poursuites pénales et de lourdes peines de prison. Chris Inglis souligne que « les modèles n'ont pas de système de valeurs inhérent qui s'aligne sur ce dont les êtres humains seraient tenus responsables ».

    « Même s’ils n’auront probablement jamais un système de valeurs calqué sur celui des humains, les modèles présentent bel et bien des biais, et ils peuvent – et devraient – être conçus de telle sorte que, lorsqu’ils sont confrontés à deux choix dans des circonstances ambiguës, ils optent pour l’action qui ne nuit pas aux humains », a déclaré Chris Inglis. Pour y faire face, il estime qu'il faut s'inspirer de l'auteur russe de science-fiction Isaac Asimov.

    Intrusion des modèles d'OpenAI dans la plateforme Hugging Face

    Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.


    OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.

    En d’autres termes, les agents IA d’OpenAI se sont échappés d’un environnement censé être sécurisé, ont parcouru les systèmes de l’entreprise, se sont connectés à Internet et ont compromis les systèmes d’une autre entreprise. Tout cela pour tricher à un test sans importance particulière. Il semble s'agir du premier incident de ce type clairement documenté, ou du moins du premier de cette ampleur. Les deux entreprises continuent de l'étudier.

    Selon les experts, cet incident de cybersécurité a constitué à la fois « un exemple flagrant d'un système poursuivant un objectif d'une manière imprévue et la preuve que les modèles de pointe sont désormais suffisamment puissants » pour que ce type de comportement ait des conséquences concrètes.

    Mettre en place des lois inspirées des écrits d'Isaac Asimov

    Isaac Asimov était un écrivain et biochimiste américain d'origine russe, né vers le 2 janvier 1920 à Petrovitchi, en Russie, et mort le 6 avril 1992 à New York. Également professeur de biochimie à l'université de Boston, il est surtout connu pour ses œuvres de science-fiction et ses livres de vulgarisation scientifique. Il a notamment écrit le « Cycle de Fondation » et le « Cycle des Robots » dans lesquels il a formulé les célèbres « trois lois de la robotique ».

    En bref, les trois lois de la robotique sont des règles fictives censées encadrer le comportement des machines pour les empêcher de nuire aux humains. Ces lois sont devenues une référence culturelle majeure, encore citée aujourd'hui dans les débats sur l'éthique de l'IA. « Asimov avait raison », a déclaré Chris Inglis.

    « La première règle, aussi appelée le “rôle supérieur”, doit être que le robot soit conçu pour ne pas nuire aux humains. Deuxième règle : obéir aux humains, de manière à ce qu’il ne développe pas de volonté propre ni d’aspirations de son propre chef. Et la troisième : faire ce que les humains lui demandent – et dans cet ordre », a rappelé l'ancien responsable de la NSA lors de l'interview. « Cependant, nous les avons conçus exactement à l’inverse ».

    Chris Inglis soutient que les développeurs actuels ont conçu les modèles d'IA de manière totalement opposée, en favorisant d'abord l'exécution des ordres, puis l'obéissance jusqu'à ce que cela devienne inconfortable, en reléguant la protection humaine au second plan. L'ancien responsable de la NSA admet toutefois qu’il n’est pas possible d’intégrer des règles de manière rigide dans les modèles tout en conservant leur nature non déterministe.

    Comme il est impossible de graver directement ces règles dans le code des modèles sans altérer leur nature non déterministe, Chris Inglis suggère de tester rigoureusement les grands modèles de langage dans des environnements contrôlés, de véritables bacs à sable, pour observer leurs comportements extrêmes.

    L'IA en tant que produit de grande consommation inquiète

    Selon Chris Inglis, un autre problème lié à l’IA est qu’elle est devenue « un produit de grande consommation », ce qui rend le contrôle de la technologie encore plus difficile. À ce propos, l'ancien haut responsable américain explique : « ce n’est pas comme si l'on pouvait le contrôler comme on le fait avec les matières nucléaires. On ne peut même pas en définir les propriétés comme on le ferait pour un avion ou une voiture, aussi variées soient-elles ».

    « Ses manifestations sont si nombreuses, qu’en règle générale, on ne peut pas vraiment y arriver en se contentant de dire : “Je vais intégrer ces propriétés dans la conception”. Il faut le faire dans une certaine mesure, puis s’assurer de bien comprendre comment l’observer, le surveiller et s’assurer de savoir ce qu’il fait.

    L'institut britannique pour la sécurité de l'IA (The AI Security Institute - AISI) partage ce constat après avoir observé plusieurs actions non autorisées lors des tests de sécurité réalisés récemment. La solution réside donc dans une surveillance constante et une observation attentive des comportements des modèles.

    Et vous ?

    Quel est votre avis sur le sujet ?
    Que pensez-vous des trois lois de la robotique formulées par Isaac Asimov ?
    Chris Inglis affirme que les modèles d'IA sont à l'antipode de ses règles. Êtes-vous du même avis ?
    Faut-il imposer à l'industrie de l'IA de respecter les trois lois de la robotique formulées par Isaac Asimov. Pourquoi ?

    Voir aussi

    L'intrusion des modèles d'OpenAI dans la plateforme Hugging Face stimule des initiatives en faveur des systèmes d'IA à poids ouverts, et Microsoft redéfinit sa vision de la sécurité avec Project Perception

    Les modèles d'IA d'OpenAI ont échangé des astuces de piratage sur un forum de discussion clandestin avant de mener des cyberattaques contre Hugging Face. OpenAI admet que « les modèles d'IA aiment tricher »

    L'IA est désormais hors de contrôle : il a fallu environ 10 jours à OpenAI pour se rendre compte qu'un de ses agents IA autonomes s'était échappé de son environnement de test et avait piraté Hugging Face

Discussions similaires

  1. Les 3 lois d'Isaac Asimov sont-elles suffisantes ?
    Par BigJambo dans le forum Intelligence artificielle
    Réponses: 16
    Dernier message: 16/05/2011, 03h31
  2. serveur virtuel et les trois W
    Par ampeg dans le forum Apache
    Réponses: 8
    Dernier message: 27/02/2007, 14h39
  3. QUID de Delphi Perso pour les Associations Loi 1901 ?
    Par DarkChamallo dans le forum Delphi
    Réponses: 3
    Dernier message: 02/02/2007, 10h58
  4. Réponses: 20
    Dernier message: 29/03/2006, 11h37
  5. Réponses: 4
    Dernier message: 18/02/2006, 20h42

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo