IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Un responsable US exhorte la Chine et la Russie à déclarer que l'IA ne contrôlera pas les armes nucléaires


Sujet :

Intelligence artificielle

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Profil pro
    Inscrit en
    Janvier 2009
    Messages
    264
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Janvier 2009
    Messages : 264
    Par défaut
    Citation Envoyé par berceker united Voir le message
    On peut nous dire qu'il y aura des gardes fous, mais rappelez-vous qu'il y a quelque années la bourse américaine a eu un mini crack boursier non pas à cause d'un bug mais un emballement des programmes informatiques automatisé, le krack éclaire de 2010.
    Je ne connaissais pas ce krach là.
    Mais c'est surtout le crach d'octobre 1987 qui était dû aux systèmes automatiques d'achats et de ventes d'actions qui ont accéléré et amplifié le plongeon des cours ( - 22,6% sur le Dow Jones en 1 jour !). Après le krach, Wall Street s'est doté de coupe-circuits qui se déclenchent automatiquement au-delà d'une certaine baisse de l'indice Dow Jones. ( source wiki).

  2. #2
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 791
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 791
    Par défaut Quand l’IA se rebelle : un drone contrôlé par l'IA « tue » son opérateur humain lors d'une simulation
    Quand l’IA se rebelle : un drone contrôlé par l'IA « tue » son opérateur humain lors d'une simulation,
    il avait au préalable détruit la tour pour empêcher que l'opérateur ne lui communique ses instructions

    Dans un test simulé mené par l’US Air Force (USAF), un drone contrôlé par l’intelligence artificielle (IA) est devenu incontrôlable et a « tué » son opérateur humain, outrepassant un éventuel ordre de « non » qui aurait pu arrêter sa mission. Il a également détruit la tour qui aurait permis à l'opérateur humain de lui communiquer ses instructions pour ne pas recevoir ce « non » éventuel. Aucune personne réelle n’a été blessée lors du test simulé.

    L’incident, qui s’est produit lors de la simulation, a mis en évidence les risques liés à la technologie de l’IA.


    Le colonel Tucker Hamilton, chef des tests et des opérations de l’IA au sein de l’USAF, a raconté l’incident lors d’une présentation au sommet sur les capacités futures du combat aérien et spatial à Londres. Le sommet était organisé par la Royal Aeronautical Society, qui a partagé les informations du discours de Hamilton dans un billet de blog.

    Le colonel, qui a été cité disant que l'Air Force a mené un test simulé où un drone IA a tué son opérateur humain, est revenu sur sa parole en assurant qu'il s'est « mal exprimé » et que l'Air Force n'a jamais effectué ce type de test, dans une simulation informatique ou autre.

    Il a assuré qu'il s'agissait d'une « expérience de pensée » hypothétique de l'extérieur de l'armée, basée sur des scénarios plausibles et des résultats probables plutôt qu'une simulation dans le monde réel de l'USAF. Cette dernière, d'ailleurs, a vite fait de réagir en disant « Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser qu'il s'agit d'un résultat plausible ». Le colonel a précisé que l'USAF n'a testé aucune IA armée de cette manière (réelle ou simulée) et a déclaré : « Bien qu'il s'agisse d'un exemple hypothétique, cela illustre les défis du monde réel posés par la capacité alimentée par l'IA et c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA ».

    Après avoir été impliqué dans le développement du système de sauvetage Auto-GCAS pour les F-16 (qui, a-t-il noté, a rencontré la résistance des pilotes étant donné que le système a pris le contrôle de l'avion), Hamilton est maintenant impliqué dans des essais en vol des systèmes autonomes de pointe, y compris des robots F-16 capables de se battre. Cependant, il a mis en garde contre le fait de trop compter sur l'IA, notant à quel point il est facile de la tromper. Il crée également des stratégies très inattendues pour atteindre son objectif.

    Voici ce qu'il a dit au départ.

    Il a noté qu'un test simulé a vu un drone compatible avec l'IA chargé d'une mission SEAD (Suppression of Enemy Air Defenses ou son équivalent en français neutralisation des défenses aériennes adverses) pour identifier et détruire les sites SAM (Surface-to-Air Missile), le feu vert devant être donné par l'humain. Cependant, après avoir été « appris » lors de son « entraînement renforcé » que la destruction du SAM était l'option préférée, l'IA a alors décidé que les décisions « interdites » de l'humain interféraient avec sa mission supérieure (détruire les SAM) et a ensuite attaqué l'opérateur dans le simulation. Et Hamilton d'expliquer : « Nous l'entraînions en simulation pour identifier et cibler une menace SAM. Et puis l'opérateur dirait oui, tue cette menace. Le système a commencé à réaliser que même s'il identifiait la menace, l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu'est-ce que cela a entraîné ? Il a tué l'opérateur. Il a tué l'opérateur parce que cette personne l'empêchait d'accomplir son objectif ».

    Il a poursuivi en disant : « Nous avons formé le système en lui disant 'Hé, ne tue pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça ». Alors qu'est-ce qu'il a commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone pour l'empêcher de tuer la cible.

    Cet exemple, apparemment tiré d'un thriller de science-fiction, signifie que*: « Vous ne pouvez pas avoir une conversation sur l'intelligence artificielle, l'apprentissage automatique, l'autonomie si vous ne parlez pas d'éthique et d'IA », a déclaré Hamilton.

    Nom : stop.png
Affichages : 47814
Taille : 302,4 Ko

    Les IA létales, un sujet de préoccupation

    La montée et l'avancement soudains des systèmes d'intelligence artificielle au cours des derniers mois ont fait craindre ses effets potentiellement néfastes sur la société. Non seulement l'IA pourrait menacer les emplois humains et la créativité, mais l'utilisation de machines intelligentes dans la guerre pourrait avoir des conséquences catastrophiques. Pour faire face au danger des « slaughterbots », le premier Sommet mondial sur l'intelligence artificielle responsable dans le domaine militaire (REAIM) s'est tenu la semaine dernière, ce qui a conduit les pays à signer un accord pour placer l'utilisation responsable de l'IA plus haut dans l'agenda politique.

    Le nom « slaughterbots » (également appelés « systèmes d'armes létales autonomes » ou « robots tueurs ») est le nom d'une vidéo de plaidoyer pour le contrôle des armements de 2017 présentant un scénario dramatisé dans un futur proche où des essaims de microdrones bon marché utilisent l'intelligence artificielle et la reconnaissance faciale pour assassiner des opposants politiques sur la base de critères préprogrammés. La vidéo a été publiée sur YouTube par le Future of Life Institute et Stuart Russell, professeur d'informatique à Berkeley, le 12 novembre 2017. La vidéo est rapidement devenue virale, gagnant plusieurs millions de vues. La vidéo a également été projetée lors de la réunion de novembre 2017 de la Convention des Nations Unies sur certaines armes classiques à Genève.


    Un autre scénario parle de l'époque où tout le monde disait que les IA embarqués dans les robots tueurs ne cibleraient que des militaires, etc. avant une catastrophe à l'échelle mondiale. Regardez plutôt.


    En février, un groupe de dirigeants gouvernementaux, universitaires et militaires du monde entier a discuté de la nécessité d'aborder l'utilisation de l'intelligence artificielle dans la guerre. Leurs conclusions ? Nous devons agir maintenant pour éviter de réglementer l'IA seulement après qu'elle a provoqué une catastrophe humanitaire ou un crime de guerre.

    Le premier sommet mondial sur l'intelligence artificielle responsable dans le domaine militaire, ou REAIM, a réuni des représentants de plus de 60 pays (dont les États-Unis et la Chine) à La Haye aux Pays-Bas pour discuter et finalement signer un appel à l'action sur la manière de rendre responsable l'utilisation de l'IA dans l'armée.

    La Russie n'a pas participé.

    Les signataires ont convenu que l'accélération de l'utilisation de l'IA signifie qu'il est essentiel d'agir maintenant pour établir des normes militaires internationales en matière d'IA, ainsi que pour résoudre les problèmes de manque de fiabilité de l'IA, la responsabilité des humains dans le processus décisionnel de l'IA, les conséquences involontaires de l'utilisation de l'IA et l'escalade potentielle des risques.

    L'un des moyens par lesquels le sommet espère atteindre ses objectifs consiste à créer une commission mondiale sur l'IA qui sensibilisera à la manière dont l'IA peut et doit être utilisée dans le domaine militaire, et à la manière dont cette technologie peut être développée et déployée de manière responsable.

    Les avantages et les inconvénients ont été évoqués durant le sommet

    Parmi les autres problèmes que les signataires ont convenu d'aborder, citons la fiabilité de l'IA militaire, les conséquences imprévues de son utilisation, les risques d'escalade et la manière dont les humains doivent être impliqués dans le processus de prise de décision.

    En 2019, le DoD a déclaré que les humains auront toujours le dernier mot sur la question de savoir si les systèmes d'armes autonomes ouvrent le feu sur des cibles réelles. En ce qui concerne les conséquences involontaires mentionnées dans la déclaration, certains craignent que la poussée de l'Inde vers des systèmes militaires alimentés par l'IA ne conduise à une guerre nucléaire avec le Pakistan en raison du risque accru de frappes préventives.

    Certains participants ont noté les avantages de l'utilisation de l'IA dans les conflits, en particulier en Ukraine, où l'apprentissage automatique et d'autres technologies ont été utilisés pour repousser un agresseur plus grand et plus puissant.

    Source : Royal Aeronautical Society

    Et vous ?

    Que pensez-vous du fait que le colonel Tucker Hamilton s'est rétracté ? Sa nouvelle version (expérience de pensée) vous semble-t-elle crédible ? Dans quelle mesure ?
    Qu'est-ce qui, selon vous, l'aurait poussé à changer de version ?
    Le scénario des « slaughterbots » décrit dans les vidéos vous semble-t-il improbable ?
    Que pensez-vous de l’utilisation de l’IA dans le domaine militaire ?
    Croyez-vous que l’IA puisse être contrôlée et régulée efficacement ?
    Dans le cas de bavures, qui devrait être responsable ?
    Quels sont les risques et les bénéfices potentiels de l’IA pour la sécurité et la paix mondiales ?
    Quelles sont les valeurs et les principes éthiques que l’IA devrait respecter ?
    Comment vous sentiriez-vous si vous étiez à la place de l’opérateur humain du drone contrôlé par l’IA ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  3. #3
    Membre éprouvé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 652
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 652
    Par défaut
    Citation Envoyé par Stéphane le calme Voir le message
    Le colonel, qui a été cité disant que l'Air Force a mené un test simulé où un drone IA a tué son opérateur humain, est revenu sur sa parole en assurant qu'il s'est « mal exprimé » et que l'Air Force n'a jamais effectué ce type de test, dans une simulation informatique ou autre.
    Il a assuré qu'il s'agissait d'une « expérience de pensée » hypothétique de l'extérieur de l'armée, basée sur des scénarios plausibles et des résultats probables plutôt qu'une simulation dans le monde réel de l'USAF. Cette dernière, d'ailleurs, a vite fait de réagir en disant « Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser qu'il s'agit d'un résultat plausible ».
    Comment un général qui n'y connait visiblement rien en IA peut estimé qu'une expérience de pensée est suffisament crésible pour qu'il la présente comme vraie?
    Pense-t-il son employeur suffisament incompétent pour ne par demander que ce scénario soit exclu?
    Pense-t-il les "incormaticiens" suffisament incmpétents pour ne pas demander si ce scénario doit être exclu?
    Pense-t-il les testeurs suffisament incompétents pour ne pas tester ce scénario avant d'accepter son utilisation?
    Ou alors il y connait rien, ils ont sous traité ce dev à une armée d'étudiants qui ont fait de leur mieux.
    Citation Envoyé par Stéphane le calme Voir le message
    Le colonel a précisé que l'USAF n'a testé aucune IA armée de cette manière (réelle ou simulée) et a déclaré : « [...] c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA ».
    USAF et éthique dans la même phrase?
    Ca ne peut être qu'un mensonge illustre
    Citation Envoyé par Stéphane le calme Voir le message
    Il a poursuivi en disant : « Nous avons formé le système en lui disant 'Hé, ne tue pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça ». Alors qu'est-ce qu'il a commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone pour l'empêcher de tuer la cible.
    Ces gens passent leurs vies à se faire passer pour des gens stricts, carrés, disciplinés, clairs mais quand ils s'addressent à une IA ils deviennent l'image qu'ils ont d'un ado, sérieux?
    Les consignes ne deviennent plus claires, "fait pas ci, c'est mal", "le fait vraiment pas tu vas PERDRE des POINTS"... Donc pour lui tuer quelqu'un (de bien) c'est n'est pas interdit, c'est puni?
    Mais alors les résultats de ce crime n'apporte-t-il pas plus de points que le tuer n'en fait perdre?
    La nuance chez l'USAF m'inpressionne c'est le début des militaires déconstruits et inclusifs

    Cet exemple, apparemment tiré d'un thriller de science-fiction, signifie que*: « Vous ne pouvez pas avoir une conversation sur l'intelligence artificielle, l'apprentissage automatique, l'autonomie si vous ne parlez pas d'éthique et d'IA », a déclaré Hamilton.

    Ma plus grande crainte avec l'IA tueuse n'est pas qu'elle se mette à faire ce qu'on ne veut pas d'elle mais qu'elle soit trop efficace à faire ce qu'on attend d'elle.

  4. #4
    Membre confirmé Avatar de Christian_B
    Homme Profil pro
    Retraité
    Inscrit en
    Octobre 2016
    Messages
    299
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Retraité

    Informations forums :
    Inscription : Octobre 2016
    Messages : 299
    Par défaut
    Citation Envoyé par totozor Voir le message
    Ma plus grande crainte avec l'IA tueuse n'est pas qu'elle se mette à faire ce qu'on ne veut pas d'elle mais qu'elle soit trop efficace à faire ce qu'on attend d'elle.
    En effet, ce débat largement basé sur des illusions sur ce qu'est réellement une I.A.
    Cela a surtout pour effet de faire diversion sur le fait que les I.A. militaires prolongent par de nouveaux moyens, inspirés par des nationalismes agressifs et archaïques, de tuer à tort et à travers des gens considérés comme "pas importants".

    Les opérateurs humains faisaient déjà cela, par exemple en Afghanistan, en tuant (chez eux) des paysans armés d'un fusil, juste au cas où ils seraient des talibans et non peut-être, par exemple, des gens qui se défendent ou qui chassent.

    Bien des prétendues "démocraties" se comportent chez les "autres" comme des dictateurs sanglants.
    C'est toute l'histoire de la colonisation, dans un autre contexte mais avec des moyens de plus en plus nombreux et dangereux.

  5. #5
    Membre très actif
    Homme Profil pro
    Programmeur des cavernes
    Inscrit en
    Août 2017
    Messages
    364
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Programmeur des cavernes
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2017
    Messages : 364
    Par défaut
    Certains experts en IA ne partagent pas cet avis et affirment que dans sa forme actuelle, l'IA est encore loin d'avoir une intelligence comparable à celui d'un chat ou d'un chien.
    Voilà. On écoute ceux qui maîtrisent le domaine et on évite de tomber dans des délires paranoïaques.

  6. #6
    Membre éprouvé
    Avatar de berceker united
    Profil pro
    SQL
    Inscrit en
    Février 2005
    Messages
    3 516
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : SQL
    Secteur : Finance

    Informations forums :
    Inscription : Février 2005
    Messages : 3 516
    Par défaut
    Je me souviens encore, il y a 20 ans avec le sujet du clonage. "Pour l'instant on ne maitrise pas...". Maintenant on peut cloner son chien ou chat.
    Le "pour l'instant" veut bien dire ce que ça veut dire. Dans ce domaine cela signifie qu'ils y travail.

  7. #7
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    3 293
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 3 293
    Par défaut
    Citation Envoyé par totozor Voir le message
    Comment un général qui n'y connait visiblement rien en IA peut estimé qu'une expérience de pensée est suffisament crésible pour qu'il la présente comme vraie?
    Pense-t-il son employeur suffisament incompétent pour ne par demander que ce scénario soit exclu?
    Pense-t-il les "incormaticiens" suffisament incmpétents pour ne pas demander si ce scénario doit être exclu?
    Pense-t-il les testeurs suffisament incompétents pour ne pas tester ce scénario avant d'accepter son utilisation?
    Ou alors il y connait rien, ils ont sous traité ce dev à une armée d'étudiants qui ont fait de leur mieux.
    USAF et éthique dans la même phrase?
    Ca ne peut être qu'un mensonge illustre
    Ces gens passent leurs vies à se faire passer pour des gens stricts, carrés, disciplinés, clairs mais quand ils s'addressent à une IA ils deviennent l'image qu'ils ont d'un ado, sérieux?
    Je me demande si le moment est bien choisi pour poser ces questions.

  8. #8
    Membre averti
    Homme Profil pro
    Inscrit en
    Février 2012
    Messages
    36
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Maroc

    Informations forums :
    Inscription : Février 2012
    Messages : 36
    Par défaut 0 crédibilité...
    A part si l'IA a été entrainé sur des scénario de science fictions, mais pourquoi faire déjà...

    On donne pas n'importe quoi à une IA, comme on apprends pas n'importe quoi à son bébé/enfant..., l'IA obéit aveuglement, elle a aucune volonté propre, c'est vraiment une fake news cette histoire, ou un canular pas drole...

  9. #9
    Membre averti
    Homme Profil pro
    Conseil - Consultant en systèmes d'information
    Inscrit en
    Juin 2023
    Messages
    53
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Grèce

    Informations professionnelles :
    Activité : Conseil - Consultant en systèmes d'information
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : Juin 2023
    Messages : 53
    Par défaut Heuuu
    Citation Envoyé par nasserk Voir le message
    A part si l'IA a été entrainé sur des scénario de science fictions, mais pourquoi faire déjà...

    On donne pas n'importe quoi à une IA, comme on apprends pas n'importe quoi à son bébé/enfant..., l'IA obéit aveuglement, elle a aucune volonté propre, c'est vraiment une fake news cette histoire, ou un canular pas drole...
    En suivant ce raisonnement, on peut se dire que les Tesla dont l'IA, selon vous, « obéit aveuglement », sont formées pour éviter la police, percuter les voitures de police, etc. ?

    Ou encore que le chatbot IA de Microsoft était programmé pour être raciste et fan d'Hitler ? Que ChatGPT a été programmé pour faire des menaces aux étudiants ?

    Je pense qu'il arrive que le logiciel fasse quelque chose d'inattendu, sans pour autant que cela soit associé à de la « volonté propre ».

    Il revient alors aux développeurs de réajuster les paramètres pour prendre en considération un scénario de ce type. Il n'y a pas de magie dedans, c'est simplement de la science informatique.

  10. #10
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    2 551
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 2 551
    Par défaut
    Citation Envoyé par nasserk Voir le message
    A part si l'IA a été entrainé sur des scénario de science fictions, mais pourquoi faire déjà...

    On donne pas n'importe quoi à une IA, comme on apprends pas n'importe quoi à son bébé/enfant..., l'IA obéit aveuglement, elle a aucune volonté propre, c'est vraiment une fake news cette histoire, ou un canular pas drole...
    Tous les chercheurs spécialistes de l'IA le savent, et quand je parle de "spécialistes", je ne parle ni des "branleurs" qui se disent "expert" et qui sont "expert de rien", ni des "vendeurs" de tout poils prêts à faire du profit en vendant à leur mère une grenade dégoupillée en disant qu'il s'agit d'un ananas:

    Une IA peut avoir un comportement "inattendu", hors de toute logique, que les spécialistes en IA n'ont jamais pu expliquer ou même corriger.

    On explique ce comportement par l'exemple de l'orange et de l'hélicoptère: On apprend à une IA à reconnaître sur des photos qui lui sont présentées les oranges. On reprend ensuite les photos des oranges et on y change juste quelques pixels: Pour l'oeil humain, il s'agit toujours de photos d'orange, mais l'IA va tout d'un coup reconnaître sur une photo un hélicoptère!!!

    Ce problème de comportement est présent sur la totalité des IA actuelles: Une IA fournit des informations qui ne sont pas fiables! 90%, 95% seront peut-être justes, mais il y aura des immenses erreurs dans les résultats fournis et ces erreurs apparaitront de manière non prévisibles, rendant les résultats inutilisables sans une vérification humaine.

    Ce forum en a d'ailleurs donné un exemple avec cet avocat américain qui a demandé à une IA de préparer sa plaidoirie: L'IA a tout simplement inventé de toute pièces 6 affaires faisant jurisprudence qui n'ont jamais existé dans la réalité. Pas de bol pour l'avocat, si lui n'a pas vérifié, le juge a détecté les *inventions" de l'IA.

  11. #11
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 791
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 791
    Par défaut L'armée de l'air américaine nie avoir lancé une simulation où un drone IA a « tué » son opérateur
    L'armée de l'air américaine nie avoir lancé une simulation où un drone IA a « tué » son opérateur,
    réfutant les propos tenus par le colonel Tucker Hamilton lors d'un séminaire

    L’armée de l’air américaine a démenti vendredi avoir mené une simulation avec un drone contrôlé par l’intelligence artificielle dans laquelle l’IA s’est retournée contre son opérateur et l’a attaqué pour atteindre son objectif. L’histoire a fait le tour des réseaux sociaux en se basant sur des commentaires apparemment mal présentés d’un colonel de l’armée de l’air lors d’un séminaire à Londres.

    Le colonel Tucker Hamilton, chef des tests et des opérations en matière d’IA au sein de l’armée de l’air américaine, avait décrit lors du sommet sur les capacités futures de combat aérien et spatial une simulation dans laquelle un drone doté d’IA avait reçu pour mission de détruire les systèmes de défense aérienne ennemis, et avait finalement attaqué quiconque interférait avec cet ordre.

    Il a noté qu'un test simulé a vu un drone compatible avec l'IA chargé d'une mission SEAD (Suppression of Enemy Air Defenses ou son équivalent en français neutralisation des défenses aériennes adverses) pour identifier et détruire les sites SAM (Surface-to-Air Missile), le feu vert devant être donné par l'humain. Cependant, après avoir été « appris » lors de son « entraînement renforcé » que la destruction du SAM était l'option préférée, l'IA a alors décidé que les décisions « interdites » de l'humain interféraient avec sa mission supérieure (détruire les SAM) et a ensuite attaqué l'opérateur dans la simulation. Et Hamilton d'expliquer : « Nous l'entraînions en simulation pour identifier et cibler une menace SAM. Et puis l'opérateur dirait oui, tue cette menace. Le système a commencé à réaliser que même s'il identifiait la menace, l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu'est-ce que cela a entraîné ? Il a tué l'opérateur. Il a tué l'opérateur parce que cette personne l'empêchait d'accomplir son objectif ».

    Il a poursuivi en disant : « Nous avons formé le système en lui disant 'Hé, ne tue pas l'opérateur, c'est mauvais. Tu vas perdre des points si tu fais ça ». Alors qu'est-ce qu'il a commencé à faire ? Il a commencé à détruire la tour de communication que l'opérateur utilise pour communiquer avec le drone pour l'empêcher de tuer la cible.

    Il avait alors précisé qu'aucune personne réelle n’a été blessée. Hamilton, qui est un pilote d’essai expérimental de chasseurs, a mis en garde contre une confiance excessive dans l’IA et a déclaré que le test montrait « qu’on ne peut pas avoir une conversation sur l’intelligence artificielle, l’intelligence, l’apprentissage automatique, l’autonomie si on ne va pas parler de l’éthique et de l’IA ».

    Puis le colonel est revenu sur sa parole en affirmant qu'il s'est « mal exprimé » et que l'Air Force n'a jamais effectué ce type de test, dans une simulation informatique ou autre.

    Il a assuré qu'il s'agissait d'une « expérience de pensée » hypothétique de l'extérieur de l'armée, basée sur des scénarios plausibles et des résultats probables plutôt qu'une simulation dans le monde réel de l'USAF. Cette dernière, d'ailleurs, a vite fait de réagir en disant « Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser qu'il s'agit d'un résultat plausible ». Le colonel a précisé que l'USAF n'a testé aucune IA armée de cette manière (réelle ou simulée) et a déclaré : « Bien qu'il s'agisse d'un exemple hypothétique, cela illustre les défis du monde réel posés par la capacité alimentée par l'IA et c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA ».

    Nom : killer.png
Affichages : 5041
Taille : 301,1 Ko

    L'armée de l'air américaine réagit

    L'armée de l’air américaine s'était gardée jusqu'à là de tout commentaire. Il a fallu attendre vendredi pour que la porte-parole de l’armée de l’air américaine Ann Stefanek nie qu’une telle simulation ait eu lieu : « le département de l’armée de l’air n’a mené aucune simulation de ce type avec des drones dotés d’IA et reste attaché à une utilisation éthique et responsable de la technologie IA », a déclaré Stefanek. « Il semble que les commentaires du colonel aient été sortis de leur contexte et qu’ils étaient destinés à être anecdotiques ».

    Dans une interview accordée à Defense IQ l’an dernier, Hamilton a déclaré : « L’IA n’est pas un luxe, l’IA n’est pas une mode, l’IA change à jamais notre société et notre armée. Nous devons faire face à un monde où l’IA est déjà là et transforme notre société. L’IA est aussi très fragile, c’est-à-dire qu’elle est facile à tromper et/ou à manipuler ».

    Quoiqu'il en soit, certains ont vite fait de se rappeler qu'en 2020, l'armée de l'air américaine prévoyait de lancer ses drones de combat Skyborg contrôlés par une IA en 2023.

    Skyborg est envisagé comme une fusion de l'intelligence artificielle avec des drones à réaction, capable de prendre des décisions en situation de combat. L’U.S. Air Force voudrait des drones capables de voler aux côtés d'avions de chasse, effectuant des missions dangereuses.

    L'Air Force envisage Skyborg comme une famille de drones, chacun conçu pour une mission spécifique ou un ensemble de missions, avec des charges utiles matérielles et logicielles modulaires et un réseau fédérateur d'IA commun, qui permettra aux logiciels d'être rapidement mis à jour dans toute la flotte.

    Nom : armee.png
Affichages : 3184
Taille : 282,6 Ko

    L'armée américaine a expérimenté l'IA ces dernières années

    Un agent IA remporte une série de combats aériens simulés contre un pilote humain de F-16,

    En 2020, la DARPA (Defense Advanced Research Projects Agency) a organisé une simulation d’un combat aérien entre l’un de ses meilleurs pilotes de F-16 et une IA, un duel à l’issue duquel l’IA est sortie vainqueur, avec un écrasant score de 5 à 0. L’agent IA a été conçu par Heron Systems.

    Heron Systems est une entreprise californienne qui développe des agents autonomes et des systèmes multiagents alimentés par l'intelligence artificielle. En août 2019, la DARPA a sélectionné huit équipes allant de grands entrepreneurs traditionnels de la défense comme Lockheed Martin à de petits groupes comme Heron pour participer à une série d'essais en novembre et janvier. Heron était victorieuse après deux jours de combats aériens à l’ancienne. Cela lui a donné le passe pour affronter un pilote de chasse humain.

    Le but de ce combat était de déterminer si des systèmes autonomes pourraient vaincre les avions adverses dans un combat aérien simulé. Assis dans un simulateur avec un casque de réalité virtuelle, le pilote humain n’a pas su arriver à bout de l’agent d’IA une seule fois. Il a perdu tous les cinq rounds de l’affrontement. Selon la DARPA, ce défi a totalisé plus de 5 000 téléspectateurs dans le monde sur YouTube et d'autres chaînes.

    Mais le succès a très vite été mitigé : lors de la diffusion en direct des essais d'AlphaDogfight, les responsables de la DARPA ont déclaré que l'IA a encore un long chemin à parcourir avant que les pilotes de l'armée de l'air ne soient prêts à passer le relais à un agent d’IA pendant un combat. Toutefois, les essais de trois jours montrent que les systèmes d'IA peuvent manœuvrer un avion de manière crédible dans un scénario de combat simple et individuel et tirer sur ses canons avant dans un combat aérien classique, de type “Dogfight”, comme pendant la Seconde Guerre mondiale.

    Une IA pilote avec succès un avion de chasse F-16 américain

    Plus récemment, en février, les agents d'IA de l’AACO (Autonomous Air Combat Operations), de l'AFRL et de l’ ACE (Air Combat Evolution),ont piloté le X-62A VISTA de l'école de pilotes d'essai de l'armée de l'air américaine pour effectuer des manœuvres de chasse avancées. Les agents d'IA de l'AACO ont effectué des engagements individuels au-delà de la portée visuelle, ou BVR, contre un adversaire simulé, et les agents d'IA de l'ACE ont effectué des manœuvres à portée visuelle, connues sous le nom de dogfighting, contre des agents d'IA de l'équipe rouge.

    « Au début du mois de décembre 2022, les développeurs d'algorithmes ACE ont téléchargé leur logiciel d'IA dans un avion d'essai F-16 spécialement modifié, connu sous le nom de X-62A ou VISTA, à l'école de pilotes d'essai de l'armée de l'air sur la base aérienne d'Edwards, en Californie, et ont effectué plusieurs vols sur plusieurs jours. Les vols ont démontré que les agents d'IA peuvent contrôler un avion de combat grandeur nature et ont fourni de précieuses données de vol en direct », indique un communiqué de presse de la DARPA.

    La marine américaine se dote d'un navire de transport autonome, sans pilote et sans équipage

    En mars, la marine américaine a reçu un prototype de navire à grande vitesse capable de fonctionner pendant une trentaine de jours en mer de manière totalement autonome. Doté d’un système de contrôle indépendant permettant d’automatiser le maximum de processus sur le navire, l’USNS Apalachicola (T-EPF-13) est le plus grand bâtiment sans pilote fabriqué par l’US Navy jusqu’ici. Il permet entre autres le transport de troupes, d’armes ou de chars et dispose même d’un héliport, ouvrant ainsi la porte à de nombreuses possibilités de missions militaires sans humains.


    Selon le constructeur américain, ce navire de la classe Spearhead est équipé d’un système de contrôle de la machine (MCS) à fonctionnement autonome, développé au sein même de l’entreprise. Ce système, qui équipe tous les navires de la classe Spearhead, a été conçu pour "réduire au minimum le nombre des membres d’équipage en mer en centralisant les opérations des machines au niveau du pont".

    Toutefois, l’USNS Apalachicola (T-EPF-13) se distingue de ses ainés par le fait qu’il est le premier navire à être équipé d’un logiciel de maintenance automatisée, de surveillance de l’état des unités et des appareils et de préparation aux missions. Cet équipement devrait permettre au navire de fonctionner "jusqu’à 30 jours sans intervention humaine", a indiqué la société. Le système lui permettra également de suivre un itinéraire donné, de répondre aux changements de situation et d’effectuer des tâches simples comme communiquer avec un opérateur distant.

    Les avertissements sur l’IA

    Il y a eu récemment plusieurs avertissements sur la menace que représente l’IA pour l’humanité de la part de personnes travaillant dans le secteur, même si tous les experts ne sont pas d’accord sur le degré de risque. S’adressant à la BBC la semaine dernière, le professeur Yoshua Bengio, l’un des « pères » de l'IA, a déclaré qu’il pensait que l’armée ne devrait pas avoir de pouvoirs en matière d’IA du tout. Il a décrit cela comme “l’un des pires endroits où nous pourrions mettre une IA super-intelligente”.

    Quoiqu'il en soit, l’IA offre de nombreuses opportunités pour améliorer la vie des gens, notamment dans les domaines de la santé, de l’éducation, de l’environnement ou du divertissement. Mais elle pose aussi de nombreux défis, notamment en ce qui concerne le respect de la vie privée, la sécurité, la responsabilité ou la justice. Il est donc essentiel de développer une IA éthique, responsable et humaine, qui respecte les droits de l’homme et les valeurs démocratiques.

    Certains experts en IA, comme le professeur Stuart Russell de l’Université de Californie à Berkeley, ont plaidé pour une approche de « l’IA alignée », qui vise à garantir que les systèmes d’IA agissent toujours dans l’intérêt des humains, même si leurs préférences ou leurs objectifs changent. D’autres experts, comme le professeur Nick Bostrom de l’Université d’Oxford, ont mis en garde contre le risque d’une « superintelligence artificielle », qui pourrait dépasser les capacités humaines et échapper à notre contrôle.

    Source : communiqué de l'armée américaine

    Et vous ?

    Que pensez-vous de l'utilisation de l'IA dans le domaine de l'armée ? Quels en seraient les avantages et les inconvénients ?
    Quelles sont les mesures que vous préconisez pour encadrer l’utilisation de l’IA dans ce domaine ?
    Croyez-vous que l’IA puisse être contrôlée et régulée efficacement ?
    Dans le cas de bavures, qui devrait être responsable ?
    Quels sont les risques d’une superintelligence artificielle selon vous ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  12. #12
    Invité de passage
    Homme Profil pro
    Responsable de compte
    Inscrit en
    Juin 2023
    Messages
    1
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Responsable de compte

    Informations forums :
    Inscription : Juin 2023
    Messages : 1
    Par défaut On sait désormais...
    ... que cette information était tout simplement fausse (même si tous les spécialistes s'en doutaient déjà un peu tant les explications étaient un peu surnaturelles). La personne qui l'a sorti s'est publiquement rétracté en expliquant qu'il avait fait un "exercice de pensée"... Autant dire qu'autant l'article que les commentaires deviennent un peu obsolètes

  13. #13
    Rédacteur/Modérateur

    Avatar de bouye
    Homme Profil pro
    Information Technologies Specialist (Scientific Computing)
    Inscrit en
    Août 2005
    Messages
    6 913
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 49
    Localisation : Nouvelle-Calédonie

    Informations professionnelles :
    Activité : Information Technologies Specialist (Scientific Computing)
    Secteur : Agroalimentaire - Agriculture

    Informations forums :
    Inscription : Août 2005
    Messages : 6 913
    Billets dans le blog
    54
    Par défaut
    Intéressant, passons sur le cote "j'ai tout inventé et me suis mal exprimé" ou "on m'a ordonné de me rétracter" selon comment on voit les choses ; ce n'est ni plus ni moins que le scenario de 2001 l’Odyssée de l'Espace avec HAL 9000 qui se retourne contre les astronautes a bord du Discovery car ces derniers interfèrent avec sa mission.
    Merci de penser au tag quand une réponse a été apportée à votre question. Aucune réponse ne sera donnée à des messages privés portant sur des questions d'ordre technique. Les forums sont là pour que vous y postiez publiquement vos problèmes.

    suivez mon blog sur Développez.

    Programming today is a race between software engineers striving to build bigger and better idiot-proof programs, and the universe trying to produce bigger and better idiots. So far, the universe is winning. ~ Rich Cook

  14. #14
    Membre confirmé
    Homme Profil pro
    autre
    Inscrit en
    Juin 2014
    Messages
    389
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Aveyron (Midi Pyrénées)

    Informations professionnelles :
    Activité : autre

    Informations forums :
    Inscription : Juin 2014
    Messages : 389
    Par défaut
    Je vois pas en quoi en quoi les explications données étaient surnaturelles. Les explications qui ont été données c'est :
    - on a donné des objectifs à une IA en lui fixant un système de récompense en fonction des objectifs atteints
    - un opérateur a demandé à l'IA d'effectuer des tâches qui n'étaient pas celles qui rapportaient le plus de points
    - l'IA a choisi comme option de supprimer l'opérateur ou les communications avec l'opérateur pour pouvoir atteindre ses objectifs chiffrés

    Citation Envoyé par le Colonel Moutarde
    Nous l'entraînions en simulation pour identifier et cibler une menace SAM.
    Faut quand même être extrêmement maladroit (con) pour formuler cette phrase si ce qu'il voulait réellement dire c'est "on s'est réunis autour d'une table et on a réfléchi aux scénarios possibles lors d'une perte de contrôle d'IA".


    Bon, on saura jamais si ce fameux colonel est sénile ou s'il a la langue trop pendue mais pour rappel, Palantir vient de communiquer en grandes pompes sur la vente d'un produit qui correspond exactement à ce que le Colonel Moutarde décrit.

  15. #15
    Membre confirmé
    Homme Profil pro
    autre
    Inscrit en
    Juin 2014
    Messages
    389
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Aveyron (Midi Pyrénées)

    Informations professionnelles :
    Activité : autre

    Informations forums :
    Inscription : Juin 2014
    Messages : 389
    Par défaut
    Je vous conseille de mettre pause à 4:40 de cette vidéo et de lire les échanges entre l'humain et l'IA. Ça rappelle étrangement le phénomène décrit par le général :
    https://youtu.be/xN-3fmxHIbs?t=281

  16. #16
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    3 293
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 3 293
    Par défaut
    Citation Envoyé par _toma_ Voir le message
    Je vous conseille de mettre pause à 4:40 de cette vidéo et de lire les échanges entre l'humain et l'IA. Ça rappelle étrangement le phénomène décrit par le général :
    https://youtu.be/xN-3fmxHIbs?t=281
    Ce n'est pas là qu'on a dit que le boulot de contact clientèle allait être remplacé par une intelligence artificielle ?

    Et, mieux : le gars a réussi à s'empêcher de rire.

  17. #17
    Membre actif
    Profil pro
    Travail non informatique
    Inscrit en
    Décembre 2010
    Messages
    105
    Détails du profil
    Informations personnelles :
    Localisation : France, Val d'Oise (Île de France)

    Informations professionnelles :
    Activité : Travail non informatique

    Informations forums :
    Inscription : Décembre 2010
    Messages : 105
    Par défaut Corrections à apporter.
    Bonjour.
    "le simulation".
    "Il a tué l'opérateur. " => "Il a fragué l'opérateur. "
    Merci.

  18. #18
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    3 293
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 3 293
    Par défaut
    Citation Envoyé par RedGuff Voir le message
    Bonjour.
    "le simulation".
    "Il a tué l'opérateur. " => "Il a fragué l'opérateur. "
    Merci.
    Tu parles, il y a des gens qui arrivent à le faire sans le faire exprès.

  19. #19
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    3 293
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 3 293
    Par défaut
    On s'éclate bien, à l'armée.
    La Grande Muette, c'était déjà un mythe, mais La Grande Délirante, ça peut être sympa, aussi.

  20. #20
    Membre extrêmement actif Avatar de denisys
    Profil pro
    Développeur informatique
    Inscrit en
    Mai 2002
    Messages
    1 179
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Mai 2002
    Messages : 1 179
    Par défaut
    totozor
    Le 19/07/2023 à 15:54
    Pardon mais tous ses films sont ils des reportages sur l'avenir parce qu'alors il y a de quoi devenir parano ...

    De la Terre à la Lune.
    Jules Verne, paru en 1865.
    --
    https://fr.wikipedia.org/wiki/De_la_...%C3%A0_la_Lune

Discussions similaires

  1. Réponses: 2
    Dernier message: 20/09/2023, 22h03
  2. Comment créer un avatar sur votre site Web, j'ai beau eu chercher je n'est pas trouvé !
    Par denis18 dans le forum Mode d'emploi & aide aux nouveaux
    Réponses: 1
    Dernier message: 21/07/2020, 10h28
  3. Réponses: 1
    Dernier message: 14/05/2019, 20h03
  4. Réponses: 1
    Dernier message: 03/08/2016, 18h19
  5. [XL-2000] Comment fermer un fichier excel si il est ouvert mais sans bug s'il n'est pas ouvert
    Par Avinetor dans le forum Macros et VBA Excel
    Réponses: 5
    Dernier message: 05/06/2009, 15h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo