Hawking, Musk, Wozniak et plusieurs scientifiques appellent à l’interdiction des armes autonomes

**Olivier Famien** · 28/07/2015, 21h23

Hawking, Musk, Wozniak et plusieurs scientifiques appellent à l’interdiction des armes autonomes
en soutenant une lettre ouverte, qu'en pensez-vous ?

Depuis quelques années, nous connaissons de grandes avancées dans le domaine de l’intelligence artificielle. Étant un secteur nouvellement exploré, les voix ne manquent pas de s’élever pour soutenir ou décrier les conséquences de ce secteur d’activité.

Nom : killer-robots.jpg
Affichages : 4858
Taille : 65,7 Ko

Cette fois-ci, il s’agit non pas d’une personne, mais de plusieurs centaines de chercheurs et entités travaillant dans ce domaine parmi lesquels on peut citer Stephen Hawking, Elon Musk, Steve Wozniak qui ont signé une lettre ouverte afin de tirer la sonnette d’alarme sur les conséquences funestes de l’IA au cas où les recherches dans ce secteur s’invitent dans le domaine militaire.

Nombreux sont ceux qui trouvent des avantages à porter les machines autonomes sur le champ de bataille, car pour eux, elles éviteraient des pertes en vie humaine.

Toutefois, pour ceux qui soutiennent cette lettre, cette éventualité mènerait inexorablement à « une course mondiale aux armements » autonomes avec des risques de généralisation de ces armes comme c’est le cas aujourd’hui avec les armes automatiques. « Les armes autonomes deviendront les kalachnikovs de demain ».

Pendant qu’il est encore temps et que le pire ne s’est pas encore produit, ces chercheurs et scientifiques souhaitent que nous marquions un temps d’arrêt et réfléchissions un instant si l’humanité a besoin d’une course aux armements d’un genre nouveau ou si l’on doit agir maintenant pour baliser le secteur.

Bien évidemment, ce n’est pas la première fois qu’une telle problématique est posée au monde entier dans le domaine militaire. Lorsque la connaissance dans le domaine de la chimie et de la biologie a commencé à croitre, il a fallu s’accorder sur les principes de guerre.

Fort heureusement, des armes conventionnelles de guerre ont été établies. « Les chimistes et les biologistes ont largement soutenu les accords internationaux qui ont réussi à interdire les armes chimiques et biologiques, tout comme la plupart des physiciens ont soutenu les traités interdisant les armes nucléaires spatiales et armes à laser aveuglantes ».

En ce qui concerne les armes autonomes, si elles sont développées, il n’est pas exclu qu’elles tombent dans de mauvaises mains telles que les dictateurs, les assassins, les seigneurs de la guerre ou même le marché noir. C’est juste une question de temps pour que ces armes deviennent bon marché et à la portée de tous.

Au vu de toutes ces conséquences, ces scientifiques soutiennent ceci : « nous pensons donc que la course aux armements militaires basée sur l’intelligence artificielle ne serait pas bénéfique pour l’humanité. Il existe de nombreuses façons dans lesquelles l’IA peut rendre les champs de bataille plus sûrs pour les humains, en particulier les civils, sans créer de nouveaux outils pour tuer des gens ».

« Démarrer une course aux armements militaires IA est une mauvaise idée, et doit être empêchée par une interdiction des armes offensives autonomes au-delà de tout contrôle humain significatif ».

Source : Future of Life Institute

Et vous ?

Que pensez-vous de cette lettre ?

Êtes-vous d’accord avec son contenu ?

Êtes-vous d’accord avec l’interdiction des armes autonomes ?

**lingtalfi** · 29/07/2015, 05h36

Ah ben oui, c'est une très mauvaise idée de créer des armes réelles, car l'une des conséquences de cela est que cela permet de donner à quelques humains le pouvoir de tuer d'autres humains facilement. De manière générale, je pense que toute construction d'arme destinée à tuer d'autres humains (genre mitraillette, tank, ...) devrait être interdite.
En gros, éviter de créer l'arme qui permet de détruire des humains et/ou la terre est ce probablement une sage décision.

Alors certes, on ferme la porte à une certaine forme de créativité, mais les vrais créatifs trouvent toujours un moyen de s'exprimer, et vouloir s'exprimer dans ce domaine très particulier
est, je crois, une forme d'irresponsabilité, par rapport à ce qu'on pourrait appeler une conscience humaine collective.

**10_GOTO_10** · 29/07/2015, 08h08

Pendant ce temps, on* continue à fabriquer des mines anti-personnel, qui, c'est bien connu, ne tuent jamais d'innocents.

* Y compris la France, qui contourne la convention d'Ottawa en rebaptisant ses mines "mines antichars qui peuvent éventuellement être utilisées comme mine de circonstance"...

**alex.buisson** · 29/07/2015, 08h23

Ca irait à l'encontre des lois de la robotique d'Asimov:
"
Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre qu'un être humain soit exposé au danger.
Un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi.
Un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi.
"
Un robot, une IA doit être impérativement développé en tenant compte de ces 3 règles sous peine de voir un jour l'humanité anéantie par SkyNet

**Marty69** · 29/07/2015, 08h28

Nombreux sont ceux qui trouvent des avantages à porter les machines autonomes sur le champ de bataille, car pour eux, ils éviteraient des pertes en vie humaine.

Moi je connais une bonne solution pour éviter les pertes humaines, n'allez pas sur les champs de bataille bande de clowns.

**DonQuiche** · 29/07/2015, 08h43

Envoyé par alex.buisson

Ca irait à l'encontre des lois de la robotique d'Asimov:
"
Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre qu'un être humain soit exposé au danger.
Un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi.
Un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi.
"
Un robot, une IA doit être impérativement développé en tenant compte de ces 3 règles sous peine de voir un jour l'humanité anéantie par SkyNet

Ce qui est sûr c'est qu'Asimov ne comprenait rien à la sécurité informatique.

L'évaluation du respect de ces trois règles relevant d'une IA, cela revient à demander à une IA de surveiller une IA.

**jopopmk** · 29/07/2015, 09h05

Envoyé par Olivier Famien

Nombreux sont ceux qui trouvent des avantages à porter les machines autonomes sur le champ de bataille, car pour eux, ils éviteraient des pertes en vie humaine.

Sans revenir sur le problème de fond (la guerre), c'est le caractère "autonome" qui pose souci.

**MvK0610** · 29/07/2015, 09h38

C'est bien beau de vouloir l'interdire, mais y'aura toujours un quidam mal intentionné (plutôt 150 en général) et plutôt intelligent pour braver l'interdiction.

Si on prend pour exemple la célébrissime bombe A mise au point par nos amis états-uniens, qui décidèrent quelques années plus tard d'en balancer nonchalamment sur quelques nippons récalcitrants. En terme de dissuasion y'avait surement moins radicale et plus subtil je vous l'accorde. En terme d'éthique ils se sont rapidement dit qu'il faudrait quand même cadrer la chose. 60 ans après la transparence n'est pas l'adjectif qui accompagne le mieux de le traité de non-prolifération des armes nucléaires et on arrive toujours à se demander si tel ou tel pays serait pas en train d'essayer de nous faire un bon coup de p... des familles (généralement un pays qui ne place pas l'éthique au centre de ses priorités)

Bon maintenant imaginons qu'au moment de la conception de la chose nos amis au drapeau étoilé se soit-dit "La vache ça sent le sapin notre truc, stop"
Imaginons qu'en sus un petit bonhomme à la moustache fort connu et à l'éthique encore moins louable ait eu à sa disposition quelques scientifiques pas trop manchot. Je ne suis pas sur que le susnommé énergumène se soit cantonné à deux petites bourgades française ou britannique pour assouvir ses pulsions macabres avant de se dire qu'il avait assez joué comme ça.

Bref tout ça pour dire que les règles sont généralement faites pour être transgressées, en général par des individus à l'éthique inversement proportionnelle au contenu de leur compte en banque, et ça c'est le nerf de la guerre.

Interdiction ou pas si l'Humanité peut le faire l'Humanité le fera, et elle le fera d'autant plus vite si ça peut causer sa perte.

War. War never changes.

**spyserver** · 29/07/2015, 10h02

Une question plus simple que l'on peut se poser c'est pourquoi cherche-t-on systématiquement à tendre vers ce qu'on ne veut pas, avec en plus tous les films de SF existants sur le sujet (je pense à ex machina notamment) on voit bien qu'en fait le problème est plus global que le seul domaine militaire, on parle ici d'intelligence artificielle susceptible de nous remplacer pr certaines tâches voir meme surtout nous surpasser dans la plupart ensuite, donc la vrai question c'est plutot veut-on vivre dans un monde avec des IA ou pas ?! Mais connaissant la nature humaine il n'y aura pas de demi mesure ...

**Jbx 2.0b** · 29/07/2015, 10h21

On peut être d'accord ou pas, si on avait ne serais-ce qu'un peu d'influence, ça se saurait. On ne vivrait pas dans un monde bourré de paradis fiscaux, qui blanchissent le fruit de notre travail et ou 140 hommes détiennent la même fortune que les 7 milliards d'autres. Ou chaque jour on dénonce les évidences de la corruption du système monétaire, et ou indéfiniment rien ne change (tout en nous laissant croire le contraire !).
Ne croyez pas que ce soit du pessimisme, c'est juste de la nonchalance, de l'indifférence. L'homme est tel et ne changera pas. Si l'homme peut construire des armes autonomes, et si il en a le besoin, alors il en construira. Mais on peut toujours perdre du temps à espérer l'inverse !

**Rolyat971** · 29/07/2015, 10h26

Je suis d'accord sur le fait que l'on ne devrait pas développer des armes autonomes, bien que je suis persuadé qu'à l'heure actuelle l'armé américaine est en train de faire de recherche de ce côté. Pour que ce contrôle au niveau de l'évolution de la technologie associé aux armes se fasse, il faudrait que tous les pays du monde signe un accord pour ne pas créer d'armes autonome. Cependant, il y aura toujours des gens à vouloir le faire. Comme peut le dire certain, on peut le faire donc on le fera. Le mieux c'est de pouvoir faire de recherche au niveau des moyens de défense dans le cas où, on devra y faire face. C'est un dilemme, car pour faire face à la technologie, il faut l'a comprendre donc l'a créer.

De nombreux films de science fiction que je considère comme avant-gardiste montre que tôt ou tard, on va devoir faire face au problème lié à l'intelligence artificielle. En fonction de l'utilisateur de cette technologie on peut du bien comme on peut faire du mal. Une grosse réflexion est à faire à ce sujet et j'espère que des solutions viables seront trouvées.

http://www.lemonde.fr/pixels/article...1_4408996.html

**RPGamer** · 29/07/2015, 10h31

Envoyé par DonQuiche

Ce qui est sûr c'est qu'Asimov ne comprenait rien à la sécurité informatique.

L'évaluation du respect de ces trois règles relevant d'une IA, cela revient à demander à une IA de surveiller une IA.

Je pense que les lois d'Asimov s'adressent avant tout au concepteur d'une telle machine avant la machine elle-même. Aujourd'hui on ne sait pas faire émerger un soupçon d'intelligence hors du cadre d'un programme. Un programme reste une forme très contractuelle de dialogue avec la machine et qui est parfaitement hiérarchisable. On peut imaginer une éthique au seins des machines intelligente mais pas au sein de l'humanité. Ces lois sont donc adressées principalement à l'humanité (au sens de potentiel concepteur ou personne en interaction avec un robot).

**Traroth2** · 29/07/2015, 10h41

Déjà signé, déjà facebooké. Je ne suis pas sûr qu'on arrive à efficacement l'interdire, mais faire prendre conscience au public du risque que ça représente est un début.

**Traroth2** · 29/07/2015, 10h43

Envoyé par alex.buisson

Ca irait à l'encontre des lois de la robotique d'Asimov:
"
Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre qu'un être humain soit exposé au danger.
Un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi.
Un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi.
"
Un robot, une IA doit être impérativement développé en tenant compte de ces 3 règles sous peine de voir un jour l'humanité anéantie par SkyNet

Il ne faut jamais oublier qu'Asimov était un romancier et que, si les lois qu'il a proposé ont un intérêt intellectuel, elles ne sont reconnues par aucune autorité, état ou organisation supra-national. C'est d'ailleurs bien là tout le problème aujourd'hui !

**Traroth2** · 29/07/2015, 10h45

Franchement, je ne serais pas contre que les 3 personnes qui ont voté qu'elles étaient contre l'interdiction des armes autonomes expliquent leur point de vue. Je ne vois vraiment pas comment on peut être contre l'interdiction de telles armes...

**sinople** · 29/07/2015, 12h08

Le débat de fond sur ces armes autonomes c'est surtout une recherche de responsabilité. On retrouve le même problème avec les voitures autonomes au passage.

Parce que bon entre lâcher un bataillon de robot qui tuent des civils "par erreur" et lâcher un bataillon d'humain au cerveau lessivé qui tuent des civils "par fun/erreur/{Listes des tares psy}". Personnellement je vois pas trop la différence pour les civils. ^

Ca pose surtout problème pour savoir qui juger, 50 ans plus tard, pour ces "erreurs" de guerre. Mais comme dans les deux cas, y a toujours un type à moustache qui a "parachuté" le bataillon à l'endroit X, c'est un peu un faux problème. D'autant plus que les armes autonomes de nos jours, tiennent plus de la tourelle automatisées d'alien qui tire sur tout ce qui bouge que du terminator. Doit pas être trop difficile de trouve le type qui maniait le transpalette pour vider le camion...

**RPGamer** · 29/07/2015, 13h54

Il est vrai qu'on imagine toujours les armes autonomes comme des machines capable de se déplacer avec un arsenal plus ou moins lourd en prenant des décisions. Il faut quand même toujours une personne pour les amener à un objectif précis. Le problème de la responsabilité n'est pas nouveau puisqu'on sait déjà faire des missiles de croisière intelligents capable de toucher leur cible en toute circonstance et à basse altitude. La seule chose à faire est de lui donner des coordonnées GPS et d'appuyer sur le bouton "Start". Théoriquement un tel missile pourrait être équipé d'une tête H supprimant toute trace de vie dans un rayon de quelques kilomètres du point cible comme atteindre une unique personne équipée d'un mouchar dans une frappe ultra ciblée. Quoi qu'il en soit, l'initiateur du tir n'est pas directement confronté à la cible et peut même se trouver à une très bonne distance!

Probablement que le modèle du robot terminator bipède, quadripère ou à chenille est une arme de guerre peu efficace et qu'il faudra penser à restreindre les armes intelligentes en pensant aussi à un autre contexte d'utilisation (drones, missiles, etc.).

**Traroth2** · 29/07/2015, 16h09

Envoyé par sinople

Le débat de fond sur ces armes autonomes c'est surtout une recherche de responsabilité. On retrouve le même problème avec les voitures autonomes au passage.

Parce que bon entre lâcher un bataillon de robot qui tuent des civils "par erreur" et lâcher un bataillon d'humain au cerveau lessivé qui tuent des civils "par fun/erreur/{Listes des tares psy}". Personnellement je vois pas trop la différence pour les civils. ^

Ca pose surtout problème pour savoir qui juger, 50 ans plus tard, pour ces "erreurs" de guerre. Mais comme dans les deux cas, y a toujours un type à moustache qui a "parachuté" le bataillon à l'endroit X, c'est un peu un faux problème. D'autant plus que les armes autonomes de nos jours, tiennent plus de la tourelle automatisées d'alien qui tire sur tout ce qui bouge que du terminator. Doit pas être trop difficile de trouve le type qui maniait le transpalette pour vider le camion...

En fait, il ne s'agit pas du tout des systèmes d'armes actuels du type SWORD (terrestre) ou Reaper (aérien), qui ne sont que des engins télécommandés. Ce dont il est question, c'est des futurs systèmes autonomes, c'est à dire contenant une intelligence artificielle. Et là, si, c'est Terminator. C'est même très exactement ça.