Discussion :

[BufferBob]

Ta conception du monde est bien naïve, surtout sur le point "les forces finiront par s'équilibrer".

traité sur la non-prolifération des armes nucléaires
désarmement nucléaire / traité de maîtrise des armements
Conventions de Genève

(...) une grande puissance (...) prend une avance considérable sur ses adversaires (...) Quand les colons européens ont débarqué en Amérique (...)

dans les bateaux de l'époque tu mettais 30-40 hommes d'équipage maxi, en face t'as tout un continent dont certaines villes comptaient jusqu'à 30.000 habitants, ce sont les maladies ramenées par les conquistadors qui ont décimé les précolombiens, pas l'écart technologique.

il suffit de regarder notre passé.

comme tu dis, oui.

en bonus : https://www.slate.fr/story/166292/la...omisent-le-web

Ils (ndBob: les trolls étatiques) propagent différentes rumeurs conspirationnistes et créent un espace public quasi-politique, mais vide, rempli uniquement de diverses opinions préfabriquées qui brouillent la toile.

toute ressemblance... bref.

[Sodium]

traité sur la non-prolifération des armes nucléaires
désarmement nucléaire / traité de maîtrise des armements
Conventions de Genève

Ah ben tout va bien alors puisqu'on a des traités internationaux. Et bien entendu, il ne viendrait jamais à l'esprit d'une puissance étrangère disposant d'une énorme force frappe de s'en foutre allégrement. D'ailleurs, il n'y actuellement aucun pays dans le monde où les droits de l'homme sont allégrement bafoués. Par exemple il ne viendrait jamais à l'idée de quelqu'un d'utiliser des armes chimiques alors que c'est interdit et très mal, houlala !

[BufferBob]

Ah ben tout va bien alors puisqu'on a des traités internationaux.

ces traités sont des preuves (tirée de ce fameux passé qu'il suffit de fouiller, tu sais ?) de ce que je te disais préalablement (ça s'inscrit donc dans une continuité du discours, et par là dans une certaine cohérence) : quand une situation est trop dangereuse pour tout le monde on la réglemente intelligemment, et comme je te le disais déjà précédemment (mais peut-être as-tu seulement la mémoire courte ?) c'est grâce à l'espionnage que tout le monde est toujours plus au moins au même niveau et qu'un fossé technologique comme tu l'évoques ne peut se creuser.

en clair tu affirmes des choses fausses et fonde tes arguments dessus, tu en déduis quoi desdits arguments ?
à la fin tu te paye le luxe de dire qu'il suffit de regarder le passé que toi-même semble ignorer.

pas plus.

[Sodium]

Au final, ton seul argument est que les choses ne dégénèreront pas parce que les dirigeants sont raisonnables. C'est parfaitement ridicule.

[BufferBob]

non c'est argumenté et étayé par quelques exemples, ça ne veut pas dire que j'ai mis le doigt sur la vérité vraie, "j'ai raison" jusqu'à preuve du contraire, tant qu'une hypothèse n'est pas invalidée elle reste envisageable, normalement quand on prouve que c'est faux c'est qu'il est temps de renouveler ses hypothèses (et donc ses opinions).

toi en revanche tu as tort sur plusieurs des arguments que tu as avancé, c'est prouvé.

[Sodium]

Tous mes arguments sont parfaitement valables historiquement.
Ce n'est pas parce que tu n'es pas d'accord et que tu réécris l'histoire à ta manière que tu as raison.

Les tiens ne sont que des suppositions :
- Non mais y a des traités
- Non mais les gens sont raisonnables
- Non mais grâce à l'espionnage on sait ce que fait l'ennemi

Aucun de ces éléments ne peut prédire ce qu'il se passera dans le futur, ce sont des hypothèses qui ne reposent sur rien et qui sont totalement invalidées par les nombreuses guerres que nous avons connues.

C'est là la grande différence entre ton point de vue et le miens.
Je dis que c'est arrivé par le passé, on sait de quoi est capable l'humain, donc si un fou détient des armes surpuissantes il les utilisera.
Toi ton point de vue c'est "ouimaiheu non, mais en vrai ça se passera sûrement pas comme ça, parce que... parce que ben les gens au fond ils sont gentils quoi.... nonmairoh.

Je ne comprends à vrai dire même pas comme tu peux le défendre.

Ah et révise ton histoire aussi, parce que ton "non mais en vrai les colons non massacré personne en Amérique" est parfaitement ridicule.

[Ryu2000]

C'est bien beau le traité sur la non-prolifération des armes nucléaires, mais ce n'est pas respecté par tout le monde.
Ok plein de pays ont démantelé leurs installations atomiques, mais en parallèle on soupçonne d'autres pays de développer ce type d'arme en secret (Arabie Saoudite, Brésil), il y a des pays qui n'ont pas le droit d'avoir ce type d'arme et qui l'ont quand même (Israël).
Liste des États dotés de l'arme nucléaire

L'IA est plus inquiétante parce qu'il est quasiment certains qu'elle sera utilisé, alors qu'il est peu probable qu'un pays utilise atomique (les USA l'ont utilisé 2 fois sur des civils, mais ça ne devrait plus se reproduire).
L'IA peut-être invisible, il y a moyen de faire de la surveillance de masse, du big data, etc.

Militairement j'ai l'impression qu'aucun pays européen ne pèse face aux super puissances que sont les USA et la Chine.
Niveau IA militaire je ne crois pas qu'un seul pays européen arrive à la cheville de la Chine ou des USA.

Quand c'est la guerre, les règles ne tiennent plus.
Crimes de guerre des États-Unis

De nombreuses atrocités commises par les forces américaines pendant la guerre du Vietnam ont été signalées. Entre 1963 et 1975, les forces américaines ont déversé et largué près de 80 millions de litres d’herbicides contenant de la dioxine. On estime à plus de 3 millions le nombre de personnes souffrant de maladies et de malformations. À ce jour, les États-Unis n’ont jamais reconnu leurs responsabilités dans les conséquences de l’utilisation de tels produits chimiques.

40 ans après la guerre, le premier ministre Nguyen Tan Dung a déclaré que « Ils [les Américains] ont commis d'innombrables crimes barbares, ont causé des pertes incommensurables et beaucoup de douleurs à la population de notre pays ».

Viols durant la libération de la France

En 1945, le magazine Life présent la France comme « un gigantesque bordel dans lequel vivent 40 millions d'hédonistes qui passent leur temps à manger, boire et faire l'amour ». Les Françaises ont la réputation d’être sans préjugés raciaux et sexuellement libérées. Les GI noirs sont persuadés par les récits de leurs aînés qui ont séjourné en France pendant la Première Guerre mondiale que les Françaises n’ont aucune réticence à faire l’amour avec des Noirs.
(...)
Du fait du nombre important de cas de viols recensés et de la dégradation de l'image des soldats américains en France, le commandement américain juge entre le 14 juin 1944 et le 19 juin 1945 68 cas de viol ordinaire concernant 75 victimes. Au moins 50 % des soldats-violeurs sont ivres au moment de leur crime. Sur les 152 accusés, 139 sont des Noirs, alors qu'ils ne forment que 10 % des troupes sur le théâtre européen.

[Matthieu Vergne]

Autant l'idée d'une super intelligence n'a, pour moi, aucune base sérieuse, autant je suis tout à fait d'accord qu'il faudrait réglementer les usages de l'IA car elle peut, effectivement, servir d'arme de destruction massive, d'outil d'influence massif, etc. Ce ne sont pas des algos spécifiques qui sont à ciblés, mais les usages qui en sont fait. Au même titre qu'un couteau.

[Sodium]

Sauf qu'un couteau ne peut pas aller s'enfoncer dans l’œil de quelqu'un tout seul

Ce n'est pas tellement utile de se poser la question de la réglementation des IAs en tant qu'arme. Si une technologie peut être utilisée à des fins destructrice, elle le sera. Faire des réglementations ne résoudra aucun problème car le propre des gens dangereux est qu'ils se torchent le derrière avec les réglementations.
La seule position raisonnable est donc de se préparer au pire.

[Matthieu Vergne]

Sauf qu'un couteau ne peut pas aller s'enfoncer dans l’œil de quelqu'un tout seul

Tu pourras attendre autant que tu voudras, tu ne verras jamais une IA lancer des missiles si elle n'a pas été programmée et exécutée pour ça.

Ce n'est pas tellement utile de se poser la question de la réglementation des IAs en tant qu'arme. Si une technologie peut être utilisée à des fins destructrice, elle le sera. Faire des réglementations ne résoudra aucun problème car le propre des gens dangereux est qu'ils se torchent le derrière avec les réglementations.
La seule position raisonnable est donc de se préparer au pire.

Un règlement n'a aucune utilité s'il n'y a pas de force pour le faire respecter. Les lois ne servent à rien s'il n'y a pas des policiers et des juges pour la faire respecter. Si on se contente d'établir des règles sans sanction, évidemment que ça n'a aucun intérêt. Toute réglementation un tant soit peu sérieuse vient avec des sanctions quand elle est violée et une force pour la faire respecter. Quand on parle d'établir des règles, cela implique systématiquement qu'il y ait une telle force pour les faire respecter, tout simplement parce que sinon ce ne sont pas des règles, mais des suggestions (ou vœux pieux, au choix).

[Sodium]

On n'arrive déjà pas à empêcher des états minuscules comme le Luxembourg de mener au grand jour des politiques fiscales qui coutent des centaines de milliards au reste du monde.
Alors si tu as une idée pour empêcher des super-puissances comme la Russie ou la Chine de développer des armes destructrices en secret, tu devrais les partager car ça va intéresser beaucoup de monde.

[Matthieu Vergne]

Il n'est jamais possible d'empêcher totalement quelqu'un de faire quelque chose. Tout ce qu'on peut faire, c'est dissuader. Les réglementations sur les armes nucléaires, c'est pareil, ça n'empêche pas certains pays de tenter de les avoir. Les réglementations sur le non usage de gaz neurotoxiques, c'est pareil, ça n'empêche pas certains pays d'utiliser du gaz Sarin. Qu'est-ce que ça apporte alors de faire ces réglementations ? Ça démotive les moins sérieux, ça oblige les plus sérieux à devoir mettre beaucoup de moyens pour arriver à cacher leurs activités, et ça donne une légitimité aux autres pays à faire pression. Non, ça n'empêche rien, mais ça focalise les risques sur moins d'acteurs et ça permet de leur mettre la pression, ce qui au final diminue les risques.

Jouer les fatalistes en disant qu'il faut se préparer au pire, c'est ne rien faire pour diminuer les risques, permettre donc à n'importe qui de le faire, et par voie de conséquence d'alimenter les suspicions généralisées. Ce n'est pas mon approche. Ce n'est pas parce qu'on n'a pas de solution parfaite qu'il est inutile d'en faire une imparfaite.

[Sodium]

Je n'ai pas dit qu'il ne fallait rien faire, je m'adressais plutôt aux gens comme BufferBob qui pensent que parce qu'on a des traités internationaux, tout ira bien, l'IA ne sera utilisée que pour le bien commun et le ciel deviendra peuplé de licornes volantes.

[Matthieu Vergne]

Dans ce cas, pense à citer les personnes à qui tu réponds. Sinon on dirait que tu réponds à celui juste au dessus.

[Ryu2000]

On n'arrive déjà pas à empêcher des états minuscules comme le Luxembourg de mener au grand jour des politiques fiscales qui coutent des centaines de milliards au reste du monde.

Malheureusement on considère que l'utilisation d'arme interdite est plus grave que l'évasion fiscale ou le blanchiment d'argent...
Donc on peut dire "on soupçonne l'Irak de posséder une arme de destruction massive alors on va détruire le pays" ou "on soupçonne l'armée Syrienne d'avoir utilisé une arme chimique et on avait dit que c'était la ligne jaune, donc on va intervenir militairement", mais on ne peut pas dire "Le Luxembourg est une lessiveuse on va intervenir militairement" .

Alors si tu as une idée pour empêcher des super-puissances comme la Russie ou la Chine de développer des armes destructrices en secret

Le premier pays qui vient en tête quand on parle d'IA militaire ce sont les USA, parce qu'ils ont de très très loin le plus gros budget.
Après la Chine essaie de ne pas trop se faire distancer, histoire de pouvoir se défendre un minimum en cas de conflit.
Les 2 leaders de l'IA ce sont les USA et la Chine, ils investissent énormément d'argent dans ce domaine.

Robots tueurs: interdire ou laisser faire?

Plus de 380 armes ou systèmes robotiques semi-autonomes – tels que des tanks, des avions ou des bateaux – ont déjà été déployés ou sont élaborés dans 12 États, dont la Chine, la France, Israël, la Grande-Bretagne, la Russie et les États-Unis.

Au niveau du contrôle de ces systèmes d’armes létales autonomes, plusieurs pays, comme le Japon cette semaine, ont annoncé leur intention de ne pas acquérir ou développer ce genre de technologies. Une majorité des États ont annoncé leur volonté de soutenir une nouvelle législation internationale permettant d’interdire et de réguler certaines pratiques en lien avec les robots tueurs.
(...)
Toutefois, une poignée de pays s’opposent farouchement à un traité sur le sujet, c’est notamment le cas des États-Unis, de la Russie, d’Israël et de la Corée du Sud. Les entités favorables au développement des robots tueurs affirment que ces armes permettront de rendre la guerre plus humaine en permettant de choisir et d’éliminer plus précisément des cibles, sans faire intervenir des émotions humaines telles que la peur ou la vengeance, et en limitant ainsi le nombre de victimes civiles.

[Lyasen]

Oui ! C'est sûr qu'une I.A., qui va donc potentiellement apprendre à développer son intelligence, va rapidement se rendre compte que l'humain n'est qu'un parasite destructeur de son environnement. De plus, développer des I.A. par des firmes dont le seul but est de faire du profit et de dominer les autres, j'imagine déjà la tronche de l'I.A....
Allez ! Profitons encore un peu de notre confort de vie, cela ne pourrait plus durer bien longtemps...

[Patrick Ruiz]

« L’IA est susceptible d’être la cause d’une catastrophe de niveau nucléaire », d’après des chercheurs
Qui relancent le débat sur les dangers et les avantages de l’intelligence artificielle

Que l’intelligence artificielle soit annoncée comme la cause d’une catastrophe de niveau nucléaire n’est pas nouveau. Cette technologie est considérée par plusieurs comme bien plus dangereuse que l’arme nucléaire. Elle demeure cependant un outil en attendant l’atteinte du stade d’intelligence artificielle de niveau humain et donc capable d’être autonome dans ses prises de décision. Pour le moment, c’est l’humain qui est à la baguette et donc le porteur de danger. La course au « meilleur chatbot » que se livrent OpenAI (financé par Microsoft) et Google enseigne en la matière : les Hommes entendent utiliser l’intelligence artificielle comme une arme (de domination, de destruction, etc.).

Google Bard contre ChatGPT et les dangers en lien avec la qualité de l’information

Google a annoncé l’intégration de l’IA conversationnelle à son moteur de recherches il y a peu. La décision n’est pas inattendue. En effet, elle fait suite au lancement par Microsoft d’une version de son propre moteur de recherches Bing qui s’appuie sur ChatGPT.

Ce qu’on sait de ces intelligences artificielles d’OpenAI et de Google est qu’il s’agit de chatbots capable de comprendre le langage naturel et de répondre en langage naturel. Elles peuvent donner de façon directe des solutions à des problèmes complexes. C’est la raison pour laquelle certaines institutions universitaires en interdisent l’usage à leurs étudiants. Le professeur Arvind Narayanan de l’université de Princeton tire néanmoins la sonnette d’alarme sur la pertinence de s’appuyer sur des moteurs de recherche intégrant ces chatbots en déclarant que c’est de la « poudre de perlimpinpin. »

« Sayash Kapoor et moi-même l'appelons un générateur de conneries, comme d'autres l'ont aussi fait. Nous n'entendons pas cela dans un sens normatif mais dans un sens relativement précis. Nous voulons dire qu'il est entraîné à produire des textes plausibles. Il est très bon pour être persuasif, mais il n'est pas entraîné à produire des déclarations vraies. Il produit souvent des affirmations vraies comme effet secondaire de sa plausibilité et de sa persuasion, mais ce n'est pas son objectif.

Cela correspond en fait à ce que le philosophe Harry Frankfurt a appelé connerie, c'est-à-dire un discours destiné à persuader sans se soucier de la vérité. Un conteur humain ne se soucie pas de savoir si ce qu'il dit est vrai ou non ; il a certaines fins en tête. Tant qu'il persuade, ces objectifs sont atteints. En fait, c'est ce que fait ChatGPT. Il essaie d'être persuasif et il n'a aucun moyen de savoir avec certitude si les déclarations qu'il fait sont vraies ou non », déclare-t-il à propos de ChatGPT.
D’ailleurs, une mouture de Microsoft Bing a affiché 2,5 milliards de personnes en réponse à la question de savoir quelle est la population de la planète Mars. La situation soulève la question de savoir si la montée en puissance de l’intelligence artificielle ne va pas plutôt amener les humains à travailler plus dur pour lutter contre la désinformation.

Un GIF partagé par Google montre Bard répondant à la question : « De quelles nouvelles découvertes du télescope spatial James Webb puis-je parler à mon enfant de 9 ans ? » Bard propose une liste à puces de trois éléments, parmi lesquels un élément indiquant que le télescope « a pris les toutes premières images d'une planète en dehors de notre propre système solaire. »

Cependant, un certain nombre d'astronomes sur Twitter ont souligné que c'était incorrect et que la première image d'une exoplanète avait été prise en 2004 - comme indiqué sur le site Web de la NASA (voir en source) : « Ce n'est pas pour faire mon connard (en fait, si finalement) et je suis sûr que Bard sera impressionnant, mais pour mémoire : JWST n'a pas pris 'la toute première image d'une planète en dehors de notre système solaire' », a tweeté l'astrophysicien Grant Tremblay.

C’est cette imprécision qui a poussé les développeurs et les experts de la filière à avertir que cette technologie ne devrait pas être utilisée pour prendre des décisions importantes pour le moment. Et pourtant, des tractations sont en cours pour son utilisation sur les champs de bataille.

Des experts US proposent de placer l’arsenal nucléaire du pays sous le contrôle d’une IA

Des chercheurs américains de l’Air Force Institute of Technology ont suggéré de placer l’armement nucléaire du pays sous le contrôle d’une intelligence artificielle capable de réagir de façon prompte en cas d’attaque. En effet, soulignent-ils, deux types d’armes nucléaires hypersoniques ont vu le jour et réduisent fortement le délai dont dispose le président pour prendre une décision en cas de détection d’une attaque militaire.

« Actuellement, nous ne disposons pas de moyens de défense efficaces contre les armes hypersoniques en raison de la façon dont elles volent. Elles se déplacent à une altitude à laquelle nos systèmes de défense actuels ne sont pas conçus pour fonctionner ; tout notre système défensif est basé sur l'hypothèse de l'interception d'un objet balistique », rapportent-ils des propos d’un autre expert du domaine. L’édition 2019 d’une revue du département de la Défense (DoD) cite la Russie et la Chine comme les principaux pays lancés dans le développement d’un tel arsenal.

« La Russie et la Chine mettent au point des missiles hypersoniques perfectionnés qui peuvent se déplacer à des vitesses exceptionnelles avec des trajectoires de vol imprévisibles qui mettent à l'épreuve nos systèmes de défense actuels », ajoute le DoD. La suggestion des chercheurs survient au moment où le Pentagone reconnaît à la Chine un avantage sur les USA en matière d’applications militaires de l’intelligence artificielle, ce, grâce à une grande collaboration entre l’armée et l’industrie technologique.

Ce système basé sur l’IA devrait être en mesure de détecter un lancement de missiles n’importe où dans le monde et d’apporter la réponse appropriée dans les délais les plus brefs. Il s’agit en quelque sorte de confier les codes nucléaires des USA à une intelligence artificielle. L’approche n’est pas sans faire penser à un système automatisé de gestion d’arsenal nucléaire utilisé par l’Union soviétique lors de la guerre froide. Ce dernier était conçu pour activer automatiquement les armes nucléaires sous certaines conditions, dont celle du décès du leader de l’Union.

« Les progrès récents de l'intelligence artificielle pourraient être mis à profit dans tous les aspects du nucléaire. L'apprentissage machine pourrait renforcer les capacités de détection des systèmes d'alerte précoce existants et améliorer la possibilité pour les analystes humains d'effectuer une analyse croisée des données de renseignement, de surveillance et de reconnaissance (ISR). L'apprentissage machine pourrait être utilisé pour renforcer la protection de l'architecture de commandement et de contrôle contre les cyberattaques et améliorer la façon dont les ressources, y compris les forces humaines, sont gérées. Les progrès de l'apprentissage machine pourraient renforcer les capacités des moyens de dissuasion non nucléaires, qu'ils soient conventionnels (systèmes de défense aérienne), électroniques (brouillage) ou cybernétiques », rapportent les chercheurs des propos d’un autre expert du domaine.

Source : Publication

Et vous ?

Quel est votre avis sur le sujet ?
Qui de l’humain ou de l’intelligence artificielle est susceptible d’être à l’origine d’une catastrophe ?
La comparaison de l’intelligence artificielle avec l’IA vous paraît-elle pertinente ?

Voir aussi :

L'IA de génération de texte d'Elon Musk trop dangereuse pour être rendue publique, selon ses créateurs
Le projet de tunnel du milliardaire de la tech Elon Musk est-il une vaste blague ? The Boring Company a inauguré son premier tunnel anti-bouchons
Neuralink, le projet d'Elon Musk pour qu'un cerveau humain interagisse directement avec un PC et l'Homme fusionne avec l'IA, aberration ou fiction ?
Elon Musk rappelle qu'en rendant publics les brevets Tesla, il a œuvré pour le bien de la planète et l'essor du marché des véhicules électriques

[fodger]

Il est évident que plus le système automatisé est complexe avec une multitude de scenarii possibles, plus le risque de dérive est grand, voire exponentiel.

[agripp]

J'ai demandé a ChatGpt s'il existait une fonction svg susceptible de renvoyer les coordonnées de la box qui l'englobe après qu'il ait subi une transformation... L'IA a affirmé que getBBox() produisait ce résultat et a fourni un code test, qui bien entendu ne fonctionne pas, cette fonction ne prenant pas en compte les transformations... Qu'en conclure sinon que cette IA est capable de trouver un code qui répond à ce que vous cherchez, mais est incapable de vérifier qu'il fonctionne. A mon avis on conçoit actuellement des IA bien trop généralistes pour pouvoir être performantes. C'est en fait ce qui différencie l'homme de l'IA, le fait d'avoir une culture générale ne l'empêche nullement d'être un spécialiste de ceci ou de cela... Je lui ai posé aussi des questions de mathématiques pointues à propos des "carrés magiques" les réponses n'étaient pas "à la hauteur" et très vagues. Bref si on lui confie la Force de frappe je demande à émigrer sur Mars.

[totozor]

Qu'en conclure sinon que cette IA est capable de trouver un code qui répond à ce que vous cherchez, mais est incapable de vérifier qu'il fonctionne.

Cherche une chose qui a été faite par quelqu'un.
Trouve une caractéristique (sexe, couleur, couleur de cheveux ou que sais je) qu'aucune personne qui a fait la chose en question ne possède.
Demande à chatGPT de te citer la première personne qui a la caractéristique qui a fait la chose, il y a de très grande chance qu'il donne un nom.

ChatGPT donne la réponse la plus proche de la question sans vérifier qu'il y répond MAIS ChatGPT n'est pas un moteur de recherche, c'est un truc qui répond à tes questions de façon naturelle mais pas forcément exacte.

Ca me fait penser à un pote qui est devenu major de promo avec un 20/20 de moyenne à la première session de partiel en QCM corrigée avec un scanner, il a coché toutes les bonnes réponses puisqu'il a coché toutes les cases de tous les partiels. La session suivante le scanner vérifiait que les cases qui devaient être vides l'étaient.

Je prévois une explosion de ma charge dans 1 an quand nos managers se rendront compte que des bimbims ont créés des tonnes d'indicateurs qui ne donnent pas le résultats attendus. Les bimbims en question n'admettront pas qu'ils ont utilisé ChatGPT (pour cacher leur incompétence) et ils ont me voir pour débugger tout ça.
L'expérience a été faite avec un collègue, il a fait un indicateur qui fournit un résultat seul alors qu'il n'en a pas les compétences, il a validé le résultat (qui est proche des résultats des 6 récurences précédentes). Mais dans certaines situations (qui arrivent régulièrement) il s'écarte du résultat attendu d'environ 30%.