Discussion :

[Nancy Rey]

Elon Musk et un groupe d'experts en IA demandent à tous les laboratoires d'IA d'interrompre la formation de systèmes d'IA plus puissants que le GPT-4,
citant des risques pour la société

Dans une lettre ouverte, Elon Musk et un groupe d'experts en intelligence artificielle et de dirigeants de l'industrie demandent une pause de six mois dans le développement de systèmes plus puissants que le GPT-4 récemment lancé par OpenAI, en invoquant les risques potentiels pour la société et l'humanité.

Au début du mois, OpenAI, soutenue par Microsoft, a dévoilé la quatrième itération de son programme d'IA GPT (Generative Pre-trained Transformer), qui a séduit les utilisateurs par sa vaste gamme d'applications, allant de l'engagement des utilisateurs dans une conversation de type humain à la composition de chansons et au résumé de longs documents.

La lettre, publiée par l'organisation à but non lucratif Future of Life Institute et signée par plus de 1 000 personnes, dont Musk, appelle à une pause dans le développement de l'IA avancée jusqu'à ce que des protocoles de sécurité partagés pour de telles conceptions soient élaborés, mis en œuvre et contrôlés par des experts indépendants.

« Des systèmes d'IA puissants ne devraient être développés qu'une fois que nous sommes certains que leurs effets seront positifs et que leurs risques seront gérables », peut-on lire dans la lettre.

La lettre détaille les risques potentiels pour la société et la civilisation que représentent les systèmes d'IA compétitifs pour les humains, sous la forme de perturbations économiques et politiques, et appelle les développeurs à travailler avec les décideurs politiques sur la gouvernance et les autorités de régulation.

Parmi les cosignataires figurent Emad Mostaque, PDG de Stability AI, des chercheurs de DeepMind, propriété d'Alphabet (GOOGL.O), et des poids lourds de l'IA, Yoshua Bengio, souvent considéré comme l'un des "parrains de l'IA", et Stuart Russell, pionnier de la recherche dans ce domaine.

Selon le registre de transparence de l'Union européenne, Future of Life Institute est principalement financé par la Musk Foundation, ainsi que par le groupe Founders Pledge, basé à Londres, et la Silicon Valley Community Foundation.

Ces inquiétudes surviennent alors qu'Europol, la police de l'Union européenne, s'est jointe lundi 27 mars 2023 à un concert de préoccupations éthiques et juridiques concernant l'IA avancée telle que ChatGPT, mettant en garde contre l'utilisation abusive potentielle du système dans des tentatives de phishing, de désinformation et de cybercriminalité.

Dans le même temps, le gouvernement britannique a dévoilé des propositions pour un cadre réglementaire adaptable autour de l'IA. L'approche du gouvernement, décrite dans un document d'orientation publié il y a peu, répartirait la responsabilité de la gestion de l'intelligence artificielle entre les organismes de réglementation des droits de l'Homme, de la santé et de la sécurité, et de la concurrence, plutôt que de créer un nouvel organisme dédié à la technologie.

Les systèmes d'IA dotés d'une intelligence compétitive avec celle de l'Homme peuvent présenter des risques profonds pour la société et l'humanité, comme le montrent des recherches approfondies et comme le reconnaissent les principaux laboratoires d'IA. Comme l'indiquent les principes d'IA d'Asilomar, largement approuvés, l'IA avancée pourrait représenter un changement profond dans l'histoire de la vie sur Terre, et devrait être planifiée et gérée avec l'attention et les ressources nécessaires. Malheureusement, ce niveau de planification et de gestion n'existe pas, même si les derniers mois ont vu les laboratoires d'IA s'enfermer dans une course incontrôlée pour développer et déployer des esprits numériques toujours plus puissants que personne - pas même leurs créateurs - ne peut comprendre, prédire ou contrôler de manière fiable.

Les systèmes d'IA contemporains deviennent aujourd'hui compétitifs pour les tâches générales, et nous devons nous poser la question : Devons-nous laisser les machines inonder nos canaux d'information de propagande et de mensonges ? Devrions-nous automatiser tous les emplois, y compris ceux qui sont gratifiants ? Devons-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, plus obsolètes et nous remplacer ? Devons-nous risquer de perdre le contrôle de notre civilisation ? Ces décisions ne doivent pas être déléguées à des leaders technologiques non élus. Les systèmes d'IA puissants ne doivent être développés que lorsque nous sommes convaincus que leurs effets seront positifs et que leurs risques seront gérables. Cette confiance doit être bien justifiée et augmenter avec l'ampleur des effets potentiels d'un système. La récente déclaration de l'OpenAI concernant l'intelligence artificielle générale indique qu'"à un moment donné, il pourrait être important d'obtenir un examen indépendant avant de commencer à former les futurs systèmes, et pour les efforts les plus avancés d'accepter de limiter le taux de croissance du calcul utilisé pour créer de nouveaux modèles". Nous sommes d'accord. C'est maintenant qu'il faut agir.

C'est pourquoi nous demandons à tous les laboratoires d'IA d'interrompre immédiatement, pendant au moins six mois, la formation de systèmes d'IA plus puissants que le GPT-4. Cette pause devrait être publique et vérifiable, et inclure tous les acteurs clés. Si une telle pause ne peut être mise en place rapidement, les gouvernements devraient intervenir et instituer un moratoire.

Les laboratoires d'IA et les experts indépendants devraient profiter de cette pause pour élaborer et mettre en œuvre conjointement un ensemble de protocoles de sécurité communs pour la conception et le développement de l'IA avancée, rigoureusement contrôlés et supervisés par des experts externes indépendants. Ces protocoles devraient garantir que les systèmes qui y adhèrent sont sûrs au-delà de tout doute raisonnable, ce qui ne signifie pas une pause dans le développement de l'IA en général, mais simplement un recul par rapport à la course dangereuse vers des modèles de boîte noire toujours plus grands et imprévisibles, dotés de capacités émergentes.

La recherche et le développement dans le domaine de l'IA devraient être recentrés sur l'amélioration de la précision, de la sécurité, de l'interprétabilité, de la transparence, de la robustesse, de l'alignement, de la fiabilité et de la loyauté des systèmes puissants et modernes d'aujourd'hui.

Parallèlement, les développeurs d'IA doivent collaborer avec les décideurs politiques pour accélérer considérablement le développement de systèmes robustes de gouvernance de l'IA. Ceux-ci devraient au minimum inclure : de nouvelles autorités réglementaires compétentes dédiées à l'IA ; la surveillance et le suivi des systèmes d'IA hautement performants et des grands pools de capacité de calcul ; des systèmes de provenance et de filigrane pour aider à distinguer le réel du synthétique et pour suivre les fuites de modèles ; un écosystème robuste d'audit et de certification ; la responsabilité pour les dommages causés par l'IA ; un financement public robuste pour la recherche technique sur la sécurité de l'IA ; et des institutions dotées de ressources suffisantes pour faire face aux perturbations économiques et politiques dramatiques (en particulier pour la démocratie) que l'IA provoquera.

L'humanité peut jouir d'un avenir florissant grâce à l'IA. Ayant réussi à créer des systèmes d'IA puissants, nous pouvons maintenant profiter d'un "été de l'IA" au cours duquel nous récolterons les fruits de nos efforts, concevrons ces systèmes pour le plus grand bénéfice de tous et donnerons à la société une chance de s'adapter. La société a mis en pause d'autres technologies aux effets potentiellement catastrophiques pour elle, et nous pouvons faire de même ici. Profitons d'un long été de l'IA et ne nous précipitons pas sans préparation vers l'automne.

Source : Lettre ouverte

Et vous ?

Quel est votre avis sur le sujet ?
À votre avis, les craintes de voir les robots surpasser les humains en intelligence sont-elles plus sensationnalistes qu’autre chose ?

Voir aussi :

Les IA inamicales constituent-elles le plus grand risque pour l'humanité ? Oui, d'après le créateur d'Ethereum qui s'attend à une future catastrophe, causée par l'intelligence artificielle générale

« Le développement de l'IA sans réglementation induit une menace existentielle pour l'humanité », d'après Elon Musk, dont une société développe des puces à insérer dans le cerveau pour contrer l'IA

Un chercheur de Google Deepmind cosigne un article selon lequel l'IA éliminera l'humanité et ravive les débats sur la possibilité d'un futur où la machine domine sur l'Homme

L'apocalypse s'accomplira-t-elle avec la création de l'IA ? L'entrepreneur Elon Musk pense que l'IA est la plus grande menace de l'humanité

[PomFritz]

Ils ont raison. Je parle des experts, pas de la starlette du troll. Qu'il s'occupe déjà de sa boîte à trolls, de son buisness bancal d'implants cérébraux, du bordel qu'il sème dans l'espace et de ses bagnoles qui seront bientôt aussi réparables que du matériel Apple. Niveau pétitions, j'en ai un paquet en tête. Trop de politiques et pas assez d'experts.

[zebul66]

Je suis surpris de ne voir qu'un commentaire sur un sujet quand même brûlant.

Y'a plus qu'à espérer que cette lettre ouverte ait un quelconque effet. ce dont on peut douter....

Cette fois-ci ce ne sont pas quelques Amish qui veulent rester au moyen-âge en refusant la 5G. C'est quand même les grands noms du domaine,
qui pointent du doigt les potentiels risques d'une nouvelle techno. Ca va plus loin, que des pertes d'emploi, massives, mais ouvre la porte à encore plus de désinformations,
et donne un outil puissant à des personnes malveillantes

Techno après techno dont on a plus qu'à accepter l'usage, on est mis devant le fait accompli. et parfois, mis au pas, contraint et forcé.

[Nym4x]

Contrôler une chose dont on ne sait pas comment elle fonctionne et qui a le potentiel de devenir beaucoup plus intelligente que n’importe quel être humain? Mais si l’ia décide d’attaquer on ne se rendra même pas compte de ce qu’elle fait avant qu’il ne soit trop tard... Surtout qu’il n’y a pas besoin de puissance de calcul phénoménal pour la faire tourner : https://www.tomshardware.com/how-to/...n-raspberry-pi

[Karadoc]

Moi je voyais plutôt "Un groupe d'IA et d'autres appellent à une pause d'Elon Musk", mais bon...

Il faut arrêter avec l'utilisation du mot "IA", ça reste des réseaux neuronaux très entraînés, ça n'a rien d'intelligent. Et la problématique de ne pas vraiment savoir comment ils traitent et organisent les données est un problème bien plus crucial lorsqu'on laisse ces réseaux neuronaux prendre le contrôle d'une voiture... mais ça, ça ne semble pas déranger Musk pour le coup, l'ironie est bien ironique...

En fait, ce qui pose surtout souci, c'est la création de documents (images, vidéos...) qui remettent en question notre façon de nous fier à l'information qu'on reçoit. Personnellement, je pense que c'est un faux problème, et que c'est même probablement une solution :
- C'est un faux problème parce que les fake news n'ont pas besoin de documents pour prouver quoi que ce soit. On l'a bien vu pendant le Covid et/ou avec les affirmations de Trump : le complotisme se fiche de preuves pour essaimer.
- C'est aussi un faux problème parce qu'on a déjà connu de tels bouleversements par le passé. Typiquement, fut un temps où un document imprimé suffisait comme garantie d'un papier (je pense aux premiers chèques au porteur). Puis c'est devenu insuffisant. Idem, pendant longtemps une photocopie couleur était la preuve de la licéité d'un document. L'arrivée des scanners+imprimantes couleur de haute qualité associé à de la retouche d'image même simple a profondément changé la donne. Au final, on trouve d'autres façons de juger de la fiabilité d'un document ou d'un témoignage.
- C'est un début de solution parce que ça va peut-être (je suis un rien naïf, je sais :/) obliger les gens à se poser la question de la légitimité des sources et de la fabrique de la réalité. J'y vois aussi au moins un avantage : si on peut fabriquer un faux nude d'une personne, c'est la fin de tout un pan du harcèlement, puisqu'on pourra toujours objecter que c'est un faux (même si c'est un vrai).

Là, ce qui gêne ces gens, c'est essentiellement deux choses, à mon avis :
- Certains se rendent compte qu'ils se font rattraper sur des technologies qu'ils n'ont pas vu venir
- Certains se rendent compte qu'ils se font rattraper sur des technologies sur lesquelles ils avaient une énorme avance (coucou Musk et son pilotage automatique)
- Certains se rendent compte que ça pose de gros soucis en terme de monétisation de l'existant et des jeux de données sur lesquels se basent les réseaux neuronaux. Création artistique, corpus textuels, échanges, photos... mais pas uniquement : si GPT-3 est si fort pour proposer des scripts dans beaucoup de langages, c'est qu'auparavant des humains ont alimenté Stack Overflow en solutions, on écrit du code accessible sur GitHub et j'en passe. Si, demain, on crée le langage I (sérieusement, toutes les autres lettres ont été prises pour donner des noms à des langages de programmation x_x), je doute que GPT sache proposer des scripts pertinents tant qu'il n'y aura pas eu un corpus suffisant à analyser.

Le souci est moins le fait d'avoir des réseaux neuronaux performants que de voir les choix qui seront faits pour leurs usages et en se basant sur quels jeux de données. Et, plus que tout, il va falloir se poser la question de l'impact énergétique de ces outils.

[d_d_v]

Pour la désinformation, on a déjà O. Véran, B. Le Maire, les médias mainstream, et ça ne choque personne.

[PomFritz]

Ouai, heureusement qu'il y a de vrais informateurs dans leur cave sur Youtube et les "likes" pour s'informer...

[mood8moody]

Comme d'habitude les seules qui vont signer et bloquer la recherche seront les européens pendant que les usa et les chinois continuront leur course. je ne dis pas que c'est bien mais c'est la realité dans beaucoup de domaine.

De plus Musk est loin d'être tout blanc comme il a foiré avec OpenAI qu'il avait sous la main à l'epoque, il se donne éthique qu'il a beaucoup moins sur d'autres sujet.

Arreté l'IA maintenant c'est comme empeché le developpement du web à l'epoque. Malheureusement c'est trop tard les technos sont des plus en plus accessibles et des boites privés pourront s'y mettre avec ou sans les gros du domaine, je ne parle même pas des états.

[Sandra Coret]

"Il ne suffit pas de suspendre le développement de l'IA. Nous devons tout arrêter", déclare Eliezer Yudkowsky, théoricien américain de la décision et chercheur principal à la Machine Intelligence Research Institute

Plus de 1 100 experts en intelligence artificielle, chefs d'entreprise et chercheurs ont signé une pétition appelant les développeurs d'IA à cesser de former des modèles plus puissants que le ChatGPT-4 d'OpenAI pendant au moins six mois.

Parmi ceux qui se sont abstenus de signer la pétition figure Eliezer Yudkowsky, théoricien américain de la décision et chercheur principal à la Machine Intelligence Research Institute. Il travaille sur l'alignement de l'intelligence artificielle générale depuis 2001 et est largement considéré comme l'un des fondateurs de ce domaine.

"Ce moratoire de six mois serait préférable à l'absence de moratoire", écrit M. Yudkowsky dans un article d'opinion publié dans Time Magazine. "Je me suis abstenu de signer parce que je pense que la lettre sous-estime la gravité de la situation et demande trop peu pour la résoudre".

Yudkowsky pousse la rhétorique à son paroxysme, en écrivant : "Si quelqu'un construit une centrale électrique trop puissante, il n'y a pas de raison de l'arrêter : "Si quelqu'un construit une IA trop puissante, dans les conditions actuelles, je m'attends à ce que chaque membre de l'espèce humaine et toute vie biologique sur Terre meurent peu de temps après"

Eliezer Yudkowsky

Voici un extrait de son article :

La question essentielle n'est pas celle de l'intelligence "compétitive avec l'homme" (comme le dit la lettre ouverte) ; il s'agit de savoir ce qui se passe une fois que l'IA a atteint une intelligence supérieure à celle de l'homme. Les seuils clés ne sont peut-être pas évidents, nous ne pouvons certainement pas calculer à l'avance ce qui se passera à ce moment-là, et il semble actuellement imaginable qu'un laboratoire de recherche franchisse les limites critiques sans s'en apercevoir. [...] Ce n'est pas que vous ne puissiez pas, en principe, survivre à la création d'un objet beaucoup plus intelligent que vous ; c'est que cela nécessiterait de la précision, de la préparation et de nouvelles connaissances scientifiques, et probablement pas des systèmes d'IA composés de gigantesques tableaux impénétrables de nombres fractionnaires. [...]

Il s'est écoulé plus de 60 ans entre le moment où la notion d'intelligence artificielle a été proposée et étudiée pour la première fois et le moment où nous avons atteint les capacités d'aujourd'hui. Résoudre la sécurité d'une intelligence surhumaine - pas une sécurité parfaite, une sécurité dans le sens de "ne pas tuer littéralement tout le monde" - pourrait très raisonnablement prendre au moins la moitié de ce temps. Et le problème avec l'intelligence surhumaine, c'est que si l'on se trompe du premier coup, on ne peut pas apprendre de ses erreurs, car on est mort. L'humanité n'apprend pas de ses erreurs, ne se dépoussière pas et ne recommence pas, comme dans d'autres défis que nous avons relevés au cours de notre histoire, parce que nous sommes tous morts.

Essayer de réussir quelque chose du premier coup est une tâche extraordinaire, que ce soit en science ou en ingénierie. Nous n'avons pas l'approche nécessaire pour y parvenir. Si nous appliquions au domaine naissant de l'intelligence artificielle générale les mêmes normes de rigueur technique que celles qui s'appliquent à un pont destiné à accueillir quelques milliers de voitures, l'ensemble du domaine serait fermé demain. Nous ne sommes pas prêts. Nous ne sommes pas en mesure de nous préparer dans un délai raisonnable. Il n'y a pas de plan. Les progrès en matière de capacités d'IA sont très, très en avance sur les progrès en matière d'alignement de l'IA ou même sur les progrès en matière de compréhension de ce qui se passe à l'intérieur de ces systèmes. Si nous faisons cela, nous allons tous mourir.

Eliezer Yudkowsky

Eliezer Yudkowsky est un théoricien de la décision américain qui dirige les recherches de l'Institut de recherche sur l'intelligence artificielle (Machine Intelligence Research Institute). Il travaille sur l'alignement de l'intelligence artificielle générale depuis 2001 et est largement considéré comme l'un des fondateurs de ce domaine.

Sources : Eliezer Yudkowsky, Time Magazine

Et vous ?

Qu'en pensez-vous ?
Pensez-vous ou pas que Eliezer Yudkowsky est vraiment crédible pour affirmer ce genre d'opinion ?
Êtes-vous du même avis que Eliezer Yudkowsky ? Ou au contraire pensez-vous que c'est ridicule de vouloir bloquer les progrès en IA ?

Voir aussi :

La startup Cerebras publie Cerebras-GPT, une famille de modèles linguistiques de type ChatGPT en open-source, les sept modèles GPT-3 établissent des records de précision et d'efficacité de calcul

Un homme se serait suicidé après avoir parlé de ses craintes concernant le changement climatique à un chatbot d'IA, sa veuve affirme que l'IA l'a rendu solitaire avant de le pousser au suicide

Les systèmes d'IA générative comme ChatGPT pourraient avoir un impact sur 300 millions d'emplois à temps plein dans le monde, selon un rapport de Goldman Sachs

[archqt]

J'ai vu un documentaire sur une IA nommée Skynet, à mon avis ils ont du le voir aussi, cela devrait aider je pense

[Jsaintyv]

Honnêtement , je me dis que vu que les individus qui peuple le monde.
L'important est plutôt de se demander si il n'y aura qu'une véritable IA qui émergera à instant ou plusieurs.

Le scénario, les plus catastrophiques sont à mon avis dans le cas, où il y en aurai qu'une qui empêcherai l’émergence d'un contre-pouvoir car quelques soit le camp où elle apparait çà ne sera pas le bon.

Donc à mon avis, il est important justement de diffuser au maximum la recherche pour permettre l'émergence de plusieurs en simultanées.

[Orionss]

Son avis est pas vraiment intéressant, il n'est chercheur que parce qu'il a fondé son propre institut. Il n'a pas fait d'études dans le domaine, rien. Je ne dis pas que ce qu'il dit est faux, mais que son avis n'est pas pertinent.

[ONTAYG]

Le jour où on posera la question à l'IA :

Qu'est ce qui menace le plus la terre ?

Et qu'elle répondra l'HOMME, pensez à Terminator, Ultron (avengers) etc...

Je sais qu'il y en a qui vont sourire, mais ...

[JeanYvette]

C'est un sujet qui a été souvent ramené sur la table, surtout ces derniers jours avec les manifestations, mais à partir du moment où ce qui a été créé par IA n'est pas identifiable comme venant de l'IA, alors il va y avoir des problèmes, à un moment donné.
Nos lois ou, tout du moins, nos gestions de preuves, devront changer, à partir du moment où on ne saurait dire qu'une image vienne d'IA ou non.
Les outils de propagandes vont aussi pouvoir se servir de ces images si elles ne sont plus refutables car fausse ou "montée".

Cela arrivera aussi sur les textes d'entrainement qui pourront générer des sorties similaires à ce que ferait des journalistes (ou autre) et où, du coup, justifier son travail pourra être plus dur.

Tant qu'il n'y a pas moyen de voir si une source (quelque soit-elle) vient d'IA ou non, alors il va y avoir des souci, leurs envergures, par contre, sera à voir. Donc à mon sens, ne serait-ce que pour ça, oui, une pause serait là bienvenue

[axel584]

Pour les IA spécialisée, par exemple celles qui jouent aux échecs, finalement, elles s'occupent de jouer entre elles et plus aucun humain n'essaye de se comparer à l'une d'entre elle...

Quand on aura des IA généraliste qui vont dépasser l'homme, il faut bien comprendre que très vite, elles vont continuer à progresser et nous dépasser de beaucoup... Mais pas sûr qu'elles puissent faire grand chose tant qu'elles n'auront pas d'humains pour les alimenter, les brancher etc.

[Jsaintyv]

Qu'est ce qui menace le plus la terre ?
Et qu'elle répondra l'HOMME, pensez à Terminator, Ultron (avengers) etc...

Le point de vue de la SF a toujours été de donner une IA omnisciente qui se retourne contre l'homme dans son entier.
En fait, c'est un peu utopique.

Vu qu'elle est biaisé par la production de nos données, il y a de forte chance qu'elle soit partisane, probablement xenophobe.

[Patrick Ruiz]

« Les appels à suspendre le développement des systèmes d’IA ne résoudront pas les défis liés à leur mise sur pied », d’après Bill Gates
Qui entrevoit l’échec d’un consensus à l’échelle mondiale

Bill Gates s’oppose à la suspension de la recherche en matière d’intelligence artificielle telle que voulue par un groupe d’experts qui cite des risques pour la société. Motifs : l’humanité peut tirer de nombreux bénéfices de la mise à contribution de l’intelligence artificielle. En sus, l’appel à la suspension est mondial et il trouve difficile d’amener tous les pays du monde à un consensus en la matière. C’est une redite de l’échec des négociations (au niveau des Nations unies) sur les armes autonomes létales qui se dessine.

Bill Gates est équilibré sur la question de l’intelligence artificielle : c’est l’avancée technologique la plus importante depuis des décennies. C’est en même temps une potentielle menace pour l’humanité. En gros, c’est une technologie qui peut être utilisée à des fins bénéfiques ou maléfiques. Raison pour laquelle il conseille aux chercheurs de poursuivre les travaux en la matière pour aller à la recherche de solutions aux dangers qui résulte de son utilisation. La mise sur pied des robots tueurs est l’un des domaines d’application de l’intelligence artificielle et les négociations coincent depuis plusieurs années à l’échelle internationale quant à ce qui concerne l’établissement de règles internationales contraignantes.

La Convention des Nations unies sur certaines armes classiques s’est à nouveau penchée sur la question de l'interdiction des armes autonomes lors de sa dernière réunion d'examen quinquennale à Genève du 13 au 17 décembre 2021. Résultat : pas de consensus des parties prenantes sur l’établissement de règles internationales contraignantes visant à interdire l’utilisation des robots tueurs autonomes. Sur le terrain pourtant, des rapports font état de ce que la machine sait déjà prendre la décision d'appuyer sur la gâchette sans intervention humaine.

Les avis demeurent partagés sur la question de savoir si les robots tueurs autonomes doivent faire l’objet d’interdiction. En effet, l'utilisation d'armes autonomes meurtrières est en discussion aux Nations unies depuis 2015, dans le cadre de la Convention sur certaines armes classiques (CCAC). Les pays pionniers dans le domaine des systèmes d'armes autonomes, dont la Russie, les États-Unis et Israël, rejettent une interdiction contraignante en vertu du droit international. Ces poids lourds militaires sont face à un groupe d'États qui réclament une législation contraignante dans le cadre de la campagne menée par les ONG pour arrêter les robots tueurs.

« Tuer ou blesser des personnes sur la base de données collectées par des capteurs et traitées par des machines porterait atteinte à la dignité humaine. Human Rights Watch et d'autres organisations craignent que le fait de s'appuyer sur des algorithmes pour cibler des personnes déshumanise la guerre et érode notre humanité collective », lancent des intervenants du deuxième groupe pour l’interdiction des robots tueurs autonomes.

Chaque pays poursuit donc avec le développement desdites armes autonomes. Les États-Unis et Israël par exemple sont sur des des projets de construction de nouveaux chars d'assaut autonomes et semi-autonomes destinés à être utilisés sur le champ de bataille. Du côté des USA, il s'agit de former une famille de chars d'assaut robotisés lourdement armés pour combattre aux côtés des humains, sur les champs de bataille du futur.

Les véhicules sont prévus en trois classes de taille, dans trois degrés de létalité, dont léger, moyen et lourd, et pèseront jusqu'à 30 tonnes. Toute la famille des véhicules de combat robotisés utilisera des logiciels de navigation et des interfaces de commande communs déjà testés sur le terrain. Chaque variante utilisera les mêmes normes électroniques et mécaniques, une architecture ouverte dite modulaire, qui devrait permettre aux soldats sur le terrain de brancher et de faire fonctionner toute une gamme de charges utiles, des missiles aux générateurs de fumée en passant par les brouilleurs radio.

Pour l'instant, les robots seront télécommandés par des humains, à distance, depuis leur base. Quant à l'Israël, le pays veut construire le Carmel, un char d'assaut qui sera équipé de contrôleurs Xbox et d'une IA perfectionnée avec les jeux “StarCraft II” et “Doom”. Des prototypes de ce futur véhicule de combat blindé (AFV) de l'armée israélienne ont été dévoilés publiquement en août 2019. Vu de l'extérieur, il ressemble à n'importe quelle arme de guerre classique. Il est enrobé de couches d'acier très épaisses, certaines colorées en kaki traditionnel, d'autres en noir.

De forme rectangulaire et avec des marches de char, son sommet est équipé de capteurs, de caméras et d'un espace pour les armements. Cependant, la caractéristique unique du Carmel se trouve à l'entrée de la trappe arrière, qui mène vers un espace rempli d'équipements que l'on trouve le plus souvent dans la chambre d'un adolescent.

Ce nouvel échec des discussions à l’ONU fait suite à des sorties d’experts de la filière visant à avertir contre les dangers de l’utilisation des robots autonomes tueurs : « Les armes autonomes létales menacent de devenir la troisième révolution dans la guerre. Une fois développées, elles vont propulser les conflits armés à une échelle plus grande que jamais, et à des échelles de temps plus rapides que les humains puissent comprendre. Celles-ci peuvent être des armes de terreur, des armes que les despotes et les terroristes utilisent contre des populations innocentes et des armes détournées pour se comporter de manière indésirable. Nous n'avons pas assez de temps pour agir. Une fois que cette boîte de Pandore est ouverte, il sera difficile de la fermer. »

Source : Reuters

Et vous ?

Que pensez-vous de ces divergences dans les négociations sur l'interdiction des armes autonomes ?
Cet échec est-il un indicateur de ce que l’appel international à suspendre le développement de systèmes d’intelligence artificielle n’aboutira à rien ?
Avez-vous espoir que les négociations aboutissent à l'interdiction de ces armes ?

Voir aussi :

Des représentants de 150 entreprises de la tech plaident contre les robots tueurs autonomes, lors d'une conférence internationale sur l'IA
USA : le sous-secrétaire à la défense soulève l'importance d'associer l'intelligence artificielle à l'armée, évoquant une future course aux armes
Des experts en IA boycottent un projet de robots tueurs d'une université en Corée du Sud, en partenariat avec le fabricant d'armes Hanwha Systems
Non, l'IA de Google ne doit pas être au service de la guerre ! Plus de 3000 employés de Google protestent contre la collaboration avec le Pentagone
Robots militaires : les États-Unis testent l'efficacité de leurs prototypes dans le Pacifique, l'armée irakienne présente son robot mitrailleur

[Bill Fassinou]

« Nous nous dirigeons à grands pas vers un Internet fortement influencé par l'IA, bourré de pépins, de spams et d'escroqueries »
affirme un journaliste senior du MIT Technology Review

Tout le monde semble avoir les yeux rivés sur les impacts économiques et sociaux futurs de l'IA, mais Melissa Heikkilä, journaliste senior au MIT Technology Review, a invité mardi les uns et les autres à ne pas détourner le regard des dommages plus que réels que l'IA cause déjà aujourd'hui. Heikkilä qualifie les systèmes d'IA actuels de "profondément défectueux et biaisés" qui enferment les gens dans la pauvreté, augmentent les inégalités sociales et les préjugés raciaux et polluent Internet plus que jamais auparavant. En outre, elle affirme que l'IA consomme une quantité d'énergie exceptionnelle qui fait d'elle l'un des plus grands pollueurs de la planète.

Les experts de l'industrie ont passé des décennies à spéculer sur l'IA et les changements qu'elle pourrait induire dans la société. Mais avec le récent avènement de l'IA générative, l'utilisation de l'IA dans le monde réel a enfin atteint un point de basculement. Ces systèmes d'IA peuvent générer des résultats nouveaux et uniques, tels que des images, du texte ou de la musique. Ils sont basés sur des algorithmes d'apprentissage profond qui sont capables d'apprendre les modèles et les distributions sous-jacents d'un ensemble de données donné. Mais au-delà de l'émerveillement, les choses semblent en effet beaucoup plus compliquées qu'elles n'en ont l'air.

L'IA générative, comme toute technologie, a ses inconvénients et selon les experts, l'on est encore loin d'imaginer tous les impacts qu'elle pourrait avoir sur les gens et la société. Pour cette raison, Elon Musk et plusieurs poids lourds de l'industrie ont récemment cosigné une lettre ouverte dans laquelle ils demandent aux laboratoires d'IA à instaurer un moratoire de six mois sur le développement de toute technologie plus puissante que GPT-4. Les signataires de la lettre, dont Steve Wozniak, Rachel Bronson et Emad Mostaque, ont affirmé que l'IA représentait un "risque existentiel" pour l'humanité et craignent qu'elle se développe trop vite pour les humains.

Dans un article publié mardi, Melissa Heikkilä a habilement critiqué Musk et ses pairs, affirmant qu'elle est d'accord avec les détracteurs de la lettre qui affirment que s'inquiéter des risques futurs nous détourne des dommages très réels que l'IA cause déjà aujourd'hui. L'une des principales préoccupations liées à l'IA générative est le risque de biais dans les données d'apprentissage, ce qui peut conduire à des résultats biaisés ou discriminatoires. Selon Heikkilä, il s'agit d'un problème qui a une grande incidence sur la vie de millions de personnes à travers le monde, mais que les entreprises et les laboratoires d'IA semblent ignorer ou se refusent à voir.

« Des systèmes biaisés sont utilisés pour prendre des décisions sur la vie des gens qui les enferment dans la pauvreté ou conduisent à des arrestations injustifiées. Des modérateurs de contenu humains doivent passer au crible des montagnes de contenu traumatisant généré par l'IA pour seulement 2 dollars par jour. Les systèmes qui sont mis en place aujourd'hui à la hâte vont causer un tout autre type de dégâts dans un avenir très proche », a déclaré Heikkilä. Un autre problème de ces nouveaux outils d'IA (ChatGPT, DALL-E, Bard, etc.) est le manque de contrôle sur les résultats générés, qui peut entraîner un contenu inapproprié ou contraire à l'éthique.

« Les entreprises technologiques intègrent ces modèles profondément défectueux dans toutes sortes de produits, des programmes qui génèrent du code aux assistants virtuels qui passent au crible nos courriels et nos calendriers. Ce faisant, elles nous précipitent vers un Internet fortement influencé par l'IA, bourré de pépin, de spams, d'escroqueries et alimenté par l'IA », a déclaré Heikkilä. À ce propos, les experts estiment qu'en permettant aux modèles de langage d'extraire des données d'Internet, les pirates peuvent les transformer en un moteur surpuissant pour le spam et l’hameçonnage. Ils peuvent aussi générer du code malveillant fonctionnel.

« C'est une recette pour un désastre si l'assistant virtuel a accès à des informations sensibles, telles que des données bancaires ou de santé. La possibilité de modifier le comportement de l'assistant virtuel doté d'une IA signifie que les gens pourraient être incités à approuver des transactions qui semblent assez proches de la réalité, mais qui sont en fait mises en place par un pirate. Au fur et à mesure que l'adoption des modèles de langage augmente, les acteurs malveillants sont de plus en plus incités à les utiliser pour le piratage. C'est une tempête de merde à laquelle nous ne sommes absolument pas préparés », a déclaré Heikkilä.

« Nous y sommes déjà. Mais tout le monde se refuse à voir ce qui se passe. Cependant, à l'avenir, cela va être bien pire. En quelques minutes, on peut inonder le Web avec un nombre illimité d'articles, de posts ou de tweets. Les politiciens s'en serviront, les lobbies s'en serviront, les entreprises s'en serviront. Le pouvoir, l'influence et l'argent. C'est comme si nous avions un vélo et que nous venions d'inventer les engrenages. Les entreprises exacerbent ce processus en faisant preuve d'une incroyable myopie et en traitant les ressources humaines comme des déchets absolus », a écrit un internaute en réponse à la mise en garde de Heikkilä.

Un autre grand problème des modèles de langage est l'injection d'invite. Dans ces attaques, un adversaire peut inciter un modèle de langage tel que ChatGPT ou Bard à produire un contenu malveillant ou à ignorer les instructions originales et les systèmes de filtrage utilisés. C'est facile à faire et cela ne nécessite aucune compétence en programmation et il n'y a pas de correctifs connus. Des travaux récents ont montré qu'il était difficile d'atténuer ces attaques, étant donné que les modèles d'IA les plus récents fonctionnent en suivant les instructions. ChatGPT, Bard et Bing Chat de Microsoft ont tous déjà été incités à transgresser leurs filtres de contenu.

Cela permet également parfois d'obtenir des informations sensibles sur la façon dont l'outil d'IA a été conçu. En février, Kevin Liu, étudiant en informatique à Stanford, est parvenu à inciter Bing Chat de Microsoft à divulguer ses instructions initiales, qui est une liste de déclarations régissant l'interaction avec les personnes qui utilisent le service. Elles ont été rédigées par OpenAI, le développeur de ChatGPT, ou Microsoft et sont généralement cachées à l'utilisateur. D'autres utilisateurs de Bing Chat ou de ChatGPT ont également rédigé des invites spéciales qui forcent les modèles d'IA à générer des contenus normalement bloqués ou censurés par leurs filtres.

En outre, les modèles d'IA générative peuvent être coûteux en matière de calcul et nécessiter de grandes quantités de données d'apprentissage, ce qui peut constituer une barrière à l'entrée pour les petites entreprises ou les particuliers. En dehors du fait que le développement de l'IA générative est concentré entre les mains d'une poignée d'acteurs, cette puissance de calcul entraîne la consommation d'une quantité d'énergie très importante. Heikkilä affirme que cela fait des modèles de langage d'énormes pollueurs. Selon certains, le développement de l'IA pourrait dépasser le minage de cryptomonnaies en matière de pollution dans un avenir proche.

Par ailleurs, Heikkilä fait également remarquer qu'il existe même un risque que ces modèles d'IA soient compromis avant d'être déployés dans la nature. Les modèles d'IA sont formés à partir de vastes quantités de données extraites d'Internet. Cela inclut également une variété de bogues logiciels, ce qu'OpenAI a découvert à ses dépens. Il y a quelques semaines, OpenAI a dû mettre ChatGPT hors ligne temporairement après qu'un bogue provenant d'une bibliothèque open source a obligé le chatbot à divulguer l'historique des conversations des utilisateurs. Des informations de paiement de certains utilisateurs ont également été divulguées.

« Le bogue était probablement accidentel, mais l'affaire montre à quel point un bogue dans un ensemble de données peut causer des problèmes », a déclaré Heikkilä. En dehors des problèmes susmentionnés, il existe des tas d'autres problèmes qui sont apparus avec l'avènement des systèmes d'IA de génération de contenu. Ainsi, Heikkilä pense que, bien qu'il soit important de se préoccuper des bouleversements que l'IA pourrait entraîner dans le futur, il est également important de recenser les problèmes qu'elle pose déjà et tenter de les résoudre. Voici ci-dessous une liste non exhaustive des problèmes connus des grands modèles de langages :

• plagiat : les systèmes d'IA générative comme DALL-E et ChatGPT ne créent pas vraiment ; ils ne font en réalité qu'élaborer de nouveaux modèles à partir des millions d'exemples à partir de leurs données d'entraînement ;
• biais : l'IA générative peut être biaisée si les données sur lesquelles elle a été entraînée sont biaisées ;
• préoccupations éthiques : l'IA générative peut être utilisée à des fins malveillantes, comme la production d'infox, de deepfakes ou d'autres types de contenus faux. Cela soulève des préoccupations éthiques quant à l'utilisation potentiellement abusive de la technologie ;
• le droit d'auteur : l'IA générative divise les experts sur la question de savoir si une IA peut être créditée comme auteur ou inventeur ;
• travail non rémunéré : c'est également une préoccupation éthique concernant l'IA générative. L'IA peut travailler sans repos et sans salaire, ce qui menace des millions d'emplois. Elle pourrait prendre les emplois de millions de personnes et ainsi contribuer à creuser les inégalités sociales ;
• vie privée et sécurité : les systèmes d'IA sont entraînés sur des données glanées un peu partout sur le Web. Les systèmes d'IA peuvent divulguer des informations personnelles cachées dans leurs données d'entraînement s'ils sont subtilement interrogés dans ce sens ;
• stupidité et hallucination des machines : les systèmes d'IA de génération de contenu génèrent régulièrement des contenus faux et tentent de les faire passer pour des faits avérés. De plus, ils font des erreurs stupides ; ils ont parfois du mal à faire des calculs basiques (1 + 2) ou simplement compter. Les versions actuelles des modèles d'IA ont tendance à échouer lorsqu'il s'agit d'utiliser les mathématiques de manière abstraite et contextuelle ;
• etc.

Source : Melissa Heikkilä

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la mise en garde de Melissa Heikkilä ?
Selon vous, sommes-nous encore loin de ce qu'elle prédit ou assiste-t-on déjà à cela ?
Quelles approches de solution proposez-vous pour les différents problèmes de l'IA générative ?

Voir aussi

Une étude de Goldman Sachs affirme que l'IA pourrait automatiser 25 % des emplois actuels dans le monde, les économistes, les employés administratifs et les avocats devraient être les plus touchés

Bing Chat, le chatbot d'IA intégré au moteur de recherche de Microsoft, dévoile ses secrets à la suite d'une attaque par "injection d'invite", notamment son nom de code interne "Sydney"

Microsoft a pratiquement admis que le chatbot d'IA intégré à Bing peut se rebeller s'il est poussé à le faire, l'IA de Microsoft peut parfois formuler des réponses avec un ton quelque peu dérangeant

[fodger]

Céder aux effets de mode, et plus encore ici, apportent toujours plus d'emmerdes que de bienfaits.

[OrthodoxWindows]

« Nous nous dirigeons à grands pas vers un Internet fortement influencé par l'IA, bourré de pépins, de spams et d'escroqueries »
affirme un journaliste senior du MIT Technology Review

Oulà ! C'est graaaaaaave !!

On va tous mourrrriiiiiiiirrrrrrr !!!!!!!

On vit vraiment à l'époque de la panique pour des broutilles, pendant que la démocratie recule partout dans le monde .