Discussion :

[Stéphane le calme]

Les entreprises technologiques se sont mises d'accord sur la mise en place d'un « interrupteur d'arrêt » de l'IA pour éviter les risques du type Terminator.
Elles s'engagent à ne pas dépasser les limites, mais lesquelles ?

Les plus grandes entreprises d’intelligence artificielle (IA) du monde ont récemment pris une mesure importante pour atténuer les craintes liées au développement incontrôlé de l’IA. Lors d’un sommet à Séoul, 16 entreprises influentes, dont Anthropic, Microsoft et OpenAI, ont convenu d’un « interrupteur d’arrêt » pour leurs modèles d’IA les plus avancés. Mais qu’est-ce que cela signifie exactement et comment cela pourrait-il affecter notre avenir?

Il n'est pas question de remettre l'IA dans la boîte de Pandore, mais les plus grandes entreprises d'IA du monde collaborent volontairement avec les gouvernements pour répondre aux plus grandes craintes liées à cette technologie et apaiser les inquiétudes selon lesquelles le développement incontrôlé de l'IA pourrait conduire à des scénarios de science-fiction dans lesquels l'IA se retournerait contre ses créateurs. Toutefois, sans dispositions juridiques strictes renforçant les engagements des gouvernements en matière d'IA, les conversations n'iront pas plus loin.

Plus tôt ce mois-ci, 16 entreprises d'IA influentes, dont Anthropic, Microsoft et OpenAI, 10 pays et l'UE se sont réunis lors d'un sommet à Séoul pour définir des lignes directrices sur le développement responsable de l'IA. L'un des principaux résultats du sommet est que les entreprises d'IA présentes se sont mises d'accord sur ce que l'on appelle un « kill switch », c'est-à-dire une politique selon laquelle elles arrêteraient le développement de leurs modèles d'IA les plus avancés s'ils étaient considérés comme ayant franchi certains seuils de risque. Il est toutefois difficile de savoir si cette politique est réellement efficace, étant donné qu'elle n'est pas assortie d'un poids juridique réel ou qu'elle ne définit pas de seuils de risque spécifiques. De plus, les autres entreprises d'IA non présentes, ou concurrentes de celles qui ont accepté les termes de l'accord dans l'esprit, ne seraient pas soumises à l'engagement.

« À l'extrême, les organisations s'engagent à ne pas développer ou déployer un modèle ou un système si des mesures d'atténuation ne peuvent pas être appliquées pour maintenir les risques en dessous des seuils », peut-on lire dans le document d'orientation signé par les entreprises d'IA, dont Amazon, Google et Samsung.

Concernant l'identification et la gestion des risques, voici d'autres éléments qui sont ressortis de ce sommet :

1. Évaluer les risques posés par leurs modèles ou systèmes d'avant-garde tout au long du cycle de vie de l'IA, y compris avant le déploiement du modèle ou du système et, le cas échéant, avant et pendant la formation. Les évaluations des risques devraient tenir compte des capacités des modèles et du contexte dans lequel ils sont développés et déployés, ainsi que de l'efficacité des mesures d'atténuation mises en œuvre pour réduire les risques associés à leur utilisation prévisible et à leur mauvaise utilisation. Elles devraient également prendre en compte les résultats des évaluations internes et externes, le cas échéant, telles que celles effectuées par des évaluateurs tiers indépendants, par leurs gouvernements d'origine et par d'autres organismes que leurs gouvernements jugent appropriés.
2. Fixer des seuils à partir desquels les risques graves posés par un modèle ou un système, s'ils ne sont pas atténués de manière adéquate, seraient jugés intolérables. Évaluer si ces seuils ont été franchis, et notamment contrôler dans quelle mesure un modèle ou un système est proche d'un tel franchissement. Ces seuils doivent être définis avec l'aide d'acteurs de confiance, y compris, le cas échéant, les gouvernements nationaux respectifs des organisations. Ils doivent être alignés sur les accords internationaux pertinents auxquels leurs gouvernements d'origine sont parties. Ils doivent également être accompagnés d'une explication de la manière dont les seuils ont été fixés et d'exemples spécifiques de situations dans lesquelles les modèles ou les systèmes présenteraient un risque intolérable.
3. Expliquer comment les mesures d'atténuation des risques seront identifiées et mises en œuvre pour maintenir les risques dans les limites définies, y compris les mesures d'atténuation des risques liés à la sûreté et à la sécurité, telles que la modification du comportement des systèmes et la mise en œuvre de contrôles de sécurité robustes pour les pondérations de modèle non publiées.
4. Définir des processus explicites qu'ils ont l'intention de suivre si leur modèle ou leur système présente des risques qui atteignent ou dépassent les seuils prédéfinis. Il s'agit notamment de processus visant à poursuivre le développement et le déploiement de leurs systèmes et modèles uniquement s'ils estiment que les risques résiduels resteront en deçà des seuils. À l'extrême, les organisations s'engagent à ne pas développer ou déployer un modèle ou un système s'il est impossible d'appliquer des mesures d'atténuation pour maintenir les risques en deçà des seuils.
5. Investir en permanence dans l'amélioration de leur capacité à mettre en œuvre les engagements i-iv, y compris l'évaluation et l'identification des risques, la définition des seuils et l'efficacité des mesures d'atténuation. Cela devrait inclure des processus permettant d'évaluer et de contrôler l'adéquation des mesures d'atténuation et d'identifier des mesures d'atténuation supplémentaires, le cas échéant, afin de garantir que les risques restent inférieurs aux seuils prédéfinis. Ils contribueront aux meilleures pratiques émergentes, aux normes internationales et aux travaux scientifiques sur l'identification, l'évaluation et l'atténuation des risques liés à l'IA, et tiendront compte de ces éléments.

Un groupe de participants a rédigé une lettre ouverte critiquant l'absence de réglementation officielle

Ce sommet faisait suite au sommet de Bletchley Park sur la sécurité de l'IA, qui s'est tenu en octobre dernier et qui a rassemblé un groupe similaire de développeurs d'IA. Il a été critiqué pour son manque d'engagements concrets à court terme visant à protéger l'humanité de la prolifération de l'IA.

À la suite de ce sommet, un groupe de participants a rédigé une lettre ouverte critiquant l'absence de réglementation officielle du forum et le rôle prépondérant des entreprises d'IA dans la promotion de la réglementation dans leur propre secteur. « L'expérience a montré que la meilleure façon de s'attaquer à ces problèmes est de mettre en place des mandats réglementaires exécutoires, et non des mesures d'autorégulation ou volontaires », peut-on lire dans la lettre.

D'abord dans la science-fiction, et maintenant dans la vie réelle, des écrivains et des chercheurs ont mis en garde contre les risques d'une intelligence artificielle puissante depuis des décennies. L'une des références les plus connues est le « scénario Terminator », théorie selon laquelle, si elle n'est pas maîtrisée, l'IA pourrait devenir plus puissante que ses créateurs humains et se retourner contre eux. Cette théorie tire son nom du film d'Arnold Schwarzenegger de 1984, dans lequel un cyborg remonte le temps pour tuer une femme dont le fils à naître luttera contre un système d'IA destiné à déclencher un holocauste nucléaire.

« L'IA offre d'immenses possibilités de transformer notre économie et de résoudre nos plus grands défis, mais j'ai toujours été claire sur le fait que ce potentiel ne peut être pleinement exploité que si nous sommes capables de maîtriser les risques posés par cette technologie complexe qui évolue rapidement », a déclaré Michelle Donelan, secrétaire d'État britannique à la technologie.

Les entreprises spécialisées dans l'IA reconnaissent elles-mêmes que leurs offres les plus avancées s'aventurent dans des eaux technologiques et morales inexplorées. Le PDG d'OpenAI, Sam Altman, a déclaré que l'intelligence artificielle générale (IAG), qu'il définit comme une IA qui dépasse l'intelligence humaine, est « pour bientôt » et qu'elle comporte des risques.

« L'IAG s'accompagnerait également d'un risque sérieux de mauvaise utilisation, d'accidents graves et de perturbations sociétales », peut-on lire dans un billet de blog d'OpenAI. « Parce que le potentiel de l'IAG est si important, nous ne pensons pas qu'il soit possible ou souhaitable pour la société d'arrêter son développement pour toujours ; au contraire, la société et les développeurs de l'IAG doivent trouver le moyen de bien faire les choses ».

Des difficultés à mettre en place des cadres réglementaires mondiaux autour de l'IA

Jusqu'à présent, les efforts visant à mettre en place des cadres réglementaires mondiaux autour de l'IA ont été dispersés et, pour la plupart, dépourvus d'autorité législative. Un cadre politique des Nations unies demandant aux pays de se prémunir contre les risques de l'IA pour les droits de l'homme, de surveiller l'utilisation des données personnelles et d'atténuer les risques liés à l'IA a été approuvé à l'unanimité le mois dernier, mais il n'était pas contraignant. La déclaration de Bletchley, pièce maîtresse du sommet mondial sur l'IA qui s'est tenu en octobre dernier au Royaume-Uni, ne contenait aucun engagement tangible en matière de réglementation.

Entre-temps, les entreprises du secteur de l'IA ont commencé à créer leurs propres organisations en faveur d'une politique de l'IA. Par exemple, Amazon et Meta ont rejoint la Frontier Model Foundation, une organisation à but non lucratif « dédiée à l'amélioration de la sécurité des modèles d'IA d'avant-garde », selon son site web. Ils rejoignent les membres fondateurs Anthropic, Google, Microsoft et OpenAI. L'organisation à but non lucratif n'a pas encore présenté de propositions politiques fermes.

Conclusion

L’IA offre d’immenses opportunités pour transformer notre économie et résoudre nos plus grands défis, mais nous devons également gérer les risques posés par cette technologie complexe. L’accord sur l’interrupteur d’arrêt est un pas dans la bonne direction, mais il reste encore beaucoup à faire pour garantir que l’IA reste bénéfique pour l’humanité. Comme l’a déclaré Michelle Donelan, secrétaire à la technologie du Royaume-Uni : « Ce potentiel complet ne peut être débloqué que si nous sommes capables de maîtriser les risques posés par cette technologie en constante évolution ».

Sources : Engagements en matière de sécurité de l'IA d'avant-garde, Sommet de Séoul sur l'IA 2024, AI Now se joint aux groupes de la société civile dans une déclaration appelant à une réglementation pour protéger le public, des leaders mondiaux décident de lancer le premier réseau international d'instituts de sécurité de l'IA afin de stimuler la coopération en matière d'IA, OpenAI, l'Assemblée générale des Nations unies (AGNU) a adopté la première résolution mondiale sur l'intelligence artificielle, Amazon et Meta rejoignent le Frontier Model Forum pour promouvoir la sécurité de l'IA

Et vous ?

Pensez-vous que les entreprises d’IA devraient être autorisées à réguler elles-mêmes leurs propres technologies, ou devrions-nous compter davantage sur des réglementations gouvernementales ?
Quels critères devraient être utilisés pour déterminer si un modèle d’IA est trop risqué et doit être arrêté ?
Quelles autres mesures pourraient être prises pour prévenir les risques liés à l’IA, en plus de l’interrupteur d’arrêt ?
Croyez-vous que l’accord sur l’interrupteur d’arrêt est suffisant pour protéger l’humanité contre les risques de l’IA, ou faut-il aller plus loin ?
Comment pouvons-nous équilibrer les avantages de l’IA avec les préoccupations légitimes concernant la sécurité et l’éthique ?

[Invité]

Et le vivant à les mêmes problématique que la conscience, malgré qu'on connaît tout de leur processus physique , cela ne nous apprend rien sur "comment ça marche".

Peut-être que le vivant n'est pas qu'un "mécanisme" (cela a quelque chose à voir avec le courant positiviste et le fait que la biologie a emprunté le même chemin que la physique). Aussi vous évoquez la génétique et quid de l'épigénétique (de ces comportements qui activent ou inhibent l'expression des gènes) ?
De quels neurones parlez-vous (cérébraux uniquement ?) ? les neurones entériques produisent la grande majorité des neuromédiateurs (95 % de la sérotonine), le cœur dispose de son propre réseau de neurones qualifiés de "semi-autonomes" et de mon point de vue le microbiote constitue un cerveau supplémentaire à part entière nous interfaçant avec l'environnement.
Quant au fameux code ADN, je le vois comme une base mnémotechnique pour le "Vivant" évoqué.


Et aussi :

Conclusion
L’IA offre d’immenses opportunités pour transformer notre économie et résoudre nos plus grands défis, mais nous devons également gérer les risques posés par cette technologie complexe. L’accord sur l’interrupteur d’arrêt est un pas dans la bonne direction, mais il reste encore beaucoup à faire pour garantir que l’IA reste bénéfique pour l’humanité. Comme l’a déclaré Michelle Donelan, secrétaire à la technologie du Royaume-Uni : « Ce potentiel complet ne peut être débloqué que si nous sommes capables de maîtriser les risques posés par cette technologie en constante évolution ».

Pour faire bref, le fait que l'inscription " Γνῶθι σεαυτόν" ("connais-toi toi même") soit gravée à l'entrée du temple de Delphes (c'est la plus ancienne) indique une condition initiale pour être en capacité de recevoir l'oracle proféré par la Πυθία (Pythie) et s'affranchir de l'interprétation des prêtres (voilà que je deviens hérétique, tiens).
L'IA (peu importe ici ce dont il s'agit) est une création humaine (comme le syndrome terminator), peut-être l'externalisation d'une fonctionnalité nécessaire à ce moment technologique, qui du fait même de la technologie (agressive pour le moins) risque de nous emporter tous (voire même par inadvertance) : sommes-nous capables de nous connaître nous-mêmes ?

[Kannagi]

Peut-être que le vivant n'est pas qu'un "mécanisme" (cela a quelque chose à voir avec le courant positiviste et le fait que la biologie a emprunté le même chemin que la physique). Aussi vous évoquez la génétique et quid de l'épigénétique (de ces comportements qui activent ou inhibent l'expression des gènes) ?

André Pichot ( biologiste et épistémologiste ) supposé lui aussi que la vision purement "mécanisme" était une impasse :

Selon lui la biologie moderne est dans une impasse théorique qu'elle masque à l'aide d'opérations médiatiques et de débauche technologique (Téléthon, annonces fracassantes de thérapies miracles, séquençage du génome humain, etc).

La domination du néo-darwinisme de la génétique et de la biologie moléculaire (constituée de « dogmes » selon certains biologistes, et notamment Francis Crick) aurait, selon Pichot, stérilisé presque toute tentative de penser le vivant autrement que comme une machine.
L'analogie mécaniste remonte au XVIIe siècle et n'était alors qu'une métaphore commode, faite faute de mieux ; aujourd'hui selon lui la machine serait devenue le modèle exclusif par lequel les scientifiques tentent d'appréhender le vivant.

Or une telle conception du vivant est très critiquable. Selon Pichot, tant que cette conception du vivant comme machine ne sera pas critiquée et tant qu'il n'y aura pas de théorie sur la nature des êtres vivants qui reconnaisse leur spécificité par rapport aux objets inanimés et aux machines, il ne sortira rien de la biologie moderne

De quels neurones parlez-vous (cérébraux uniquement ?) ? les neurones entériques produisent la grande majorité des neuromédiateurs (95 % de la sérotonine), le cœur dispose de son propre réseau de neurones qualifiés de "semi-autonomes" et de mon point de vue le microbiote constitue un cerveau supplémentaire à part entière nous interfaçant avec l'environnement.
Quant au fameux code ADN, je le vois comme une base mnémotechnique pour le "Vivant" évoqué.

Je ne suis pas biologiste , je parlais des neurones du cerveau , mais j'ai presque envie de dire "peu imposte" , ce que je voulais relevé était qu'un neurone est un peu plus complexe que la vision actuel qu'on en fait qui est une sorte de multriplication de matrice (IA) , avec de simple "entre sortie" multiple.

Pareil pour l'ADN qui n'est pas un "programme" (que André Pichot critiquais d'ailleurs).

Je pense que nos grandes méconnaissance du vivant sur ces nombreux point sont quelque chose de plus significatif.
Le soucis de la vision mécanisme , ce n'est pas tant pour moi que le vivant n'est pas une "machine" , mais que nous la voyant comme des rouages qui ont chaqu'un leur propre mécanisme indépendant, comme une voiture qu'on pourrait changer de pièce , et que chaque pièce étant totalement indépendant.
Ce qui conduit à la conclusion actuel que le cerveau c'est juste un "algorithme" en effaçant toute la partie vivante comme si cela n'avait aucun impact.

Alors que j'ai des forts doutes sur cette vision, au contraire, j'ai l'impression que chaque rouage du vivant partage plus ou moins les mêmes "mécanismes" mais en plus sont fortement dépendant entre elle.
Et le cerveau et la conscience en font partie intégrante de ce mécanisme entremelée.

[Invité]

Je ne suis pas biologiste , je parlais des neurones du cerveau , mais j'ai presque envie de dire "peu imposte" , ce que je voulais relevé était qu'un neurone est un peu plus complexe que la vision actuel qu'on en fait qui est une sorte de multriplication de matrice (IA) , avec de simple "entre sortie" multiple

Tout à fait, il ne suffit que de consulter l'entrée "microtubule" dans wikipedia (j'aime beaucoup la référence à la kinésine) et les récentes découvertes concernant la myéline (pour ma part, la chimérisation est une voie importante de l'agencement cellulaire du vivant), quoique cela ne nous renseigne pas vraiment sur l'agentivité à l’œuvre.

Ce qui conduit à la conclusion actuel que le cerveau c'est juste un "algorithme" en effaçant toute la partie vivante comme si cela n'avait aucun impact.

Alors que j'ai des forts doutes sur cette vision, au contraire, j'ai l'impression que chaque rouage du vivant partage plus ou moins les mêmes "mécanismes" mais en plus sont fortement dépendant entre elle.
Et le cerveau et la conscience en font partie intégrante de ce mécanisme entremelée.

Comme une interdépendance des phénomènes ? Ce qui pourrait constituer un pas vers l'intégration de l'agentivité en question et court-circuiter la réification technologique (nécessaire à une configuration de type IoT cela dit) : il manque encore quelque chose disons "de plus rentable que la rentabilité elle-même", peut-être quelque chose de ... vital ?

[Kannagi]

Comme une interdépendance des phénomènes ? Ce qui pourrait constituer un pas vers l'intégration de l'agentivité en question et court-circuiter la réification technologique (nécessaire à une configuration de type IoT cela dit) : il manque encore quelque chose disons "de plus rentable que la rentabilité elle-même", peut-être quelque chose de ... vital ?

Ce n'est pas trop compris , et qu’appeler vous "quelque chose de vital ? quel en serait sa forme ?

[Invité]

Agencement, agentivité, génétique, épigénétique, etc. : il s'agit de recontextualiser en fait, sortir du laboratoire (quand bien même celui-ci est installé à ciel ouvert parfois) et "s'approprier" les dynamismes plutôt que les "choses".

qu’appeler vous "quelque chose de vital ? quel en serait sa forme ?

En substance et au vu de ce vers quoi les humains convergent, qui est pour le moins toxique, un risque d'extinction de l'espèce (cf. les expériences de cloaque comportemental : des "répliques" d'un séisme de dépopulation de masse amenant finalement l'extinction de la population toute entière).

[Invité]

J'ajoute :
La surabondance de données disponibles (qu'elles soient vraies, fausses, vraies et fausses, ni vraies et ni fausses - tétralemme nagarjunien pour l'au-delà d'une dualité complètement dépassée en regard des capacités qu'offre un outil d'intellection algorithmique ouvert -) génère un effet distanciateur et dissociateur comme l'hyperréalisme graphique ou la photographie par exemple (testé hier avec un individu lambda), qui empêche, à proprement parler de "voir".

Voir quoi ? Que c'est en train de se produire (cloaque comportemental) à tout le moins sur le plan de l'intellect (que nous pouvons dissocier du reste, n'est-ce-pas ?).

Ce qui nous différencie (dans cet échange) est que ce que vous appelez "conscience" (que je qualifie "d'effet" - consciousness effect -, de notre présence -awareness - au "monde") comme étant un fait du vivant est, de mon point de vue, non une probabilité (sans doute parce que cela est mesurable) mais une certitude (rien à mesurer).
Je vais même au-delà : l'intelligence est le fait même du vivant, de son expression (nous sommes des expressions du vivant parmi d'autres)

[Kannagi]

J'ajoute :
Je vais même au-delà : l'intelligence est le fait même du vivant, de son expression (nous sommes des expressions du vivant parmi d'autres)

C'est ce que j'ai dit sur un de mes premier messages
La plus grosse erreur est d'avoir séparé la conscience du vivant, ce qui est sur , c'est qu’on n'en saura rien de notre vivant vu cette mode de "l'ia" et la fable qu'un ordinateur créera une conscience.

Mon avis est que la conscience a "hérité" des processus du vivant , je pense qu'il y'a forcément des processus "similaire" en amont, ce n'est pas un processus qui est "spontané" et "singulier" du cerveau.

[Stéphane le calme]

Les entreprises de la tech s'attaquent au projet de loi californien incluant la création d’un « interrupteur d’arrêt »
pour désactiver leurs modèles d’IA les plus puissants

Les géants de l’intelligence artificielle en Californie sont montés au créneau contre un projet de loi de l’État qui imposerait aux entreprises technologiques de se conformer à un cadre de sécurité strict, incluant la création d’un « interrupteur d’arrêt » pour désactiver leurs modèles d’IA les plus puissants. Cette proposition législative, qui a suscité une vive réaction de la part des poids lourds de la Silicon Valley, soulève des questions cruciales sur l’équilibre entre l’innovation et la sécurité dans le domaine de l’IA.

Le 7 février 2024, le Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act (SB 1047) a été présenté au Sénat californien. Le projet de loi vise à imposer une diligence raisonnable, des tests et des conclusions supplémentaires pour certains modèles d'intelligence artificielle couverts avant leur utilisation commerciale, publique ou à grande échelle.

La proposition de loi impose aux développeurs de systèmes d'intelligence artificielle de s'assurer que leurs modèles ne possèdent pas de capacités dangereuses, telles que la création d'armes biologiques ou nucléaires ou l'aide aux attaques de cybersécurité. Le projet de loi, qui a déjà été adopté par le Sénat de l'État le 21 mai 2024 et devrait être soumis au vote de l'assemblée générale en août, exige également des développeurs qu'ils rendent compte de leurs tests de sécurité et qu'ils mettent en place un « interrupteur d'arrêt » pour désactiver leurs modèles en cas de besoin.

Le projet de loi vise les grandes start-ups d'IA comme OpenAI, Anthropic et Cohere, ainsi que les grands modèles de langage des géants de la technologie tels que Meta. Le sénateur démocrate de l'État, Scott Wiener, qui a présenté le projet de loi, a souligné la nécessité de mesures de sécurité proactives en déclarant : « Fondamentalement, je souhaite que l'IA réussisse et que l'innovation se poursuive, mais essayons d'anticiper tout risque en matière de sécurité ». Il a décrit le projet de loi comme une mesure « légère » visant à garantir des évaluations de sécurité de base et l'atténuation des risques.

L'opposition de l'industrie

La proposition de loi a suscité une vive opposition de la part de l'industrie technologique, en particulier dans la Silicon Valley. Ses détracteurs estiment qu'elle pourrait étouffer l'innovation et pousser les jeunes pousses de l'IA à quitter la Californie. Andrew Ng, éminent informaticien et membre du conseil d'administration d'Amazon, a critiqué le projet de loi en déclarant : « Si quelqu'un voulait élaborer des réglementations pour étouffer l'innovation, il pourrait difficilement faire mieux. Il crée des responsabilités massives pour des risques de science-fiction, et alimente ainsi la peur chez tous ceux qui osent innover ».

Arun Rao, chef de produit pour l'IA générative chez Meta, a également fait part de ses inquiétudes, qualifiant le projet de loi « d'irréalisable » et avertissant qu'il pourrait « mettre fin à l'open source en [Californie] ». Il a ajouté que l'impact économique pourrait être substantiel, coûtant potentiellement des milliards lorsque les entreprises et les travailleurs hautement rémunérés quitteront l'État.

Malgré les réactions négatives, Wiener reste attaché au projet de loi, déclarant : « Il s'agit du secteur technologique, qui n'aime pas les réglementations, et je ne suis donc pas du tout surpris qu'il y ait des réactions négatives ». Il a également fait part de son intention d'amender le projet de loi afin d'en clarifier le champ d'application, notamment en exemptant les modèles open source de l'obligation de « kill switch » et en limitant l'application du projet de loi aux grands modèles dont la formation a coûté au moins 100 millions de dollars.

Scott Wiener, législateur démocrate au Sénat de l'État de Californie, propose une législation visant à réglementer l'IA

Un contexte réglementaire plus large

Le débat sur la réglementation de l'IA ne se limite pas à la Californie. Les gouvernements du monde entier s'efforcent de gérer les progrès rapides de la technologie de l'IA. En octobre, le président américain Joe Biden a publié un décret visant à établir de nouvelles normes en matière de sûreté de l'IA et de sécurité nationale, à protéger les citoyens contre les risques d'atteinte à la vie privée liés à l'IA et à lutter contre la discrimination algorithmique. Le gouvernement britannique a également présenté des projets de réglementation de l'IA, et l'Union européenne a adopté une législation complète visant à mettre en place des garde-fous pour cette technologie.

Edward Snowden, le lanceur d'alerte qui a révélé les programmes de surveillance mondiale du gouvernement américain, s'est exprimé sur la question lors d'un appel vidéo à l'occasion de l'événement SuperAI à Singapour. Il a mis en garde contre une réglementation excessive en déclarant : « Nous assistons à la naissance d'un enfant doté d'une technologie entièrement nouvelle, et nous voyons déjà les loups-garous commencer à tourner en rond. » Snowden s'est dit préoccupé par le fait que les efforts de réglementation pourraient étouffer le potentiel de l'IA, ajoutant : « La panique liée à la sécurité de l'IA en général est quelque chose qui me pose problème. »

Le président américain Joe Biden a présenté en octobre un décret visant à établir de nouvelles normes en matière de sûreté de l'IA et de sécurité nationale, à protéger les citoyens contre les risques d'atteinte à la vie privée liés à l'IA et à lutter contre la discrimination algorithmique. En avril, le gouvernement britannique a fait part de son intention d'élaborer une nouvelle législation pour réglementer l'IA.

La croissance rapide et l'énorme potentiel de l'IA ont suscité des inquiétudes quant à la sécurité de cette technologie. L'année dernière, le milliardaire Elon Musk, investisseur de la première heure dans la société OpenAI, productrice de ChatGPT, l'a qualifiée de « menace existentielle » pour l'humanité. Cette semaine, un groupe d'anciens et d'actuels employés d'OpenAI a publié une lettre ouverte dans laquelle ils avertissent que les « entreprises d'IA pionnières » ne sont pas suffisamment surveillées par les gouvernements et qu'elles posent de « graves risques » pour l'humanité.

Le projet de loi californien a été coparrainé par le Center for AI Safety (CAIS), une organisation à but non lucratif basée à San Francisco et dirigée par l'informaticien Dan Hendrycks, qui est le conseiller en matière de sécurité de xAI, la start-up de Musk spécialisée dans l'IA. Le CAIS entretient des liens étroits avec le mouvement de l'altruisme efficace, qui a été rendu célèbre par Sam Bankman-Fried, un dirigeant de crypto-monnaie emprisonné.

Pourtant, fin mai, les entreprises de la tech se sont accordées sur la mise en place d'un « interrupteur d'arrêt » de l'IA

Il n'est pas question de remettre l'IA dans la boîte de Pandore, mais les plus grandes entreprises d'IA du monde collaborent volontairement avec les gouvernements pour répondre aux plus grandes craintes liées à cette technologie et apaiser les inquiétudes selon lesquelles le développement incontrôlé de l'IA pourrait conduire à des scénarios de science-fiction dans lesquels l'IA se retournerait contre ses créateurs. Toutefois, sans dispositions juridiques strictes renforçant les engagements des gouvernements en matière d'IA, les conversations n'iront pas plus loin.

En mai, 16 entreprises d'IA influentes, dont Anthropic, Microsoft et OpenAI, 10 pays et l'UE se sont réunis lors d'un sommet à Séoul pour définir des lignes directrices sur le développement responsable de l'IA. L'un des principaux résultats du sommet est que les entreprises d'IA présentes se sont mises d'accord sur ce que l'on appelle un « kill switch », c'est-à-dire une politique selon laquelle elles arrêteraient le développement de leurs modèles d'IA les plus avancés s'ils étaient considérés comme ayant franchi certains seuils de risque. Il est toutefois difficile de savoir si cette politique est réellement efficace, étant donné qu'elle n'est pas assortie d'un poids juridique réel ou qu'elle ne définit pas de seuils de risque spécifiques. De plus, les autres entreprises d'IA non présentes, ou concurrentes de celles qui ont accepté les termes de l'accord dans l'esprit, ne seraient pas soumises à l'engagement.

« À l'extrême, les organisations s'engagent à ne pas développer ou déployer un modèle ou un système si des mesures d'atténuation ne peuvent pas être appliquées pour maintenir les risques en dessous des seuils », peut-on lire dans le document d'orientation signé par les entreprises d'IA, dont Amazon, Google et Samsung.

Cette décision contraste avec les débats en Californie qui, contrairement à ceux du sommet de Séoul, pourraient devenir contraignant si la proposition venait à devenir loi.

Conclusion

Le débat autour du projet de loi californien sur l’interrupteur d’arrêt d’urgence pour l’IA met en lumière les défis auxquels sont confrontés les législateurs et l’industrie de l’IA. Alors que la sécurité est une préoccupation légitime, il est essentiel de trouver un terrain d’entente qui permette à l’innovation de prospérer tout en protégeant la société contre les risques potentiels de l’IA.

Sources : SB 1047: Safe and Secure Innovation for Frontier Artificial Intelligence Models Act, FT

Et vous ?

Quelle est votre opinion sur l’obligation d’intégrer un « interrupteur d’arrêt » dans les systèmes d’IA ? Est-ce une mesure de précaution nécessaire ou une entrave à l’autonomie des technologies d’IA ?
Qu'est-ce qui peut, selon vous, expliquer le fait que les entreprises s'accordent pour intégrer un « interrupteur d'arrêt » lorsque cette décision n'est pas contraignante juridiquement, mais s'oppose farouchement à cette possibilité qui pourrait être ancrée dans la loi californienne ?
Comment les entreprises d’IA devraient-elles réagir face à des régulations qui pourraient limiter leur capacité d’innovation ?
Pensez-vous que le gouvernement devrait avoir le pouvoir de désactiver des systèmes d’IA, et dans quelles circonstances cela serait-il justifié ?
Quel impact pensez-vous que de telles lois auront sur l’avenir de l’industrie technologique en Californie et à l’échelle mondiale ?
Les craintes concernant les « capacités dangereuses » des IA sont-elles justifiées selon vous ? Quels seraient les risques et les avantages d’une telle technologie ?
En matière de sécurité des IA, quel rôle les citoyens devraient-ils jouer pour influencer les décisions législatives ?

[marsupial]

Je ne savais pas le 6 juin lorsque j'ai posté ceci :Mon avis sur le remplacement des emplois par l'IA que les entreprises technologiques de la Silicon Valley allaient faire du lobbying au près des sénateurs californiens pour empêcher le kill switch lors de certains résultats de l'IA. Oui l'IA américaine va devenir dangereuse à cause de ses hallucinations que nous ne pourrons détecter puisque inaccessibles à la compréhension humaine à la différence de certaines IA européennes qui resteront explicables et plus intelligentes que les IA américaines et chinoises.

[Jules34]

Je ne savais pas le 6 juin lorsque j'ai posté ceci :[URL="https://www.developpez.net/forums/d2146262-2/general-developpement/algorithme-mathematiques/intelligence-artificielle/penser-l-ia-creera-utopie-laquelle-n-aurions-travailler-d-naivete-inouie/#post12027851"]l'IA américaine va devenir dangereuse à cause de ses hallucinations que nous ne pourrons détecter puisque inaccessibles à la compréhension humaine à la différence de certaines IA européennes qui resteront explicables et plus intelligentes que les IA américaines et chinoises.

J'ai peur qu'on ai juste les même IA que les américains mais avec un vernis par dessus, comme le RGPD, qui ne sert à rien si ce n'est faire du bullshit job en dessous de la couche logicielle américaine qui au final pompe toute les données possibles et imaginables, rgpd ou pas.

[Anthony]

Elon Musk prévoit "10 à 20 % de risques" de catastrophe mondiale due à l'IA, mais le plus probable serait l'abondance, avec des biens et des services disponibles pour tous, et où travailler deviendrait inutile

Elon Musk a prédit un risque de catastrophe lié à l'IA de l'ordre de "10 à 20 %". Il a également insisté sur la liberté d'expression face aux demandes de censure de la part des annonceurs.

Elon Reeve Musk est un homme d'affaires et un investisseur connu pour ses rôles clés dans la société spatiale SpaceX et la société automobile Tesla, Inc. Il est également propriétaire de X Corp, anciennement Twitter, et a participé à la création de The Boring Company, xAI, Neuralink et OpenAI. Il est l'une des personnes les plus riches du monde ; en juin 2024, Forbes estime sa valeur nette à 214 milliards de dollars américains.

M. Musk, qui s'exprimait le mercredi 19 juin lors de la cérémonie des Lions de Cannes, a déclaré : « Je suis plutôt d'accord avec Geoff Hinton, l'un des parrains de l'IA, qui pense qu'il y a une probabilité de 10 à 20 % que quelque chose de terrible se produise. »

Musk n'a pas précisé ce qu'il entendait par "terrible", ajoutant plutôt : « Le verre est plein à 80 %. Il faut voir le bon côté des choses. »

Il poursuit : « Je pense que le résultat le plus probable est celui de l'abondance, où les biens et les services sont disponibles pour tout le monde. Il n'y a pas de pénurie pour chacun d'entre nous. Ce serait une randonnée universelle. Le travail serait facultatif ».

Il ajoute que cela pourrait entraîner « une crise de sens ».

« Si l'IA peut faire tout ce que vous pouvez faire, mais en mieux, à quoi bon faire les choses ? Je pense qu'il y aura une crise existentielle », a déclaré le propriétaire de X.

Parlant du "pire scénario" - l'anéantissement possible de l'homme par l'IA, Musk s'est interrogé : « Voudrais-je être là pour le voir ? Probablement, oui. »

Il a déclaré que nous vivions « la période la plus intéressante de l'histoire » et l'a répété à la fin devant un auditorium bondé, en disant à la salle : « Profitez du voyage. »

M. Musk s'est entretenu aux Lions de Cannes avec Mark Read, PDG de WPP, pour un vaste débat sur des sujets tels que le pouvoir de transformation de l'innovation technologique, la manière dont l'IA remodèle la créativité, le monde des affaires et la société, ainsi que l'avenir de sa plateforme de médias sociaux.

Doubler d'intensité sur la liberté d'expression

Il a réaffirmé son engagement en faveur de la liberté d'expression sur sa plateforme X, à la suite de batailles antérieures avec des annonceurs sur des questions de sécurité de la marque.

Musk a semblé heureux d'entrer dans la fosse aux lions des annonceurs, où il a été interrogé sur scène au sujet de son commentaire de novembre dernier selon lequel « les annonceurs peuvent aller se faire voir ».

Il a déclaré que sa remarque n'avait pas pour but de « cibler les annonceurs dans leur ensemble », ajoutant : « Je pense qu'il est important d'avoir une plateforme de liberté d'expression où des personnes de tous horizons peuvent exprimer leur point de vue. Dans certains cas, des annonceurs ont insisté sur la censure. S'il faut choisir entre la censure et l'argent et la liberté d'expression et la perte d'argent, nous choisirons la deuxième solution. »

Il poursuit : « Les annonceurs ont le droit d'apparaître à côté de contenus compatibles avec leurs marques, c'est tout à fait normal, mais ce qui n'est pas normal, c'est d'insister pour qu'il n'y ait pas de contenus avec lesquels ils ne sont pas d'accord sur la plateforme... La liberté d'expression est le fondement de la démocratie et pour que X soit la place publique du monde, elle doit être une plateforme de liberté d'expression - dans les limites de la loi. Je pense qu'il est impératif que les gens aient le droit de s'exprimer. »

À la question de savoir si, en tant que patron de X, il regrettait certains de ses propres commentaires sur la plateforme dans le passé, Musk a répondu : « Je me tire une balle dans le pied de temps en temps, mais au moins vous savez que c'est authentique, pas une sorte de relations publiques. Si vous parlez librement, il y aura des moments où vous serez stupide, bien sûr, mais si vous passez constamment par un filtre, vous n'êtes pas réel, alors je suppose qu'il vaut mieux être réel que de passer par un filtre ».

Il a souligné qu'il pensait que la plateforme restait le meilleur moyen pour quiconque dans le monde d'atteindre non seulement les influenceurs, mais aussi les "intellectuels".

« Si vous voulez atteindre les personnes les plus influentes du monde, pas seulement les influenceurs des médias sociaux, mais en fait (ceux) qui dirigent des entreprises, des pays, et les intellectuels du monde, les gens qui écrivent, la plateforme X est de loin la meilleure », a-t-il déclaré. « C'est presque le seul moyen d'atteindre ces personnes. Ils ne regardent pas la télévision, ils ne font pas de vidéos TikTok. X est plus petite que les autres plateformes de médias sociaux, mais ce sont les personnes les plus influentes au monde, donc si vous voulez les atteindre, c'est le meilleur endroit pour le faire. »

À l'approche des élections présidentielles américaines, M. Musk a déclaré qu'il accueillerait volontiers tout débat sur la plateforme X. Il ne s'est toutefois pas penché sur la discussion politique, se contentant de dire que « cela va être intéressant ».

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Pour Elon Musk l'IA est bien plus dangereuse que l'arme nucléaire, alors que Bill Gates estime que l'IA est à la fois porteuse d'espoir et dangereuse

Elon Musk considère l'IA comme un risque fondamental pour l'existence de la civilisation humaine et sa colonisation de Mars comme un plan de secours

[_toma_]

Je pense que le résultat le plus probable est celui de l'abondance, où les biens et les services sont disponibles pour tout le monde. Il n'y a pas de pénurie pour chacun d'entre nous. Ce serait une randonnée universelle. Le travail serait facultatif

Encore un qui a bien suivi ses cours d'économie et qui est pas foutu de comprendre qu'une croissance infinie dans un monde fini est impossible. Mais comment font tous les "grands" de notre monde pour sombrer dans ce schéma de pensées qu'un enfant de 7 ans trouverait louche ?

Si l'IA peut faire tout ce que vous pouvez faire, mais en mieux, à quoi bon faire les choses ? Je pense qu'il y aura une crise existentielle

Merci l'IA qui fait les vidanges, débouche les WC, brasse la bière et coupe des arbres pour en faire du PQ.
Est-ce qu'il a une armée de serviteurs pour à ce point oublier que le quotidien n'est pas exclusivement constitué d'ordinateurs ?

[kain_tn]

Encore un qui a bien suivi ses cours d'économie et qui est pas foutu de comprendre qu'une croissance infinie dans un monde fini est impossible. Mais comment font tous les "grands" de notre monde pour sombrer dans ce schéma de pensées qu'un enfant de 7 ans trouverait louche ?


Merci l'IA qui fait les vidanges, débouche les WC, brasse la bière et coupe des arbres pour en faire du PQ.
Est-ce qu'il a une armée de serviteurs pour à ce point oublier que le quotidien n'est pas exclusivement constitué d'ordinateurs ?

Il nous prend juste pour des abrutis. L'homme le plus riche du monde perdrait tout son pouvoir, s'il n'y avait plus besoin de travailler pour vivre.

[Ryu2000]

Il poursuit : « Je pense que le résultat le plus probable est celui de l'abondance, où les biens et les services sont disponibles pour tout le monde. Il n'y a pas de pénurie pour chacun d'entre nous. Ce serait une randonnée universelle. Le travail serait facultatif ».

Mais oui, on va être 8 milliards à avoir un bon niveau de vie, chacun aura sa maison (neuve, bien isolé, avec une grosse climatisation), sa voiture électrique, son smartphone, son PC de bureau, chaque année chaque personne prendra l'avion pour prendre des vacances loin de chez elle

Le gars doit être au courant qu'il ment, c'est impossible d'y croire. Ou il omet des étapes.
Si il n'y avait que 500 millions d'humains ce serait peut-être possible. (Georgia Guidestones)

[Jules34]

(promis je vais recycler ma blague )

[vanquish]

On a bien vu avec la robotisation des usines.
Les ouvriers n'ont plus eu besoin de travailler. Mais pas certains qu'ils aient été dans l'abondance du coup.
Comment ce populiste peut-ils avoir autant de fan ?

[Stéphane le calme]

Google, OpenAI et d'autres s'opposent au projet de loi californien SB 1047 visant à réguler le développement de l'IA
arguant qu’il pourrait freiner l’innovation

Un projet de loi en Californie, visant à réguler le développement des modèles d’intelligence artificielle (IA), a déclenché une vive controverse à Silicon Valley. Le projet de loi SB 1047, également connu sous le nom de “Safe and Secure Innovation for Frontier Artificial Intelligence Models Act”, propose des mesures strictes pour garantir la sécurité des modèles d’IA avancés. Cependant, des géants de la technologie comme Google et OpenAI s’y opposent fermement, arguant qu’il pourrait freiner l’innovation.

Le projet de loi sur la sécurité de l'IA, SB 1047, imposerait davantage de responsabilités à tout développeur dépensant plus de 100 millions de dollars pour construire un modèle d'IA. Les exigences comprennent des tests de sécurité, la mise en œuvre de mesures de protection et la possibilité pour le procureur général de l'État de prendre des mesures à l'encontre du développeur de tout modèle d'IA qui cause un « préjudice grave », tel que des pertes massives ou des incidents entraînant des dommages d'une valeur de 500 millions de dollars ou plus.

Les entreprises doivent accepter de se soumettre à des audits par des tiers et mettre en place un dispositif permettant de désactiver la technologie à tout moment. Le projet de loi propose également des protections pour les dénonciateurs.

Le sénateur de l'État de Californie Scott Wiener, coauteur du projet de loi, a accusé certains opposants de « semer la peur » pour tenter d'empêcher l'adoption de la législation de l'État.

« Il y a eu beaucoup de drames, de déclarations dramatiques et d'inexactitudes de la part de certains opposants », a déclaré Wiener. « Les grands laboratoires se sont engagés à plusieurs reprises et de manière véhémente à effectuer des évaluations de la sécurité de leurs grands modèles, et c'est ce que ce projet de loi exige. Il s'agit de prendre un engagement volontaire et de le rendre obligatoire ».

OpenAI entre dans la danse

OpenAI a critiqué le projet de loi qui vise à garantir que l'intelligence artificielle puissante soit déployée en toute sécurité et a suggéré que de nouveaux contrôles menaceraient sa croissance dans l'État, se joignant à une frénésie de lobbying de dernière minute par les investisseurs et les groupes d'IA pour bloquer la législation.

Le projet de loi SB 1047 menace « le statut unique de la Californie en tant que leader mondial de l'intelligence artificielle », a écrit Jason Kwon, directeur de la stratégie de l'entreprise, dans une lettre adressée à Scott Wiener, le sénateur de l'État de Californie à l'origine du projet de loi. Il ajoute que cela pourrait « ralentir le rythme de l'innovation et inciter les ingénieurs et les entrepreneurs californiens de classe mondiale à quitter l'État à la recherche de meilleures opportunités ailleurs ».

Le projet de loi SB 1047 a divisé la Silicon Valley. Si la nécessité de limiter les risques liés aux nouveaux modèles d'IA puissants est largement admise, les critiques ont fait valoir que les propositions de Wiener étoufferaient les start-ups, profiteraient aux rivaux américains et compromettraient la position centrale de la Californie dans l'essor de l'IA.

OpenAI est la dernière start-up à s'opposer à des éléments du projet de loi, et la plus importante, en grande partie grâce à la popularité de son chatbot ChatGPT et à un engagement de 13 milliards de dollars de la part de son partenaire Microsoft. OpenAI soutient les dispositions visant à garantir que les systèmes d'IA sont développés et déployés en toute sécurité, mais affirme dans la lettre que la législation devrait venir du gouvernement fédéral, et non des États individuels.

Un projet de loi « bien intentionné mais mal informé », selon Nancy Pelosi

Dans une réponse mercredi, Wiener a souligné qu'OpenAI ne « critique pas une seule disposition du projet de loi ». Il ajoute que l'affirmation de la société selon laquelle les entreprises quitteront la Californie à cause du SB 1047 « n'a aucun sens étant donné que le SB 1047 n'est pas limité aux entreprises ayant leur siège en Californie ». En effet, le projet de loi SB 1047 concerne tous les développeurs de modèles d'IA qui exercent leurs activités en Californie et qui atteignent certains seuils de taille. En d'autres termes, qu'une entreprise d'IA soit basée à San Jose ou à San Antonio, si elle laisse les Californiens utiliser ses produits, elle sera soumise à ces restrictions.

Wiener a également déclaré qu'il était d'accord pour que le gouvernement fédéral prenne l'initiative, mais qu'il était « sceptique » quant à la volonté du Congrès d'agir. Il a également critiqué « l'argument éculé » selon lequel les jeunes entreprises technologiques se délocaliseraient si le projet de loi était adopté et a déclaré que les entreprises basées en dehors de l'État devraient toujours se conformer au projet de loi pour faire des affaires au niveau local.

L'assemblée de l'État de Californie devrait voter sur le projet de loi d'ici la fin de la semaine. S'il est adopté, le gouverneur Gavin Newsom décidera alors de la signer ou d'y opposer son veto.

Les groupes technologiques et les investisseurs de la Silicon Valley, dont Anthropic, Andreessen Horowitz et YCombinator, ont intensifié leur campagne de lobbying contre les propositions de Wiener en faveur d'un cadre de sécurité strict. Nancy Pelosi, ancienne présidente de la Chambre des représentants et représentante de la Californie, a également publié la semaine dernière une déclaration d'opposition au projet de loi, le qualifiant de « bien intentionné mais mal informé ».

Parmi les éléments les plus controversés des propositions initiales du sénateur figuraient l'obligation pour les entreprises d'IA de garantir à un nouvel organisme public qu'elles ne développeront pas de modèles dotés d'une « capacité dangereuse » et de créer un « interrupteur d'arrêt » pour désactiver leurs modèles puissants.

Les opposants ont affirmé que le projet de loi se concentrait sur des risques hypothétiques et ajoutait un risque de responsabilité « extrême » pour les fondateurs.

Le soutien au projet de loi

La semaine dernière, le projet de loi a été modifié pour assouplir certaines de ces exigences, notamment en limitant les responsabilités civiles qu'il avait initialement imposées aux développeurs d'IA et en réduisant le champ d'application de ces règles.

Toutefois, les critiques affirment que le projet de loi impose toujours aux jeunes entreprises des exigences onéreuses et parfois irréalistes. Lundi, Anna Eshoo et Zoe Lofgren, membres de la Chambre des représentants des États-Unis, ont écrit dans une lettre à Robert Rivas, président de l'assemblée californienne, qu'il y avait « encore des problèmes substantiels avec la structure sous-jacente du projet de loi », appelant plutôt à « se concentrer sur les règles fédérales pour contrôler les outils physiques nécessaires à la création de ces menaces physiques ».

Malgré les critiques formulées par d'éminents universitaires spécialisés dans l'IA, tels que Fei-Fei Li et Andrew Ng, de Stanford, qui ont dirigé des projets d'IA chez Google (Alphabet) et Baidu (Chine), le projet de loi a reçu le soutien de certains « parrains de l'IA », tels que Geoffrey Hinton, de l'université de Toronto, et Yoshua Bengio, professeur d'informatique à l'université de Montréal.

« En résumé, le SB 1047 est un projet de loi très raisonnable : SB 1047 est un projet de loi très raisonnable qui demande aux grands laboratoires d'IA de faire ce qu'ils se sont déjà engagés à faire, à savoir tester leurs grands modèles pour détecter les risques de sécurité catastrophiques », a écrit Wiener mercredi.

Lundi, Elon Musk (propriétaire de la grande entreprise de modèles d'IA xAI) s'est prononcé en faveur du projet de loi, en postant sur X « C'est une décision difficile et qui va contrarier certaines personnes, mais, tout bien considéré, je pense que la Californie devrait probablement adopter le projet de loi SB 1047 sur la sécurité de l'IA. Depuis plus de 20 ans, je plaide en faveur d'une réglementation de l'IA, tout comme nous réglementons tout produit/technologie présentant un risque potentiel pour le public ».

This is a tough call and will make some people upset, but, all things considered, I think California should probably pass the SB 1047 AI safety bill.

For over 20 years, I have been an advocate for AI regulation, just as we regulate any product/technology that is a potential risk…

— Elon Musk (@elonmusk) August 26, 2024

Un équilibre délicat

Le débat autour du projet de loi SB 1047 met en lumière le défi de trouver un équilibre entre la promotion de l’innovation et la garantie de la sécurité. Alors que certains voient dans ce projet de loi une menace pour l’innovation, d’autres y voient une étape cruciale pour prévenir les risques potentiels associés à l’IA. Les partisans du projet de loi soutiennent que sans régulation, les modèles d’IA pourraient causer des dommages irréparables, tant sur le plan individuel que sociétal.

Un contexte réglementaire plus large

Le débat sur la réglementation de l'IA ne se limite pas à la Californie. Les gouvernements du monde entier s'efforcent de gérer les progrès rapides de la technologie de l'IA. En octobre, le président américain Joe Biden a publié un décret visant à établir de nouvelles normes en matière de sûreté de l'IA et de sécurité nationale, à protéger les citoyens contre les risques d'atteinte à la vie privée liés à l'IA et à lutter contre la discrimination algorithmique. Le gouvernement britannique a également présenté des projets de réglementation de l'IA, et l'Union européenne a adopté une législation complète visant à mettre en place des garde-fous pour cette technologie.

Edward Snowden, le lanceur d'alerte qui a révélé les programmes de surveillance mondiale du gouvernement américain, s'est exprimé sur la question lors d'un appel vidéo à l'occasion de l'événement SuperAI à Singapour. Il a mis en garde contre une réglementation excessive en déclarant : « Nous assistons à la naissance d'un enfant doté d'une technologie entièrement nouvelle, et nous voyons déjà les loups-garous commencer à tourner en rond. » Snowden s'est dit préoccupé par le fait que les efforts de réglementation pourraient étouffer le potentiel de l'IA, ajoutant : « La panique liée à la sécurité de l'IA en général est quelque chose qui me pose problème. »

La croissance rapide et l'énorme potentiel de l'IA ont suscité des inquiétudes quant à la sécurité de cette technologie. L'année dernière, le milliardaire Elon Musk, investisseur de la première heure dans la société OpenAI, productrice de ChatGPT, l'a qualifiée de « menace existentielle » pour l'humanité. Plus tôt cette année, un groupe d'anciens et d'actuels employés d'OpenAI a publié une lettre ouverte dans laquelle ils avertissent que les « entreprises d'IA pionnières » ne sont pas suffisamment surveillées par les gouvernements et qu'elles posent de « graves risques » pour l'humanité.

Sources : le sénateur répond aux préoccupations d'OpenAI, vidéo dans le texte, Nancy Pelosi, lettre ouverte d'Anthropic

Et vous ?

Pensez-vous que les mesures de sécurité proposées dans le projet de loi sont suffisantes pour prévenir les risques liés à l’IA ? Pourquoi ou pourquoi pas ?
Comment les startups et les petites entreprises peuvent-elles s’adapter aux exigences du projet de loi sans compromettre leur capacité à innover ?
Selon vous, quelles pourraient être les conséquences à long terme de l’absence de régulation stricte de l’IA ?
Le projet de loi pourrait-il inspirer d’autres États ou pays à adopter des régulations similaires ? Quels en seraient les impacts ?
Comment équilibrer la nécessité de réguler l’IA pour garantir la sécurité tout en favorisant l’innovation technologique ?
Quels autres aspects de l’IA devraient être pris en compte dans les régulations futures ?
Pensez-vous que les grandes entreprises technologiques ont trop d’influence sur les décisions politiques concernant l’IA ? Pourquoi ou pourquoi pas ?

[Jade Emy]

Le projet de loi controversé sur l'IA en Californie est adopté par l'assemblée législative et attend la signature du gouverneur, alors que Google et OpenAI s'y opposent fermement

Le projet de loi controversé sur l'IA en Californie prévoit des tests de sécurité pour les modèles d'IA avancés. Il a été adopté par l'assemblée législative et doit maintenant être signé par le gouverneur de Californie. Les entreprises technologiques, notamment Google, Meta et OpenAI, s'y opposent largement, arguant qu'il pourrait freiner l'innovation.

Un projet de loi en Californie, visant à réguler le développement des modèles d’intelligence artificielle (IA), a déclenché une vive controverse à Silicon Valley. Le projet de loi, connu sous le nom de "Safe and Secure Innovation for Frontier Artificial Intelligence Models Act", propose des mesures strictes pour garantir la sécurité des modèles d’IA avancés. Le projet de loi imposerait davantage de responsabilités, notamment des tests de sécurité et la mise en œuvre de mesures de protection. Les entreprises doivent également accepter de se soumettre à des audits par des tiers.

Les législateurs californiens ont adopté ce projet de loi très controversé sur la sécurité de l'IA, qui devait encore faire l'objet d'un vote avant d'être remis entre les mains du gouverneur. Le gouverneur Gavin Newsom a jusqu'au 30 septembre pour décider de le promulguer ou d'y opposer son veto.

Les entreprises technologiques qui développent l'IA générative - capable de répondre à des messages sous forme de texte, d'images ou de sons entièrement formés et d'exécuter des tâches répétitives avec un minimum d'intervention - se sont largement opposées à cette loi, appelée SB 1047, estimant qu'elle pourrait pousser les entreprises d'IA à quitter l'État et à entraver l'innovation.

Certains démocrates du Congrès américain, dont la représentante Nancy Pelosi, s'y sont également opposés. Parmi les partisans de cette mesure figure le PDG de Tesla, Elon Musk, qui dirige également une entreprise d'IA appelée xAI et a déclaré qu'il soutenait le projet de loi.

La mesure impose des tests de sécurité pour un grand nombre des modèles d'IA les plus avancés dont le développement coûte plus de 100 millions de dollars ou qui nécessitent une quantité définie de puissance de calcul. Les développeurs de logiciels d'IA opérant dans l'État doivent également présenter des méthodes permettant de désactiver les modèles d'IA en cas de dérapage, ce qui revient à mettre en place un interrupteur d'arrêt.

Le projet de loi donne également au procureur général de l'État le pouvoir d'intenter des poursuites si les développeurs ne se conforment pas à la loi, en particulier en cas de menace permanente, par exemple si l'IA prend le contrôle de systèmes gouvernementaux tels que le réseau électrique. En outre, le projet de loi exige des développeurs qu'ils engagent des auditeurs tiers pour évaluer leurs pratiques en matière de sécurité et offre des protections supplémentaires aux dénonciateurs qui dénoncent les abus de l'IA.

L'auteur du projet de loi, le sénateur démocrate Scott Wiener, représente la ville de San Francisco, où se trouvent OpenAI et de nombreuses start-ups qui développent ce puissant logiciel. Il a déclaré qu'il était nécessaire de légiférer pour protéger le public avant que les progrès de l'IA ne deviennent trop lourds ou incontrôlables.

Martin Casado, associé général de la société de capital-risque Andreessen Horowitz, a déclaré avant le vote qu'il espérait que M. Newsom opposerait son veto. "Il s'agit de l'opposition la plus large et la plus bipartisane que j'aie jamais vue", a-t-il déclaré.

Google d'Alphabet, OpenAI, soutenu par Microsoft, et Meta Platforms ont exprimé leurs préoccupations dans des lettres adressées à M. Wiener. Anthropic, soutenu par Amazon, a déclaré que les avantages du projet de loi l'emportaient probablement sur les coûts, bien qu'il ait ajouté que certains aspects semblaient encore préoccupants ou ambigus.

Et vous ?

Pensez-vous que ce projet de loi est crédible ou pertinent ?
Quel est votre avis sur la suite de cette affaire ?

Voir aussi :

Le projet de loi californien sur l'IA menace-t-il l'innovation ou protège-t-il la société ? Google, Meta et OpenAI s'y opposent, arguant qu'il pourrait freiner l'innovation, tandis qu'Elon Musk le soutient

Les Big Tech (GAFAM) veulent réglementer l'IA, mais les autres entrepreneurs sont sceptiques. Selon eux leur réelle volonté serait juste de geler le marché de l'IA pour conserver leur monopole

AI Act : les nouvelles règles européennes en matière d'intelligence artificielle entrent en vigueur. L'objectif déclaré est d'encourager le développement et l'adoption de systèmes IA sûrs et fiables en UE

Exode chez OpenAI : près de la moitié du personnel chargé de la sécurité de l'AGI a quitté l'entreprise. Sam Altman, qui a réclamé une réglementation de l'IA, s'y oppose lorsqu'elle est implémentée

[Stéphane le calme]

Les États-Unis, le Royaume-Uni et l'Union européenne signent le premier traité juridiquement contraignant sur l'IA
visant à promouvoir le progrès tout en gérant les risques potentiels de l’IA

Dans une avancée historique pour la gouvernance mondiale de l’intelligence artificielle (IA), les États-Unis, le Royaume-Uni et l’Union Européenne ont signé le premier traité international juridiquement contraignant sur l’IA. Ce traité, élaboré sous l’égide du Conseil de l’Europe, vise à garantir que l’utilisation de l’IA respecte les droits de l’homme, la démocratie et l’état de droit.

Contexte et objectifs du traité

Le traité, signé le 5 septembre 2024 à Vilnius, en Lituanie, marque une étape cruciale dans la régulation de l’IA. Il s’agit de la première convention internationale qui impose des obligations légales aux signataires pour encadrer le cycle de vie complet des systèmes d’IA. L’objectif principal est de promouvoir le progrès et l’innovation tout en gérant les risques potentiels que l’IA peut poser aux droits de l’homme, à la démocratie et à l’état de droit.

« La Convention-cadre du Conseil de l’Europe sur l’intelligence artificielle et les droits de l’homme, la démocratie et l’État de droit est le premier instrument international juridiquement contraignant dans ce domaine. Elle vise à garantir que les activités menées dans le cadre du cycle de vie des systèmes d’intelligence artificielle sont pleinement compatibles avec les droits humains, la démocratie et l’État de droit, tout en étant propice au progrès et aux innovations technologiques.

« La Convention-cadre complémente les normes internationales existantes relatives aux droits humains, à la démocratie et à l’État de droit, et a pour but de palier à tout vide juridique qui pourrait résulter des avancées technologiques rapides. Afin de résister au temps, la Convention-cadre ne régule pas la technologie et est essentiellement neutre sur le plan technologique ».

Historic moment! The #CoE opens the first-ever legally binding global treaty on #AI and human rights.

Signed by EU 🇦🇩 🇬🇪 🇮🇸 🇳🇴🇲🇩🇸🇲 🇬🇧 🇮🇱 🇺🇸, this Framework Convention ensures AI aligns with our values.

#HumanRights #Innovation #Democracy #GlobalTreaty

— Council of Europe (@coe) September 5, 2024

Le premier traité international juridiquement contraignant sur l'IA

Les droits de l'homme, la démocratie et l'État de droit seront davantage protégés contre les menaces potentielles posées par l'intelligence artificielle (IA) en vertu d'un nouvel accord international. Le nouveau cadre adopté par le Conseil de l'Europe engage les parties à prendre des mesures collectives pour gérer les produits de l'IA et protéger le public d'une éventuelle utilisation abusive.

L'IA est susceptible d'apporter des avantages significatifs, tels que la stimulation de la productivité et l'augmentation des taux de détection du cancer. Toutefois, la nouvelle convention prévoit d'importantes mesures de protection contre les risques qu'elle comporte, tels que la diffusion de fausses informations ou l'utilisation de données biaisées susceptibles d'influer sur les décisions.

Le traité garantira que les pays surveillent son développement et que toute technologie soit gérée dans le cadre de paramètres stricts. Il comprend des dispositions visant à protéger le public et ses données, les droits de l'homme, la démocratie et l'État de droit. Il engage également les pays à prendre des mesures contre les activités qui ne respectent pas ces paramètres afin de lutter contre l'utilisation abusive des modèles d'IA qui présentent un risque pour les services publics et le grand public.

La Convention-cadre a été signée par Andorre, la Géorgie, l’Islande, la Norvège, la République de Moldova, Saint-Marin, le Royaume-Uni ainsi qu’Israël, les États-Unis d’Amérique et l’Union européenne.

« Nous devons faire en sorte que l’essor de l’intelligence artificielle se fasse au service et dans le respect de nos normes, et non pas à leur détriment. La Convention-cadre a été conçue dans cette optique. Ce texte solide et équilibré est le fruit de l’approche ouverte et inclusive qui a présidé à sa rédaction et qui a permis de s’assurer qu’il bénéficie des points de vue d’un vaste éventail de spécialistes. La Convention-cadre est un traité ouvert, de portée potentiellement mondiale. J’espère que ces signatures seront les premières d’une longue série et qu’elles seront rapidement suivies de ratifications, afin que le traité puisse entrer en vigueur dans les meilleurs délais » a déclaré la Secrétaire Générale du Conseil de l’Europe, Marija Pejčinović Burić.

Le traité établit un cadre juridique qui couvre l’ensemble du cycle de vie des systèmes d’intelligence artificielle. Il encourage le progrès et l’innovation dans ce domaine tout en atténuant les risques que l’IA peut poser pour les droits humains, la démocratie et l’État de droit. Pour résister à l’épreuve du temps, ce traité est neutre sur le plan technologique.

La Convention-cadre a été adoptée par le Comité des Ministres du Conseil de l’Europe le 17 mai 2024. Les 46 États membres du Conseil de l’Europe, l’Union européenne ainsi que 11 États non membres (l’Argentine, l’Australie, le Canada, le Costa Rica, les États-Unis d’Amérique, Israël, le Japon, le Mexique, le Pérou, le Saint-Siège et l’Uruguay) ont participé à la négociation du traité. Des représentant·es du secteur privé, de la société civile et du monde universitaire y ont contribué en qualité d’observateurs.

Le traité entrera en vigueur le premier jour du mois qui suit l’expiration d’une période de trois mois après la date à laquelle cinq signataires, dont au moins trois États membres du Conseil de l’Europe, l’auront ratifié. Les pays du monde entier pourront y adhérer et s’engager à en respecter les dispositions.

Quelles sont les obligations des états en vertu de la Convention-cadre ?

Les signataires du traité s’engagent à adopter ou à maintenir des mesures garantissant que l’utilisation de l’IA est conforme aux valeurs fondamentales de la société. Les principaux engagements incluent :

• Protection des droits de l’homme : Assurer que les données des individus sont utilisées de manière appropriée, que leur vie privée est respectée et que l’IA ne discrimine pas.
• Préservation de la démocratie : Prendre des mesures pour empêcher que les institutions et processus publics ne soient compromis par l’IA.
• Respect de l’état de droit : Réguler les risques spécifiques à l’IA, protéger les citoyens contre les dommages potentiels et garantir une utilisation sûre de la technologie

Il faut noter qu'il y a d'autres axes, notamment :

• des recours, droits procéduraux et garanties :
  
  • Documenter les informations pertinentes concernant les systèmes d’IA et leur utilisation, et les mettre à la disposition des personnes concernées ;
  • Les informations doivent être suffisantes pour permettre aux personnes concernées de contester la ou les décisions prises par le biais de l’utilisation du système ou fondées en grande partie sur celui-ci, et de contester l’utilisation du système lui-même ;
  • Possibilité effective de former un recours auprès des autorités compétentes ;
  • Mise à disposition des personnes affectées de garanties, de protections et de droits procéduraux effectifs lorsqu’un système d’intelligence artificielle a un impact significatif sur la jouissance des droits humains et des libertés fondamentales ;
  • Notification aux personnes concernées du fait qu’elles interagissent avec des systèmes d’intelligence artificielle et non avec un humain.
• des exigences en matière de gestion des risques et des impacts
  
  • Conduite d’évaluations des risques et des impacts, qu’ils soient réels ou potentiels sur les droits humains, la démocratie et l’État de droit, menées de manière itérative ;
  • Mise en place des mesures de prévention et d’atténuation suffisantes résultant de la mise en œuvre de ces évaluations ;
  • Possibilité pour les autorités d’instaurer un moratoire ou une interdiction pour certaines utilisations de systèmes d’IA (« lignes rouges »).

À qui s’applique la Convention-cadre ?

La Convention-cadre couvre l’utilisation des systèmes d’IA par les pouvoirs publics – y compris les acteurs privés qui agissent pour leur compte – et les acteurs privés.

La Convention-cadre offre aux Parties deux modalités pour se conformer à ses principes et obligations pour la régulation du secteur privé : elles peuvent choisir d’être directement obligées par les dispositions pertinentes de la Convention-cadre, ou de prendre d’autres mesures pour se conformer aux dispositions du traité tout en respectant pleinement leurs obligations internationales en matière de droits de l’homme, de démocratie et d’État de droit.

Les Parties à la Convention-cadre ne sont pas tenues d’appliquer les dispositions du traité aux activités liées à la protection de leurs intérêts de sécurité nationale, mais doivent veiller à ce que ces activités respectent le droit international et les institutions et processus démocratiques. La Convention-cadre ne s’applique pas aux questions de défense nationale ni aux activités de recherche et de développement, sauf lorsque les essais de systèmes d’intelligence artificielle risquent de porter atteinte aux droits de l’homme, à la démocratie ou à l’État de droit.

Réactions et perspectives

La signature de ce traité a été saluée comme une avancée majeure par de nombreux experts et responsables politiques. Marija Pejcinovic Buric, Secrétaire Générale du Conseil de l’Europe, a déclaré : « Nous devons nous assurer que l’essor de l’IA soutient nos normes, plutôt que de les saper ».

Le Lord Chancellor et secrétaire d'État à la justice, Shabana Mahmood, a déclaré :

« L'intelligence artificielle a la capacité d'améliorer radicalement la réactivité et l'efficacité des services publics et de donner un coup de fouet à la croissance économique.

« Cependant, nous ne devons pas laisser l'IA nous façonner - nous devons façonner l'IA.

« Cette convention est une étape importante pour garantir que ces nouvelles technologies puissent être exploitées sans éroder nos valeurs les plus anciennes, comme les droits de l'homme et l'État de droit ».

Cependant, certains observateurs ont exprimé des préoccupations quant à l’applicabilité et à l’efficacité des dispositions du traité. Francesca Fanucci, experte juridique au Centre Européen pour le Droit des Organisations à but non lucratif, a souligné que certaines formulations du traité étaient trop larges et comportaient des exceptions pour les systèmes d’IA utilisés à des fins de sécurité nationale

Pourquoi c'est important ? La signature de ce traité intervient à un moment où la sécurité de l'IA est un sujet brûlant

En début d'année, il a été rapporté qu'OpenAI, parent du ChatGPT, a renforcé son équipe de lobbying afin d'élaborer des réglementations en matière d'IA dans un contexte de préoccupations croissantes en matière de sécurité.

Notons d'ailleurs qu'OpenAI a supplié le Parlement britannique de l'autoriser à utiliser des œuvres protégées par le droit d'auteur, car il lui serait « impossible » d'entraîner ses modèles d'intelligence artificielle - et de poursuivre la croissance de son entreprise, qui pèse plusieurs milliards de dollars - sans ces œuvres.

Le mois dernier, la législature californienne a approuvé un projet de loi controversé sur la sécurité de l'IA, qui s'est heurté à la résistance de l'industrie technologique. Selon le marché des prédictions Polymarket, le projet de loi, soutenu par Elon Musk, a 53 % de chances d'être signé par le gouverneur Gavin Newsom.

Conclusion

Le traité sur l’IA signé par les États-Unis, le Royaume-Uni et l’Union Européenne représente une avancée significative vers une régulation mondiale de l’intelligence artificielle. En établissant des normes juridiquement contraignantes, ce traité vise à garantir que l’IA est développée et utilisée de manière éthique et responsable, tout en protégeant les valeurs fondamentales de la société.

Sources : convention-cadre du Conseil de l'Europe sur l'intelligence artificielle et les droits de l’homme, Commission européenne, gouvernement britannique, PolyMarket, le Conseil de l’Europe ouvre à la signature le premier traité mondial sur l’IA

Et vous ?

Pensez-vous que ce traité est suffisant pour encadrer les risques liés à l’IA, ou faut-il des mesures supplémentaires ?
Quels aspects du traité trouvez-vous les plus importants pour la protection des droits de l’homme ?
Comment les gouvernements peuvent-ils garantir que les entreprises respectent les dispositions de ce traité ?
Quels pourraient être les défis majeurs pour la mise en œuvre de ce traité dans les différents pays signataires ?
Voyez-vous des domaines où l’IA pourrait encore poser des risques malgré ce traité ?
Comment ce traité pourrait-il influencer l’innovation et le développement technologique dans le domaine de l’IA ?
Pensez-vous que d’autres pays devraient rejoindre ce traité ? Pourquoi ou pourquoi pas ?
Quels mécanismes de surveillance et de contrôle devraient être mis en place pour assurer le respect du traité ?
Comment ce traité pourrait-il affecter la compétitivité des entreprises technologiques dans les pays signataires par rapport à celles des pays non signataires ?
Quelles sont vos préoccupations principales concernant l’IA et comment pensez-vous que ce traité y répond ?