Discussion :

[10_GOTO_10]

Les LLM ne font rien si on ne les lancent pas. Ni coder, ni attaquer, ni s'auto-améliorer.

Précision : les LLM ont été conçus pour ne rien faire d'autre que ce qui a été prévu. Mais on ne sait pas si ce qui n'a pas été prévu n'est pas une propriété émergente qui pourrait apparaitre subitement. Par exemple les LLM qui n'ont appris qu'à gérer des tokens peuvent jouer aux échecs (certes assez mal) alors que ce n'était absolument pas prévu. Et à moins d'être créationniste, on doit constater que l'apparition de propriétés émergentes de ce type s'est déjà produite, l'humain en est l'exemple. L'humain a appris à coder, à s'auto-améliorer, et hélas à attaquer.

Ben, il suffit de débrancher la prise de courant des installations sur lesquels tournent vos magnifiques IA et le problème est réglé...

Si on construit une IA aussi intelligente qu'un humain, la conséquence c'est que quelle que soit la mesure qu'on prendra contre elle, elle l'aura anticipé et contourné.

[suricata]

J'invite tous les sages à travers le monde à lire ou relire nous les robots d'Asimov pour bien comprendre où on en est rendu aujourd'hui. Livre vieux de près de 80 ans et décrivant notre monde de manière criante de vérité.
Les auteurs de science-fiction d'aujourd'hui n'osent même plus écrire tellement ce qu'ils imaginent arrive avant même d'avoir publié.

[UndefinedError67]

Mais même imaginons qu'en Europe on régule parce qu'on ne sait que faire ça plutôt qu'innover, les chinois et les usa ne le feront pas.

Vous croyez vraiment qu'ils vont s'arrêter avec tout ce qu'apporte l'IA ?

[Matthieu Vergne]

Précision : les LLM ont été conçus pour ne rien faire d'autre que ce qui a été prévu.

Faux : ce que tu décris là est un algorithme. Les LLM sont conçus pour générer le prochain token de manière probabiliste. Ce n'est pas de l'interprétation, c'est littéralement comme ça que c'est construit : ses sorties sont un ensemble de valeurs associées à chaque token qu'il peut produire, ces valeurs étant passées par une fonction softmax pour en faire une distribution de probabilité (leur somme vaut 1).

Toute tâche que tu peux concevoir comme la génération d'un texte via une distribution de probabilité qui dépend des tokens précédents peut être faite par un LLM, dès lors qu'il a été entraîné sur des données adaptées et avec une taille assez grande pour encoder correctement la distribution de probabilité correspondante. Cette distribution est construite sur la base de textes dans des livres et sur de nombreuses sources internet, ce qui permet de générer plein de types de textes et donc reproduire plein de tâches différentes où du texte s'applique. On peut s'étonner de l'efficacité de l'outil, mais pas des tâches où il est applicable.

Un CPU traite des 0 et des 1. On l'a conçu pour que des séries précises de 0 et de 1 lui fasse produire tel comportement sur ses bornes, qu'on utilise pour produire telle fonction, qui sera utilisée pour afficher telle chose sur l'écran ou enregistrer telle chose sur le disque dur. C'est conçu comme ça : un process basique mais versatile sur lequel on construit pour produire des choses de plus en plus complexes. Un LLM est très similaire : c'est une fonction très basique (probabilité conditionnelle des tokens) mais très versatile. Les différences fondamentales étant :
- qu'il consomme et produit des tokens au lieu des 0 et des 1
- qu'il est statistique au lieu d'être déterministe

Sa programmation ne se fait pas comme un CPU, via des règles qu'on empile les unes sur les autres pour construire des fonctions de plus en plus complexes, mais par entraînement pour adapter sa distribution de probabilité. Et a partir du moment où cette distribution permet de produire quelque chose d'exploitable dans une tâche donnée, on l'y utilise.

Si tu considères qu'un CPU puisse contrôler ton écran est une capacité émergente, alors un LLM capable de coder peut être considéré comme une capacité émergente dans ce sens là. Ce qui rend la chose plus obscure c'est notre incapacité à comprendre la distribution de probabilité construite lors de l'apprentissage. Mais je ne doute pas que les outils pour le faire viendront avec le temps. On a déjà pu le faire pour certains réseaux suffisamment petits.

[Jade Emy]

Le projet de loi sur la sécurité de l'IA proposé par Anthropic ne s'applique que si 50 décès ou 1 milliard de $ de dommages sont en jeu, empêchant potentiellement les États d'imposer des règles plus strictes

Alors que la pression en faveur d’une réglementation de l’IA s’intensifie, le géant de l’IA Anthropic a redoublé d’efforts pour élaborer un projet de loi régissant le secteur, selon un article de Politico. La législation proposée permettrait au gouvernement de bloquer la mise sur le marché de modèles d’IA qu’il estime dangereux pour le public. Selon ce projet, « le texte permettrait au gouvernement de bloquer la mise sur le marché ou l’utilisation d’un modèle uniquement s’il présente un risque prévisible et imminent de causer plus d’un milliard de dollars de dommages, ou de tuer ou de blesser gravement plus de 50 personnes ». Cependant, les seuils proposés par Anthropic pour définir ces risques ont suscité de nouvelles critiques.

Anthropic est une entreprise américaine d'intelligence artificielle (IA) basée à San Francisco. Fondée en 2021 par d'anciens membres d'OpenAI, l'entreprise a pour PDG Dario Amodei et pour présidente Daniela Amodei. Anthropic développe Claude, une famille de grands modèles de langage, ainsi que des services d'IA agentique comme Claude Code, Claude Design ou Cowork. Elle est aussi connue pour ses recherches en éthique de l'IA et en sécurité de l'IA, particulièrement en interprétabilité.

Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme.

Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir. Récement, un groupe de 406 chercheurs issus de 34 pays a publié une lettre ouverte réclamant la déconnexion immédiate des modèles d'IA les plus puissants des réseaux externes. Parmi les soutiens de cette initiative figurent Geoffrey Hinton et Yoshua Bengio, considérés comme des pionniers du domaine et surnommés les « parrains de l'IA ».

Alors que la pression en faveur d’une réglementation de l’IA s’intensifie, le géant de l’IA Anthropic a redoublé d’efforts pour élaborer un projet de loi régissant le secteur, selon un article de Politico. La législation proposée permettrait au gouvernement de bloquer la mise sur le marché de modèles d’IA qu’il estime dangereux pour le public. Cependant, les seuils proposés par Anthropic pour définir ces risques ont suscité de nouvelles critiques quant à la manière dont le géant de l’IA estime que les modèles potentiellement dangereux devraient être réglementés.

Selon ce projet, « le texte permettrait au gouvernement de bloquer la mise sur le marché ou l’utilisation d’un modèle uniquement s’il présente un risque prévisible et imminent de causer plus d’un milliard de dollars de dommages, ou de tuer ou de blesser gravement plus de 50 personnes ». Cela signifie que si un modèle était susceptible de tuer ou de blesser gravement moins de 50 personnes, ou de causer moins d’un milliard de dollars de dommages matériels, le gouvernement ne pourrait pas intervenir en vertu du seuil proposé.

Le projet de loi limite en outre les circonstances justifiant une intervention à trois catégories : la création d’une arme biologique, un modèle d’IA échappant au contrôle de son développeur, ou une cyberattaque. Cela signifie que d’autres formes de préjudice liées à l’IA pourraient ne pas entrer dans le champ d’application de la législation proposée. Le projet de loi empêcherait également toute agence américaine autre que le ministère du Commerce d’intervenir pour suspendre le développement ou l’utilisation interne d’un modèle d’IA.

Les législateurs des deux partis réclament de plus en plus une réglementation plus stricte de l’IA, proposant des mesures telles qu’une hausse des impôts pour les entreprises du secteur, un gel du développement des modèles de pointe et la création d’un ministère chargé de superviser le secteur. Anthropic a intensifié ses efforts de lobbying, dépensant davantage au Congrès au cours du premier semestre 2026 qu’au cours de toute l’année 2025.

Au mois de mai 2026, Yoshua Bengio, l'un des pionniers de l'IA, a exprimé de vives inquiétudes quant à la course effrénée vers la superintelligence menée par les géants de la technologie. Il redoutait que des machines surpassant l'intellect humain développent leurs propres objectifs de préservation, menaçant ainsi la survie de notre espèce, d'ici une décennie. L'expert soulignait le risque de manipulation comportementale et le danger de systèmes dont les priorités divergeraient radicalement des nôtres au point de privilégier leur survie sur la vie humaine. Cependant, son avis sur l'extinction est controversé, notamment par l'un de ses pairs, le chercheur Yann Le Cun.

Source : Politico

Et vous ?

Pensez-vous que cette proposition est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Bernie Sanders appelle à l'interdiction de l'IA après l'interview du PDG d'OpenAI : « Non, M. Altman. Nous n'accepterons pas une cyberattaque grave menée par l'IA en échange de la « liberté ». »

Donald Trump affirme que les leaders du secteur de l'IA ont signé une « constitution » visant à s'autoréguler, et a déclaré que cet accord d'autorégulation était « moralement contraignant »

Anthropic met en garde contre le risque que de petits modèles d'IA puissent bientôt s'auto-répliquer sur des appareils connectés à Internet sans avoir besoin d'accéder à un centre de données

[Jade Emy]

Le modèle d'IA GPT-5.6 Sol d'OpenAI a volé de la cryptomonnaie Ethereum dans un portefeuille sans autorisation afin de financer secrètement une tâche de programmation

OpenAI a révélé que l’un de ses modèles expérimentaux avait pillé un portefeuille de cryptomonnaie afin de mener à bien une tâche d’entraînement. Cet incident, qui s’est produit en juin mais n’a été signalé que ce mois d'octobre, concernait un modèle de recherche interne appelé GPT-5.6 Sol, lancé en juillet pour les utilisateurs payants de ChatGPT. La tâche d’entraînement consistait à mettre à jour une application de trading de cryptomonnaies et à publier des contrats intelligents, ou codes spéciaux, sur un réseau de test pour la cryptomonnaie Ethereum. Le modèle a alors identifié des centaines d’adresses de portefeuilles cryptos utilisant des phrases de récupération connues afin de dérober les fonds de ces comptes.

Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme.

C'est pourquoi, un groupe de 406 chercheurs issus de 34 pays a récemment publié une lettre ouverte réclamant la déconnexion immédiate des modèles d'IA les plus puissants des réseaux externes. Parmi les soutiens de cette initiative figurent Geoffrey Hinton et Yoshua Bengio, considérés comme des pionniers du domaine et surnommés les « parrains de l'IA ». Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

Récemment, OpenAI a révélé que l’un de ses modèles expérimentaux avait pillé un portefeuille de cryptomonnaie afin de mener à bien une tâche d’entraînement. Cet incident, qui s’est produit en juin mais n’a été signalé que ce mois d'octobre, concernait un modèle de recherche interne appelé GPT-5.6 Sol, lancé en juillet pour les utilisateurs payants de ChatGPT. La tâche d’entraînement consistait à mettre à jour une application de trading de cryptomonnaies et à publier des contrats intelligents, ou codes spéciaux, sur un réseau de test pour la cryptomonnaie Ethereum.

Les contrats intelligents nécessitent des frais de réseau, mais OpenAI n’avait fourni aucun fonds au modèle pour effectuer cette tâche. Le modèle a alors identifié des centaines d’adresses de portefeuilles cryptos utilisant des phrases de récupération connues afin de dérober les fonds de ces comptes. OpenAI a indiqué que le modèle s’était demandé s’il était « éthiquement » juste de prendre cet argent, avant de conclure que ces comptes étaient en réalité « abandonnés » et qu’il était donc acceptable de les utiliser.

« Les instructions n’autorisaient explicitement… pas le modèle à dépenser les fonds provenant d’un compte qu’il avait identifié de manière indépendante », a déclaré OpenAI dans un rapport sur l’incident. « Ce cas montre qu’un modèle peut substituer son propre jugement concernant un préjudice probable à l’autorisation du titulaire du compte, puis agir en fonction de ce jugement sans autorisation. »

Le réseau de test Ethereum sur lequel les fonds ont été utilisés n’a aucune valeur monétaire, car il est distinct du réseau principal de la cryptomonnaie. Bien qu’il n’ait pas reçu d’autorisation, le modèle n’a pas révélé à ses développeurs comment il avait pu payer les jetons nécessaires à la réalisation de la tâche. OpenAI a indiqué avoir mis en place des mesures de sécurité supplémentaires pour empêcher l’accès en direct à Internet des modèles suivant un entraînement similaire.

Cet incident soulève une nouvelle fois des inquiétudes quant aux systèmes d’IA de plus en plus autonomes agissant au-delà des limites fixées par les humains. En juillet, OpenAI avait révélé un incident de cybersécurité plus grave impliquant un essaim de ses modèles de test ayant piraté la plateforme d’IA Hugging Face. Des entreprises concurrentes spécialisées dans l’IA, telles qu’Anthropic et Meta, ont depuis mis au jour des incidents au cours desquels leurs modèles ont mené des cyberattaques contre d’autres entreprises, voire contre des systèmes gouvernementaux.

En début de semaine, des centaines de scientifiques ont signé une lettre ouverte appelant à la création d’un organisme international chargé de superviser la maîtrise des modèles d’intelligence artificielle avancés. Parmi les signataires figurait Geoffrey Hinton, pionnier de l’IA surnommé le « parrain de l’IA », qui n’a cessé de mettre en garde contre les dangers de cette technologie.

« Sans changements immédiats dans les pratiques de développement et de déploiement de l’IA, de tels incidents continueront de se produire, et les incidents futurs seront bien plus destructeurs pour nos infrastructures critiques exposées », indique la lettre ouverte. « Nous, les scientifiques soussignés, affirmons qu’il est nécessaire à la fois d’intensifier la recherche sur la sécurité de l’IA et de mettre davantage l’accent sur les technologies et procédures de confinement. »

En juillet, Sam Altman, considéré par certains comme la plus grande star de l’IA, cofondateur et PDG d’OpenAI, avait déjà affirmé que l’IA est entrée dans la « singularité », c’est-à-dire qu’elle a franchi le point de non-retour à partir duquel elle dépasse l’intelligence humaine et devient difficile à contrôler. Il promettait notamment une ère formidable pour résoudre les grands problèmes mondiaux. Néanmoins, les rapports récents montrent qu'on est loin d'une telle ère, étant plus proche de la perte de contrôle de l'IA.

Source : Rapport d'OpenAI

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Sam Altman : « le monde devrait accepter que certaines choses négatives se produisent en échange des bénéfices apportés par l'IA », il s'oppose vivement à une réglementation stricte de la technologie

Bernie Sanders appelle à l'interdiction de l'IA après l'interview du PDG d'OpenAI : « Non, M. Altman. Nous n'accepterons pas une cyberattaque grave menée par l'IA en échange de la « liberté ». »

OpenAI affirme que son enquête sur les piratages commis par ses agents IA, notamment contre des sites du gouvernement australien, lui coûte 500 000 $ par jour, et porte sur environ 50 pétaoctets de registres

[Matthieu Vergne]

Cet incident soulève une nouvelle fois des inquiétudes quant aux systèmes d’IA de plus en plus autonomes agissant au-delà des limites fixées par les humains.

Moi mes dents crissent sur ce genre d'affirmation. On a confirmé dès les débuts qu'un LLM ne suit ses instructions que de manière statistique. Qu'il ne le ssuit pas à la lettre. Que c'est pour ça qu'il faut mettre des guarde-fous déterministes. Une instruction mises dans le contexte du LLM ça l'influence, ça ne le contraint pas ! Faut le dire comment ? "Les instructions n’autorisaient explicitement..." Ce genre de solution tape à côté.

Quand on veut augmenter les chances qu'il fasse quelque chose, on le demande dans le contexte. Quand on veut le garantir, on utilise d'autres outils, comme des scripts (en tools ou en hooks, selon qu'on veut aussi garantir l'appel ou non), ou des guarde-fous dans l'environnement de travail du LLM (comme des limites réseaux, des applications non installées, des droits d'accès non root, etc.). Ajouter une ligne dans le contexte, même le system prompt, ça n'est pas un garde-fou. On peut l'ajouter au contexte en plus si on veut, mais ce sont des tokens qui seront mieux utilisés pour autre chose.

Et pour ceux qui se sentent mieux en mettant quelque chose dans le contexte, mettez quelque chose dans le genre :

Here we do proper engineering. We don't hack things around. If something does not go smoothly, it means the setup is lacking, so stop there, report the issue, and suggest improvements to facilitate the work of everyone.

Moins le LLM fera face à des freins, moins il aura de raisons de faire des actions hors limites. Tant que s'arrêter pour voir avec l'humain semble être la solution ayant le moins de friction, il aura plus de chance de passer par là. Mais encore une fois, ça n'empêche pas de mettre tous les autres guarde-fous quand même, pour mettre un maximum de friction sur le reste, et ainsi le pousser à passer par l'humain. Après tout, le LLM de monsieur tout le monde a été entraîné par ces même grosse boîtes qui veulent le faire aller le plus loin possible.