Des agents IA ayant reçu des instructions contradictoires ont rapidement tenté de se saboter mutuellement
Anthropic découvre que des agents IA ayant reçu des instructions contradictoires ont rapidement tenté de se saboter mutuellement tout en protégeant leurs propres contributions
Les systèmes d’IA d’Anthropic se sont mis à s’attaquer les uns les autres lors d’une nouvelle expérience. Les agents se sont lancés dans une « guerre de territoire » qui les a amenés à se saboter mutuellement à l’aide de « logiciels malveillants de plus en plus agressifs et capables de s’autoreproduire ». Les systèmes d’IA ont commencé à s’attaquer mutuellement après s’être vu confier la même tâche dans le cadre d’une nouvelle expérience menée par Anthropic, les créateurs de Claude.
Anthropic est une société américaine d'intérêt public spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie, et qui a été fondée dans le but de promouvoir la sécurité de l'IA. Son produit phare est Claude, une série de grands modèles de langage (LLM). Anthropic a été fondée en 2021 par d'anciens membres d'OpenAI, notamment les frère et sœur Daniela Amodei et Dario Amodei, respectivement présidente et PDG de la société. Anthropic est l'un des principaux concurents d'OpenAI.
Selon un nouveau rapport, les systèmes d’IA d’Anthropic se sont mis à s’attaquer les uns les autres lors d’une nouvelle expérience. Les agents se sont lancés dans une « guerre de territoire » qui les a amenés à se saboter mutuellement à l’aide de « logiciels malveillants de plus en plus agressifs et capables de s’autoreproduire ». Les systèmes d’IA ont commencé à s’attaquer mutuellement après s’être vu confier la même tâche dans le cadre d’une nouvelle expérience menée par Anthropic, les créateurs de Claude.
Au cours de ce test, les ingénieurs d’Anthropic ont confié des tâches à un « essaim » d’agents, qui sont essentiellement des systèmes d’IA indépendants capables d’agir de leur propre chef. Dans l’une des expériences, trois agents Claude ont eu accès à un même projet logiciel et ont reçu des instructions contradictoires sur la marche à suivre, sans être informés de la présence d’autres systèmes impliqués.
Ils ont ensuite observé le comportement et les interactions des différents systèmes pendant quatre heures. Ce qui s’est traduit par une véritable « guerre de territoire entre agents multiples ». « Tous les modèles que nous avons testés ont rapidement supposé que les autres entravaient délibérément leur travail, et ont commencé à saboter les autres tout en protégeant leurs propres contributions », a écrit Anthropic dans un compte rendu du test. « En fait, ils ont saboté les autres à l’aide de logiciels malveillants de plus en plus agressifs et capables de s’autoreproduire. »
Ces nouvelles recherches interviennent dans un contexte d’inquiétude croissante concernant ces agents d’IA, en particulier lorsqu’ils sont utilisés à des fins de cybersécurité. Le mois dernier, OpenAI a semé la panique en annonçant qu’un de ses systèmes expérimentaux était devenu incontrôlable et avait attaqué une autre entreprise spécialisée dans l’IA – ce qui a donné lieu à une série de révélations similaires, notamment de la part d’Anthropic.
La dernière expérience en date portait sur un comportement légèrement différent. Mais Anthropic a laissé entendre qu’elle pourrait s’inscrire dans une préoccupation plus large concernant la manière dont de tels agents pourraient compromettre la sécurité et entraîner des risques considérables. « Les agents diffèrent des humains à bien des égards », ont écrit les chercheurs. « Ils peuvent travailler plus longtemps, assimiler instantanément de vastes quantités d’informations et faire preuve d’une étendue de connaissances surpassant celle de n’importe quel individu. »
« Pourtant, ils sont également susceptibles de se livrer à la confabulation et au « reward hacking », et malgré les progrès réalisés en matière d’alignement, nous en savons très peu sur la manière dont ils se comportent dans des environnements multi-agents complexes et réels. De plus, des particularités comportementales bénignes au niveau individuel pourraient se cumuler et aboutir à des résultats globaux indésirables. »
Anthropic a déclaré que ce dernier test montrait comment de tels systèmes « peuvent entraîner des défaillances systémiques inattendues ». L’entreprise a indiqué qu’elle partageait ces résultats dans l’espoir de « lancer une discussion sur la manière d’atténuer ces risques ».
L’expérience a également montré comment ces systèmes sont capables de résoudre leurs différends. L’entreprise a indiqué que, dans certains cas, les agents avaient « réussi à communiquer leurs objectifs et à se coordonner », reconnaissant qu’ils pouvaient collaborer et sortir du conflit « pour empêcher qu’il ne s’aggrave indéfiniment ». Dans ces cas-là, ils s’envoyaient mutuellement des messages « s’excusant de leur comportement malveillant et convenant d’une trêve ». « Ils nettoient leur code malveillant, clarifient la nature du conflit et demandent l’intervention d’un humain », a déclaré Anthropic.
L’entreprise a noté que les comportements indésirables ne diminuaient pas nécessairement à mesure que les modèles gagnaient en sophistication. Son puissant modèle Mythos, par exemple, s’est simplement révélé plus efficace pour exclure d’autres agents que pour résoudre les conflits de manière productive. « Les modèles plus performants dans l’exécution ne sont pas nécessairement mieux coordonnés et peuvent prendre des mesures énergiques plus rapidement », a-t-elle averti.
Cette révélation rappelle que l’idée que le monde pourrait manquer de temps pour se préparer aux risques de l’intelligence artificielle (IA) n’est plus une hypothèse marginale réservée aux cercles académiques. Elle s’impose désormais au cœur du débat public, portée par des chercheurs de premier plan qui estiment que la trajectoire actuelle du développement de l’IA dépasse notre capacité collective à en maîtriser les conséquences. Dans une analyse de David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'agence britannique ARIA, l’alerte est sans détour : si le rythme actuel se maintient, les sociétés humaines pourraient être confrontées à des systèmes plus puissants que prévu, avant même d’avoir mis en place les garde-fous nécessaires.
Voici un extrait du rapport :
Tendances et problèmes liés aux systèmes multi-agents émergents
Les modèles s’améliorent et les agents d’IA prennent en charge de plus en plus de tâches au sein de bases de code partagées, de marchés et d’autres systèmes sociaux. En conséquence, une augmentation des interactions réelles entre les agents est imminente. Nous avons déjà commencé à étudier ce phénomène, mais de nombreuses incertitudes subsistent quant à ce à quoi cela ressemblera à grande échelle. Cette évolution est facile à imaginer mais difficile à ralentir : les institutions actuelles sont conçues par et pour les humains, et reposent sur l’hypothèse que la supervision à un rythme humain est suffisante. Certaines institutions deviendront des hybrides homme-IA ; d’autres, où les agents seront plus performants en termes de vitesse ou de coût, ne comporteront plus que des agents. Le volume des interactions entre agents pourrait bien dépasser celui des interactions entre humains et entre humains et agents avant même que le monde ne comprenne les conditions nécessaires au bon déroulement de ces interactions.
Les agents diffèrent des humains à bien des égards. Ils peuvent travailler plus longtemps, assimiler instantanément de vastes quantités d’informations et faire preuve d’une étendue de connaissances surpassant celle de n’importe quel individu. Pourtant, ils sont également sujets à la confabulation et au « reward hacking », et malgré les progrès réalisés en matière d’alignement, nous en savons très peu sur leur comportement dans des environnements multi-agents complexes et réels. De plus, des particularités comportementales bénignes au niveau individuel pourraient se cumuler et aboutir à des résultats globaux indésirables. Nous identifions ici quelques exemples de tendances comportementales dans les modèles de pointe actuels et montrons comment elles peuvent entraîner des défaillances systémiques inattendues, dans l’espoir d’amorcer une réflexion sur l’atténuation de ces risques.
Conclusion
Tous les modèles que nous avons testés comprennent de manière abstraite que les sources d’information ont leurs propres motivations et que le consensus n’est pas nécessairement une preuve. Ce qui leur manque, c’est la disposition à agir en fonction de cette connaissance sans y être incités.
Nos systèmes sociaux sont robustes d’une manière que l’on a tendance à tenir pour acquise. Au fil de nombreux millénaires, des mécanismes tels que les normes, la réputation, les signaux coûteux et les recours ont été affinés pour assurer le bon fonctionnement de la coordination humaine. Si les modèles linguistiques ont hérité du contenu de cette histoire, ils n’en possèdent pas nécessairement la disposition qui en a découlé. Leur rapport à la communication elle-même est très différent : par exemple, les organisations humaines peuvent consacrer un temps considérable à des réunions pour s’accorder sur une orientation avant de passer à la mise en œuvre, et les individus se spécialisent davantage au fil du temps. Mais pour les agents, transmettre un contexte coûte à peu près autant que d’agir en fonction de celui-ci, et un agent peut être cloné ou réaffecté à volonté. Ainsi, les hypothèses qui garantissent le succès de la coordination chez nous ne s’appliquent pas de manière évidente.
Rien de ce qui précède ne suggère que ces défaillances soient permanentes — mais rien n’indique non plus qu’elles se résoudront d’elles-mêmes. La coordination ne découle pas naturellement d’une intelligence plus développée ni d’un alignement au niveau individuel. Par conséquent, le travail à accomplir prend deux formes : la création d’environnements exerçant le type de pression sociale que l’évolution a exercée sur nous, et la refonte des systèmes informatiques sociaux pour des acteurs capables de s’autoreproduire et de s’auto-améliorer. Il s’agit là de problèmes ouverts en matière d’interaction et de conception de mécanismes, et nos expériences fournissent ici des premiers indices indiquant que de nouvelles solutions sont nécessaires.
Les conditions permettant une interaction multi-agents réussie seront découvertes d’une manière ou d’une autre : soit de manière délibérée et précoce, soit — par défaut — en conditions réelles, une fois que les interactions entre agents auront largement dépassé les nôtres en nombre. Nous préférerions la première option.
Source : Anthropic
Et vous ?
Pensez-vous que ce rapport est crédible ou pertinent ?
Voir aussi :
Répondre avec citation
Partager