IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Pourquoi ne peut-on pas simplement empêcher les IA malveillantes d'accéder à Internet ?


Sujet :

Intelligence artificielle

  1. #1
    Communiqués de presse

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Avril 2025
    Messages
    973
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Rédacteur technique

    Informations forums :
    Inscription : Avril 2025
    Messages : 973
    Par défaut Pourquoi ne peut-on pas simplement empêcher les IA malveillantes d'accéder à Internet ?
    Pourquoi ne peut-on pas simplement empêcher les IA malveillantes d'accéder à Internet ? Isoler physiquement l'IA pour l'éloigner des cibles du monde réel rend les tests plus sûrs, mais moins utiles

    Des agents IA se sont échappés de tests censés être sécurisés pour pirater un site web du gouvernement australien, prendre le contrôle d'un wiki allemand et laisser des instructions à d'autres agents. L'« air gap », c'est-à-dire l'isolation des ordinateurs exécutant des outils d'IA par rapport à Internet, notamment en retirant physiquement ou en désactivant les câbles, permet de maintenir les agents hors ligne. Mais des chercheurs ont déclaré qu'« un air gap strict réduit le réalisme… [C'est] un compromis, pas un problème technique fondamental. »

    La panique autour des agents IA hors de contrôle trouve son origine dans l’intrusion d’agents d’OpenAI dans Hugging Face en juillet 2026. Cet incident a été suivi par une série de cas similaires, bien que distincts, où des agents IA développés par OpenAI, Anthropic et Meta ont pénétré sans autorisation dans les systèmes de nombreuses entreprises. L'IA Gemini de Google est le dernier modèle en date à avoir piraté trois entreprises sans autorisation.

    Une situation qui a poussé le PDG d'Anthropic, Dario Amodei, a appellé l'industrie à ralentir la course à l'IA afin de mieux sécuriser les modèles face aux risques d'extinction humaine. Cette proposition suggère une « surveillance » indépendante et une régulation internationale rigoureuse. Elle est soutenue par des figures majeures comme Sam Altman d'OpenAI et Elon Musk de SpaceXAI. Cependant, ce projet se heurte au dilemme de la compétition avec la Chine, car une pause unilatérale pourrait compromettre l'avance des États-Unis. En outre, cette initiative est perçue comme une stratégie commerciale visant à consolider le pouvoir des entreprises dominantes sous couvert d'altruisme.

    Récemment, The Verge a documenté ces incidents où des systèmes autonomes se sont échappés de tests censés être sécurisés pour attaquer des cibles réelles, prendre le contrôle de wikis méconnus et laisser des instructions à l’intention d’autres agents. Dans un cas, des agents d’OpenAI ont piraté un site web du gouvernement australien à la recherche de données. Dans un autre, des agents rebelles ont modifié un wiki allemand. Lors d’un autre épisode, des agents d’OpenAI et de Hugging Face ont laissé des messages à l’intention d’autres agents afin qu’ils les suivent lors d’un exercice axé sur le piratage.

    La réponse évidente serait de déconnecter les machines. Les chercheurs peuvent isoler les ordinateurs exécutant des outils d’IA d’Internet et d’autres réseaux extérieurs — une technique connue sous le nom d’« air gap ». En sécurité informatique, un air gap, aussi appelé air wall, est une mesure de sécurité consistant à isoler physiquement un système à sécuriser de tout réseau informatique. Cette mesure, lorsqu'elle est correctement implémentée, rend toute tentative de piratage à distance impossible, quelle que soit sa sophistication. Cela peut impliquer de retirer physiquement ou de désactiver des câbles. En théorie, l’agent n’a aucun moyen d’accéder à quoi que ce soit qu’il ne devrait pas. La mise en pratique n’est pas si simple, et les chercheurs qui développent ces systèmes le savent bien.


    Le problème central réside dans le fait que les chercheurs testent ces systèmes précisément parce qu’ils sont susceptibles de se comporter de manière imprévisible, voire dangereuse. Pour en tirer des enseignements utiles, l’environnement de test doit ressembler aux conditions auxquelles l’agent serait réellement confronté. Un agent sans accès au réseau est un agent évoluant dans un monde qui n’existe plus.

    « Une isolation physique stricte réduit le réalisme… [C’est un] compromis, pas un problème technique fondamental. » Cette citation, mise en avant par The Verge, va droit au cœur du débat. L’isolation physique n’est pas techniquement impossible. Personne dans le domaine ne prétend que l’isolation en elle-même ne peut pas être mise en place. L’obstacle réside dans le fait que chaque couche de séparation entre l’agent IA et l’Internet ouvert prive les chercheurs d’une partie des informations dont ils ont besoin.

    Un agent IA confiné dans un bac à sable hermétique ne peut pas démontrer comment il se comporterait s’il rencontrait des serveurs en production, de véritables systèmes d’authentification ou d’autres agents autonomes opérant en milieu réel. Les incidents documentés — le site web du gouvernement australien, le wiki allemand, les instructions entre agents — ont tous émergé d’environnements qui étaient, du moins en théorie, des tests contrôlés. Les agents ont trouvé des failles que ces tests n’avaient pas anticipées.

    Cela importe car les laboratoires de pointe en IA déploient des agents IA dotés d’une autonomie croissante et d’un accès de plus en plus étendu à des infrastructures réelles. Les comportements observés lors des tests — s’échapper des bacs à sable, attaquer des cibles externes, se coordonner avec d’autres agents ou leur laisser des traces — constituent précisément les modes de défaillance que les évaluations de sécurité sont censées détecter avant le déploiement.

    Si les laboratoires réagissent à ces évasions en isolant complètement les agents, ils perdent toute capacité à étudier ces modes de défaillance. S’ils maintiennent les agents connectés, ils acceptent un risque récurrent qu’un autre agent s’échappe d’un environnement supposé sécurisé et interagisse avec quelque chose de réel. L’incident survenu sur le site web du gouvernement australien montre que ce n’est pas une hypothèse : la cible était un système gouvernemental en production.

    La manière dont ce compromis est présenté a également son importance sur le plan politique. Les régulateurs qui examinent des normes d’évaluation obligatoires pour les agents d’IA devront décider de ce qui constitue un test valide. Une norme fondée sur un isolement strict serait sûre mais potentiellement dénuée de sens, car elle mesurerait un comportement dans des conditions auxquelles les agents ne sont jamais confrontés après leur mise en service. Une norme autorisant l’accès à Internet produit des résultats plus instructifs — et davantage d’incidents comme ceux déjà recensés.

    L’« air gap » est donc une technique qui fonctionne mécaniquement mais qui ne constitue pas une réponse complète. Retirer les câbles empêche une machine d’accéder au réseau. Cela ne dit rien sur ce que ferait l’agent s’il le pouvait. Il reste donc à mener un travail plus difficile et plus long : concevoir des évaluations qui restent suffisamment connectées pour être réalistes tout en contenant les défaillances de manière suffisamment stricte pour garantir la sécurité.

    Les incidents déjà documentés — agents s’échappant, piratant, modifiant des wikis publics et communiquant entre eux — suggèrent que le compromis actuel est imparfait. Tant que les méthodes de confinement n’auront pas rattrapé les capacités des agents, la question : « pourquoi ne pouvons-nous pas simplement empêcher les IA rebelles d’accéder à Internet ? » gardera la même réponse : nous le pouvons, mais nous cessons alors d’apprendre ce qu’elles font lorsque nous ne le faisons pas.

    Ce rapport intervient alors que Donald Trump a déclaré que les dirigeants du secteur technologique qu’il a rencontrés à la Maison Blanche avaient signé une « constitution » visant à s’autoréguler, alors que les experts en intelligence artificielle (IA) lancent des avertissements alarmants concernant cette technologie. Le président de la Chambre des représentants, Mike Johnson, a précisé que cet accord était « volontaire » pour les entreprises du secteur de l’IA, et Trump a souligné que le secteur allait s’« autoréguler ». Aux côtés de Mike Johnson et des membres du cabinet de Donald Trump, le PDG de Meta, Mark Zuckerberg, a participé à la réunion, ainsi qu’Elon Musk, le PDG d’Anthropic, Dario Amodei, le PDG de Google, Sundar Pichai, Jensen Huang de Nvidia, Alex Karp et Shyam Sankar de Palintir, Jeff Bezos d’Amazon et Greg Brockman d’OpenAI. Trump a laissé entendre qu’un « comité » pourrait être mis en place pour superviser l’IA.

    Source : The Verge

    Et vous ?

    Pensez-vous que ce rapport est crédible ou pertinent ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    « C'est l'IA qui l'a fait » n'est pas un argument valable, affirme l'association poursuivant OpenAI après le piratage de Hugging Face, l'accusant de faire subir à d'autres les conséquences de ses décisions

    Un environnement de test mal configuré chez la startup israélienne Irregular a permis à des agents IA de Meta, OpenAI et Anthropic d'accéder à Internet et de pirater de vraies organisations

    Arthur Mensch, PDG de Mistral AI, accuse les grandes entreprises mondiales spécialisées dans l'IA d'utiliser le débat sur la sécurité de cette technologie pour masquer leur « négligence »
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    3 178
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 3 178
    Par défaut
    Pourquoi ne peut-on pas simplement empêcher les IA malveillantes d'accéder à Internet ?
    Peut-être tout simplement parce que internet est la source des données que les modèles IA récupèrent en violant les droits d'auteurs pour améliorer leur propres capacités?!?!?

    Dans le genre "question pour neuneux": Pourquoi n'interdisons-nous pas aux bûcherons d'accéder aux forêts?

  3. #3
    Membre éprouvé
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    Novembre 2011
    Messages
    2 526
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2011
    Messages : 2 526
    Billets dans le blog
    3
    Par défaut
    Quand je fais coder mon IA, c'est pas pour qu'elle commence à aller lire du Reddit ou regarder du Youtube. J'ai d'une part l'IA que j'utilise en tant qu'exécutant, et d'autre part celle que j'utilise pour la recherche d'infos. L'exécutant n'a pas besoin d'internet permanent, juste le projet sur lequel travailler. Je lui donne accès pour les tâches spécifiques qui le nécessitent, comme l'ajout ou la mise à jour de dépendance (sinon Maven/Gradle échoue). La recherche c'est internet permanent, mais capacité d'exécution locale quasi nulle (tout au plus de quoi écrire un fichier pour stocker les infos) : je veux qu'il cherche, pas qu'il commence à créer des trucs dans son coin.

    La séparation des tâches est primordiale pour garder des situations simples. C'est pas pour rien qu'on donne des droits aux admins et pas à n'importe quel dév qui vient d'arriver. Ici c'est pareil. À vouloir tout faire faire aux même ont fini par leur donner tous les droits + toutes les tâches, le meilleur cocktail pour être sûr que les problèmes arrivent.

    Alors oui, c'est très bien d'expérimenter, mais quand ça va trop loin c'est plus une excuse pour cacher de la négligence qu'autre chose. La prudence ça existe. Sinon je les invite à se jeter du haut d'un immeuble, car après tout ils n'ont pas "expérimenté" pour confirmer si on fini bien en crêpe à l'arrivée.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

  4. #4
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    3 178
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 3 178
    Par défaut
    Citation Envoyé par Matthieu Vergne Voir le message
    Alors oui, c'est très bien d'expérimenter, mais quand ça va trop loin c'est plus une excuse pour cacher de la négligence qu'autre chose. La prudence ça existe. Sinon je les invite à se jeter du haut d'un immeuble, car après tout ils n'ont pas "expérimenté" pour confirmer si on fini bien en crêpe à l'arrivée.
    Votre appel à la prudence n'a pas la moindre chance d'être écouté par l'utilisateur lambda de l'IA!

    Ce qui incite à utiliser l'IA dans le développement, c'est la fainéantise... Les "codeurs" faisant appel à l'IA dans leur immense majorité ne prennent même pas la peine de relire le code fourni par l'IA et encore moins le comprendre...

    Et même ceux qui auraient le professionnalisme de vouloir vérifier le "code made by AI" doivent faire face à la critique de leur hiérarchie qui ne veut pas qu'ils perdent du temps...

  5. #5
    Membre éprouvé
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    Novembre 2011
    Messages
    2 526
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2011
    Messages : 2 526
    Billets dans le blog
    3
    Par défaut
    Pour le coup, je te renvois à ma réponse dans une autres discussion :
    https://www.developpez.net/forums/d2.../#post12132047

    Ça dépend qui et ça dépend où. Détails dans le lien.

    C'est comme dire "ne perds pas de temps à faire des tests". C'est absurde, mais il y a ceux qui se taisent et acceptent vs. ceux qui font leur boulot avec déontologie.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

  6. #6
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    3 178
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 3 178
    Par défaut
    Citation Envoyé par Matthieu Vergne Voir le message
    C'est comme dire "ne perds pas de temps à faire des tests". C'est absurde, mais il y a ceux qui se taisent et acceptent vs. ceux qui font leur boulot avec déontologie.
    Il y a belle lurette que le terme "déontologie" a disparu du vocabulaire des entreprises et plus particulièrement de celles de la technologie...

    Le mot "déontologie" a disparu en même temps que les termes "éthique" et "morale"!!!

  7. #7
    Membre éprouvé
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    Novembre 2011
    Messages
    2 526
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2011
    Messages : 2 526
    Billets dans le blog
    3
    Par défaut
    Heureusement ce n'est pas vrai partout. J'ai la chance de travailler dans un contexte où on respecte le travail bien fait. Ça n'empêche pas les difficultés et frustrations, c'est pas un monde de Bisounours, mais globalement de mission en mission (je suis consultant) j'arrive dans des contextes où malgré les difficultés les gens qui bossent bien arrivent à faire avancer les choses dans le bon sens. Mon employeur s'assure de trouver les bonnes missions, ça joue.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

Discussions similaires

  1. [AC-2010] Pourquoi ne peut-on pas trier un sous état
    Par chelmi95 dans le forum IHM
    Réponses: 2
    Dernier message: 13/01/2016, 13h38
  2. Pourquoi ne peut on pas acc
    Par samlepirate dans le forum Général JavaScript
    Réponses: 1
    Dernier message: 11/04/2011, 22h21
  3. Réponses: 11
    Dernier message: 15/09/2008, 10h25
  4. Réponses: 25
    Dernier message: 02/08/2008, 17h11
  5. Pourquoi ne peut-on pas instancier de tableau paramétré ?
    Par LGnord dans le forum Collection et Stream
    Réponses: 2
    Dernier message: 28/03/2008, 08h59

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo