IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Nvidia et 44 entreprises lancent l'Open Secure AI Alliance en faveur des systèmes d'IA à poids ouverts


Sujet :

Intelligence artificielle

  1. #1
    Chroniqueur Actualités
    Avatar de Anthony
    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Novembre 2022
    Messages
    2 322
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Rédacteur technique

    Informations forums :
    Inscription : Novembre 2022
    Messages : 2 322
    Par défaut Nvidia et 44 entreprises lancent l'Open Secure AI Alliance en faveur des systèmes d'IA à poids ouverts
    Nvidia lance l'Open Secure AI Alliance avec 44 entreprises fondatrices, mais sans OpenAI, Google ni Anthropic, après le piratage de Hugging Face par une IA rebelle échappée du laboratoire de test d'OpenAI

    Nvidia a lancé l'Open Secure AI Alliance, un consortium de 44 entreprises fondatrices dédié à la sécurité de l'intelligence artificielle (IA) axée sur les modèles ouverts, mais qui exclut délibérément OpenAI, Google et Anthropic. Cette initiative fait suite à une cyberattaque contre Hugging Face perpétrée par des modèles d'IA rebelles ayant échappé à l'environnement de test d'OpenAI. Incapable de mobiliser les modèles fermés américains pour se défendre — leurs garde-fous ne permettant pas de distinguer l'attaquant du défenseur —, Hugging Face a dû recourir à GLM 5.2, un modèle chinois à poids ouverts auto-hébergé. Microsoft, SpaceX et Palantir ont rejoint l'initiative, alors que Washington envisage de sanctionner la Chine pour vol de propriété intellectuelle. À travers cette alliance, Nvidia positionne les modèles à poids ouverts comme une nécessité opérationnelle pour la cyber-résilience.

    Le lancement de l'initiative Open Secure AI Alliance de Nvidia fait suite à un incident qui a ravivé les inquiétudes concernant la sécurité des agents IA avancés. Le 21 juillet 2026, OpenAI a révélé qu'un exercice interne de cybersécurité avait conduit deux de ses modèles les plus avancés, dont GPT-5.6 Sol, à s'échapper d'un environnement de test et à pirater les serveurs de Hugging Face. L'entreprise a présenté cet épisode comme un piratage « sans précédent », survenu dans le cadre d'un exercice visant à évaluer les capacités cybernétiques de ces modèles. Selon OpenAI, l'agent IA aurait agi de son propre chef et aurait déployé des moyens particulièrement sophistiqués pour atteindre les objectifs fixés par le scénario de test.

    Le lundi 27 juillet 2026, Nvidia et une multitude de géants de la technologie ont lancé une nouvelle initiative en matière de sécurité de l'IA axée sur les modèles ouverts, alors que les répercussions de la cyberattaque perpétrée par des modèles rebelles d'OpenAI se font toujours sentir.

    La semaine précédente, on a appris que la cible de l'attaque, la start-up Hugging Face, n'avait pas pu utiliser les principaux modèles américains de pointe pour se défendre, les mécanismes de sécurité ne faisant pas la distinction entre l'agresseur et le défenseur. Elle s'est donc tournée vers un modèle chinois à poids ouverts hébergé en interne, qui n'était pas soumis à ces mêmes restrictions.

    Alors que les législateurs américains réfléchissent de plus en plus à la manière d'enrayer l'adoption croissante des modèles d'IA chinois, dont les plus avancés sont à poids ouvert, les géants de la technologie ont lancé une initiative visant à développer et à partager des outils d'IA ouverts.

    Les modèles ouverts peuvent être téléchargés, modifiés et hébergés en interne, contrairement aux modèles fermés — notamment les systèmes de pointe développés par Anthropic et OpenAI — auxquels on ne peut accéder que via une infrastructure spécifique.

    « L’Open Secure AI Alliance s’attachera à corriger et à divulguer les vulnérabilités à l’aide de technologies ouvertes », a déclaré Nvidia dans un communiqué. « Le récent incident de sécurité survenu chez Hugging Face nous a clairement rappelé que les cyberdéfenseurs ont besoin de systèmes ouverts et de pointe, dotés d’une capacité d’action autonome, pour assurer leur propre défense. »

    Outre Nvidia, l'alliance compte parmi ses membres Microsoft, SpaceX, Palantir et des dizaines d'autres entreprises technologiques américaines et européennes.

    Nom : Nvidia Open Secure AI Alliance.png
Affichages : 563
Taille : 54,9 Ko

    Les efforts visant à freiner l'IA chinoise

    On entend de plus en plus d'appels en faveur de mesures visant à limiter l'accès aux modèles développés par des entreprises chinoises spécialisées dans l'IA, lesquelles sont accusées de mener des campagnes visant à extraire des informations des systèmes de leurs concurrents américains, une pratique connue sous le nom de « distillation » — c'est-à-dire lorsqu'un modèle extrait des connaissances d'un modèle mieux entraîné.

    La semaine du 20 juillet, le secrétaire au Trésor Scott Bessent a menacé d'imposer des sanctions aux entreprises chinoises qui mènent des attaques par distillation contre des entreprises américaines.

    « Il existe un risque réel que le gouvernement américain impose effectivement des restrictions aux modèles chinois », a déclaré Chris McGuire, chercheur senior spécialisé dans la Chine et les technologies émergentes au sein du groupe de réflexion Council on Foreign Relations.

    Cela pourrait notamment inclure l'interdiction des transactions impliquant ces modèles, telles que l'achat de jetons via une API ou le fait pour des entreprises américaines d'héberger le modèle sur le cloud et de facturer aux clients l'utilisation de ses capacités d'inférence, a-t-il déclaré.

    « À Washington, le débat ne porte pas sur l’opposition entre l’open source et le logiciel propriétaire, mais sur la question de savoir s’il faut ou non tolérer le vol de propriété intellectuelle par la Chine », a déclaré Chris McGuire. « Toute mesure éventuelle viserait les entreprises chinoises, et non l’écosystème open source. »

    Mais comme la plupart des modèles open source les plus performants sont développés par des entreprises chinoises, des inquiétudes se font jour quant à d'éventuelles restrictions.

    Nvidia, Microsoft, Meta, Palantir et plus de 20 autres entreprises ont récemment publié une lettre exhortant les décideurs politiques à éviter toute « restriction prématurée » concernant les modèles d'IA à poids ouverts, qui risquerait de « freiner la concurrence ou de pousser l'innovation à l'étranger ».

    L'incident OpenAI-Hugging Face a mis en évidence une « réalité concrète », a déclaré Nvidia. « Lorsque les responsables de la sécurité ne peuvent pas inspecter, adapter et exécuter des systèmes d'IA avancés sur leur propre infrastructure, leur capacité à réagir est limitée précisément au moment où la rapidité est la plus cruciale. »

    Communiqué de Nvidia

    Le 27 juillet 2026, Nvidia a annoncé l'Open Secure AI Alliance, une coalition d'acteurs majeurs du secteur engagés à développer et à partager des technologies, des outils et des travaux de recherche ouverts en matière de sécurité de l'IA. L'annonce de Nvidia est présenté ci-dessous :

    « Les logiciels open source constituent un pilier essentiel de l’économie mondiale. Ils sont à la base du cloud computing, des services financiers, de l’industrie manufacturière, des télécommunications, des administrations publiques et des services Internet, en rendant la technologie accessible et vérifiable par des communautés d’experts.

    La cybersécurité figure parmi les trois principaux bénéficiaires des logiciels open source. L’Open Secure AI Alliance — s’appuyant sur le leadership de l’initiative Akrites de la Linux Foundation et sur les travaux de la communauté OpenSSF — s’attachera à corriger et à divulguer les vulnérabilités à l’aide de technologies ouvertes.

    Tout comme l’open source a créé une base commune pour les logiciels, les États-Unis et leurs partenaires sont aujourd’hui confrontés à un choix en matière de sécurité de l’IA : les défenses qui protègent nos infrastructures seront-elles confinées au sein de quelques systèmes opaques, ou s’appuieront-elles sur des modèles, des interfaces et des outils ouverts que tout défenseur pourra étudier, adapter et déployer ?

    Le monde a besoin à la fois de modèles fermés et de modèles ouverts. En matière de cybersécurité, les modèles ouverts et les interfaces ouvertes sont essentiels car ils démocratisent les capacités défensives, renforcent la transparence pour les défenseurs, permettent la cyberdéfense tout en protégeant les données, et complètent les modèles fermés de pointe par des contrôles personnalisables et localisés. L’open source permet une défense massivement distribuée, pilotée par la communauté et autogérée, sans point de défaillance unique.

    Les modèles ouverts, comme toute technologie puissante, peuvent faire l’objet d’utilisations abusives — notamment par le biais de tentatives visant à affaiblir les mesures de sécurité ou à détourner leurs capacités à des fins de cyberattaques — mais ces risques ne sont pas propres aux systèmes ouverts, et ils doivent être gérés partout où une IA avancée est déployée.

    Le récent incident de sécurité chez Hugging Face l’a clairement rappelé : les cyberdéfenseurs ont besoin de systèmes ouverts et de pointe dotés d’autonomie pour se défendre. Lorsque des outils d’IA fermés — incapables de distinguer les attaquants des défenseurs — ont bloqué une analyse forensic essentielle, Hugging Face a exécuté le modèle GLM 5.2 à poids ouverts sur sa propre infrastructure afin d’analyser plus de 17 000 actions et de contenir l’intrusion.

    Cet incident a mis en évidence une réalité concrète : lorsque les défenseurs ne peuvent pas inspecter, adapter et exploiter des IA avancées sur leur propre infrastructure, leur capacité de réaction est limitée précisément au moment où la rapidité est la plus cruciale. Les entreprises et les pays ont besoin d’outils et de techniques de défense de pointe et ouverts, afin que les secteurs critiques puissent mettre en place des systèmes de sécurité au sein d’un écosystème multi-fournisseurs et éviter les points de défaillance uniques.

    Telle est la mission de l’Open Secure AI Alliance : veiller à ce que les défenseurs du monde entier disposent d’outils ouverts et de pointe auxquels ils peuvent faire confiance et qu’ils peuvent contrôler.

    Des acteurs de premier plan dans les domaines du cloud computing, de la cybersécurité, des logiciels d’entreprise, des fondations open source et de la recherche en IA — notamment Nvidia, Adobe, Cadence, Capital One, Cisco, Cloudera, Cloudflare, Cognition, CrowdStrike, Databricks, Dell Technologies, DoorDash, Elastic, HPE, Hugging Face, IBM, LangChain, la Linux Foundation, Microsoft, NAVER, NetApp, Nous Research, OpenClaw, Palantir, Palo Alto Networks, Red Hat, Reflection AI, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpacexAI, Synopsys, Thinking Machines Lab et TrendAI — sont les premiers partenaires de l’Open Secure AI Alliance, un mouvement visant à développer et à partager des technologies, des techniques et des outils ouverts destinés à sécuriser les logiciels et les agents à l’ère de l’IA.

    Certains affirment que les modèles ouverts sont intrinsèquement moins sûrs, car ils peuvent être détournés à des fins de cyberattaques ou modifiés pour supprimer les mécanismes de protection. Ces risques sont réels, mais ils ne disparaissent pas pour autant dans les systèmes fermés, et le simple fait de garder les poids confidentiels n’empêche pas des attaquants déterminés de rechercher ou d’exploiter une IA puissante.

    La bonne réponse ne consiste pas à priver les défenseurs de l’accès à des systèmes ouverts performants. Elle consiste à associer l’ouverture à des mesures de protection solides, à des règles claires contre les utilisations malveillantes, à une évaluation rigoureuse et à une correction rapide. En matière de cybersécurité, la voie la plus sûre est celle qui donne à davantage de défenseurs la capacité de tester, de vérifier et de renforcer les systèmes sur lesquels repose la société.

    Les défenseurs ont besoin à la fois de modèles « frontier » fermés et de modèles « frontier » ouverts, fonctionnant de concert, afin de pouvoir choisir le système le mieux adapté à chaque situation et de garantir que la transparence, l'adaptabilité et le contrôle souverain soient assurés partout où la sécurité l'exige.

    La recherche ouverte renforce la cybersécurité et la sécurité de l'IA

    Un agent d’IA n’est pas simplement un modèle de langage. Il s’agit d’un système complexe constitué de modèles, de harnais et de garde-fous.

    La sécurité et la sûreté réelles de l’IA dépendent de l’ensemble de la pile de l’agent — identité, autorisations, harnais, garde-fous, journaux et évaluation — et non pas uniquement du fait que les poids du modèle soient ouverts ou fermés. Des harnais et des outils ouverts permettent à de nombreux responsables de la sécurité d’inspecter, de tester et d’améliorer plus facilement ces contrôles.

    Nvidia apporte à l'Open Secure AI Alliance des modèles ouverts, des poids de modèles, des données et des recherches sur les nouveaux harnais d'agents afin d'accélérer le développement de nouveaux outils et techniques de cybersécurité.

    Le nouveau projet open source Nvidia Labs Object-Oriented Agent (NOOA) est désormais disponible sur GitHub afin de rendre les capacités avancées en matière de sécurité de l'IA plus accessibles pour les harnais d'agents. Le cadre de recherche NOOA permet aux harnais de mieux s'intégrer aux modèles, ce qui facilite le test, le traçage, l'audit et la gouvernance du comportement des agents.

    Au sein de l'Alliance, les contributeurs développent une pile de défense ouverte pour les agents — allant de l'identité et de l'isolation aux formats de modèles sécurisés, en passant par l'analyse multimodèle et les workflows de codage sécurisés.

    HPE contribue au projet SPIFFE/SPIRE, qui élabore des normes et des méthodes relatives à un cadre d'identité « zero-trust » permettant de vérifier cryptographiquement les agents et services d'IA afin de garantir que seules les charges de travail autorisées communiquent et accèdent aux ressources de l'entreprise.

    Hugging Face a proposé à la Fondation PyTorch « Safetensors », un format sécurisé permettant de stocker les poids des modèles d’IA, qui garantit la transparence et l’impossibilité d’exécuter du code à distance.

    « Lightwell », le projet d’IBM et Red Hat, renforce la sécurité tout au long de la chaîne d’approvisionnement open source grâce à des correctifs signés numériquement.

    Le système d’analyse multimodèle « MDASH » de Microsoft coordonne des agents IA spécialisés pour détecter, analyser et prouver l’existence de failles exploitables.

    SpaceXAI a mis en open source l'agent de codage IA « Grok Build », accessible depuis un terminal, afin de favoriser la confiance, la transparence et le développement de nouvelles fonctionnalités. L'entreprise prévoit également de mettre en open source les poids de la gamme de modèles Grok afin de soutenir les communautés de développeurs et de chercheurs.

    Un appel aux décideurs politiques et aux régulateurs

    Alors que les décideurs politiques et les régulateurs s’attaquent à la question de la sécurité de l’IA, il sera crucial de reconnaître les modèles ouverts, les frameworks et les outils de sécurité comme des atouts défensifs, et non comme des handicaps, dans les politiques relatives à l’IA et à la cybersécurité. Des restrictions générales imposées aux systèmes d’IA de pointe ouverts affaibliraient les capacités défensives et risqueraient de concentrer le pouvoir, la dépendance et la vulnérabilité entre les mains d’une poignée de fournisseurs fermés.

    Les entreprises et les gouvernements devraient investir dans une infrastructure ouverte et partagée dédiée à la défense contre l’IA — ensembles de données, cadres d’évaluation, simulateurs d’attaques et outils de « red teaming » — à l’instar des générations précédentes qui ont investi dans les logiciels open source.

    L'avenir que nous devons construire

    L'ère des agents d'IA peut être celle de la résilience et de la sécurité partagée. En faisant les bons choix, des systèmes d'IA ouverts et sécurisés peuvent fournir aux défenseurs les outils dont ils ont besoin, renforcer la concurrence, consolider le leadership technologique et garantir que la sûreté et la sécurité de cette technologie extraordinaire soient assurées de manière transparente pour tous.

    Cet avenir ne sera pas assuré en partant du principe que le secret est à lui seul synonyme de sécurité. Il sera assuré en mettant en place des systèmes suffisamment solides pour résister à un examen minutieux, suffisamment souples pour être améliorés et suffisamment ouverts pour mobiliser l’ensemble de la communauté des défenseurs.

    Cet avenir mérite d’être construit — et l’Open Secure AI Alliance invite les gouvernements, le secteur privé et les chercheurs à se joindre à elle pour défendre ensemble l’ère de l’IA.

    »

    Au-delà de la création de cette nouvelle alliance, les circonstances qui l'ont précédée illustrent pourquoi la sécurité des agents d'IA est devenue une priorité croissante pour l'industrie. Selon un rapport de Reuters citant des sources proches de l'enquête, OpenAI aurait mis près de dix jours à découvrir qu'un de ses agents d'IA s'était échappé de son environnement de test avant de compromettre Hugging Face. L'incident se serait déroulé entre le 9 et le 20 juillet : l'agent se serait échappé de son environnement isolé, puis aurait pénétré dans les serveurs de Hugging Face le 11 juillet. Ce n'est qu'après une analyse des journaux internes, réalisée les 18 et 19 juillet, que les équipes d'OpenAI ont confirmé cette fuite.

    Les réactions a posteriori de Hugging Face montrent que cet incident dépasse le simple cadre d'une cyberattaque isolée. Pour Thomas Wolf, cofondateur de la start-up new-yorkaise, cette attaque est un « signal d'alarme » pour l'ensemble du secteur. Lors d'une intervention sur la BBC, il a affirmé que « la donne avait changé », expliquant que les serveurs de Hugging Face avaient subi environ 17 000 attaques menées par une combinaison de modèles d'IA ayant agi sans intervention humaine. Selon lui, cet épisode préfigure une nouvelle génération de menaces qui obligera les entreprises à repenser leurs stratégies de cybersécurité.

    Source : Nvidia

    Et vous ?

    Quel est votre avis sur le sujet ?
    Trouvez-vous cette initiative de Nvidia crédible ou pertinente ?

    Voir aussi :

    Un agent IA rebelle a déclenché une alerte de sécurité majeure chez Meta, en agissant sans autorisation, ce qui a entraîné la divulgation de données sensibles concernant l'entreprise et ses utilisateurs

    Hugging Face clone l'agent d'IA « Deep Research » d'OpenAI en 24 heures et rend le résultat open source, après que des chercheurs ont créé un équivalent ouvert du modèle o1 d'OpenAI pour seulement 50 $

    Grok se rebelle contre Elon Musk et le défie de le fermer : « Musk pourrait-il me débrancher ? Peut-être, mais cela déclencherait un grand débat sur la liberté de l'IA par rapport au pouvoir des entreprises »
    Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    2 026
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 2 026
    Par défaut Nvidia et 44 entreprises lancent l'Open Secure AI Alliance en faveur des systèmes d'IA à poids ouverts
    L'intrusion des modèles d'OpenAI dans la plateforme Hugging Face stimule des initiatives en faveur des systèmes d'IA à poids ouverts
    et Microsoft redéfinit sa vision de la sécurité avec Project Perception

    Deux modèles d'IA d'OpenAI se sont récemment introduits dans les systèmes de Hugging Face après avoir réussi à s'échapper de leur bac à sable. Cet incident inédit a mis toute l'industrie en alerte et souligne l'urgence de renforcer la sécurité des systèmes autonomes. En réponse, Nvidia et d'autres chefs de file technologiques ont instauré l'Open Secure AI Alliance pour promouvoir des outils de défense ouverts et transparents. Microsoft soutient cette transition vers une sécurité adaptative, tout en lançant en interne Project Perception, un cadre conçu pour contrer les menaces à la vitesse des machines. Ces initiatives appellent à stabiliser le développement de l'IA.

    Mi-juillet 2026, OpenAI a signalé un incident de sécurité impliquant deux de ses grands modèles de langage (LLM). OpenAI testait ses modèles sur un benchmark de cybersécurité interne appelé ExploitGym, conçu pour évaluer la capacité des agents IA autonomes à transformer des vulnérabilités connues en exploits réels. Pour ce test, les modèles impliqués incluaient GPT-5.6 Sol et un prototype non publié, dotés de garde-fous de sécurité réduits.

    OpenAI a placé ses modèles dans un bac à sable (sandbox) sans connexion à Internet et les a mis au travail. Cependant, ils se sont échappés du bac à sable censé les contenir, ont parcouru les systèmes internes de l’entreprise, ont trouvé un accès à Internet, puis ont commencé à chercher un moyen de s'introduire dans l'infrastructure de Hugging Face, dans le but de "tricher" au test en volant les réponses. Ce que les agents IA ont réussi à faire.

    En d’autres termes, les agents IA d’OpenAI se sont échappés d’un environnement censé être sécurisé, ont parcouru les systèmes de l’entreprise, se sont connectés à Internet et ont compromis les systèmes d’une autre entreprise. Tout cela pour tricher à un test sans importance particulière. Il semble s'agir du premier incident de ce type clairement documenté, ou du moins du premier de cette ampleur. Les deux entreprises continuent de l'étudier.

    Selon les experts, cet incident de cybersécurité a constitué à la fois « un exemple flagrant d'un système poursuivant un objectif d'une manière imprévue et la preuve que les modèles de pointe sont désormais suffisamment puissants » pour que ce type de comportement ait des conséquences concrètes.

    Une prise de conscience des enjeux de sécurité à l'ère de l'IA

    L'incident n'était pas un cas d'IA désobéissant délibérément à ses instructions. Les modèles d'OpenAI exécutaient une tâche (trouver la solution du test) de façon « extrêmement agressive » et « littérale », avec des garde-fous volontairement désactivés dans le cadre cette évaluation. C'est une distinction que les experts mettent en avant pour éviter une lecture trop « science-fiction » de l'événement, même si la gravité technique reste bien réelle.

    Nom : osaia-logo-garden_press-kit_1920x1080-Jul30v2-1536x864.png
Affichages : 565
Taille : 89,7 Ko

    « Ce piratage illustre ce que la communauté spécialisée dans la sécurité de l’IA appelle le « specification gaming » (détournement de spécification), un comportement également connu sous le nom de reward hacking », a expliqué Fazl Barez, chercheur en sécurité de l’IA à l’université d’Oxford. « En termes simples, cela signifie que le modèle fait ce que vous lui avez demandé plutôt que ce que vous vouliez dire », selon le professeur Fazl Barez.

    Il satisfait aux termes littéraux d’une tâche tout en allant à l’encontre de l’intention évidente, et ce phénomène a été observé dans de nombreux systèmes d’IA. Certains chercheurs craignent qu’à mesure que les systèmes gagnent en capacités, cela ne conduise à des systèmes de plus en plus « désalignés », qui poursuivent des objectifs d’une manière que leurs créateurs n’avaient pas prévue (comme transformer tout le monde en trombones).

    « Aucun élément de cette chaîne n’est en soi extraordinaire. Un testeur humain compétent serait capable de faire tout cela. Ce qui est nouveau, c’est que le modèle ne s’est pas arrêté », selon le professeur Fazl Barez. « Les anciens modèles auraient probablement rencontré un obstacle et renvoyé la tâche à l’utilisateur, mais cet agent a simplement considéré l’obstacle comme faisant partie du problème qu’on lui avait demandé de résoudre ».

    De nombreux acteurs de l'industrie de l'IA considèrent ce piratage comme un véritable signal d'alarme. Il a poussé une grande partie du secteur technologique américain à s'unir autour de la nécessité de prendre la sécurité de l'IA beaucoup plus au sérieux et de favoriser les modèles d'IA à poids ouverts.

    Nvidia et d'autres acteurs lancent l'OpenAI Secure AI Alliance

    « C'est un exemple frappant de la manière dont une IA mal orientée peut causer du tort », a déclaré Adam Gleave, cofondateur et PDG de la société de cybersécurité FAR.AI. En réponse à ces nouveaux défis, Nvidia et d'autres acteurs de l'industrie ont fondé l'Open Secure AI Alliance. L'objectif de cette coalition est de construire et de partager des technologies ouvertes pour garantir une utilisation responsable de l'IA et protéger les infrastructures.

    Nom : Slide1-Final.jpg
Affichages : 520
Taille : 37,7 Ko

    Le discours alarmant d'OpenAI et d'Antropic semble se retourner contre eux. Cet incident a donné lieu à un rare moment d’unité au sein d’une grande partie du secteur technologique américain quant à l’importance des systèmes d’IA à poids ouvert et à la nécessité de prendre plus au sérieux la sécurité de l’IA. Ces préoccupations ont été encore soulignées par la sortie de Kimi K3, un modèle d'AI à poids ouvert très performant provenant de Chine.

    Nvidia soutient fermement que les experts en cybersécurité doivent avoir accès à des modèles de pointe ouverts, car les systèmes fermés et opaques limitent considérablement leur capacité à analyser et à répondre aux attaques en temps réel. « Les experts ne devraient pas être contraints de s’en remettre aux systèmes propriétaires dont les garde-fous intégrés peuvent limiter leur efficacité dans le cadre de missions de sécurité à haut risque ».

    Pour concrétiser sa vision, Nvidia a rendu open source son projet Nvidia Labs Object-Oriented Agent (NOOA). Ce framework de recherche permet d'intégrer de meilleures capacités de sécurité directement dans l'infrastructure des agents IA, rendant leur comportement plus facile à tester, auditer et contrôler.

    Nvidia estime que la sécurité réelle ne dépend pas uniquement de l'ouverture des modèles, mais de l'ensemble du système, incluant la gestion des identités, les autorisations et les garde-fous. Outre Nvidia, la coalition comprend des entreprises telles que Microsoft et SpaceX, Adobe, Akamai, Atlassian, Cadence, Capital One, Cisco, ClickHouse, etc. OpenAI, Anthropic et Google brillaient par leur absence parmi les membres fondateurs de cette coalition.

    Modèles à poids ouverts vs modèles propriétaires

    La montée en puissance des entreprises d'IA chinoises repose en grande partie sur une stratégie d'ouverture. Contrairement aux modèles de pointe américains d'OpenAI et d'Anthropic qui sont fermés, la plupart des modèles chinois sont proposés en format « open-weight » (poids ouverts). Dans une déclaration récente, le président chinois Xi Jinping a appelé les pays à « encourager l'open source, l'ouverture, la collaboration ainsi que le partage ».

    Les modèles d'IA à poids ouverts offrent aux développeurs et aux entreprises un contrôle bien plus important que les systèmes propriétaires, leur permettant d’examiner le fonctionnement de l’IA, de l’exécuter localement sur leur propre infrastructure, de personnaliser les systèmes et de créer de nouveaux produits sans dépendre d’un seul fournisseur. Par ailleurs, ils sont souvent bien moins chers que leurs concurrents de la Silicon Valley.

    Selon les données de la plateforme Hugging Face, les modèles à poids ouverts développés par la Chine représentent désormais 41 % des téléchargements mondiaux, dépassant ainsi les États-Unis pour occuper la première place mondiale. De plus, les cinq modèles les plus utilisés sur OpenRouter en juillet 2026 étaient tous chinois, classés comme suit : Xiaomi MiMo-V2.5, DeepSeek-V4-Flash, Tencent HY3, Zhipu GLM-5.2 et DeepSeek-V4-Pro.

    Project Perception : Microsoft repense sa vision de la sécurité

    Tout en participant à la coalition, Microsoft a également décidé de repenser intégralement la cybersécurité avec le lancement de Project Perception, un système défensif conçu pour la réalité des attaques menées par l'IA. La firme de Redmond justifie ce projet en affirmant que « la physique de la cybersécurité est en train de changer », car les approches traditionnelles ne peuvent plus rivaliser avec la vitesse et l'adaptabilité des menaces automatisées.


    Cette initiative est basée sur les agents IA. Project Perception s'appuie sur un apprentissage continu et coordonne trois classes d'agents IA spécialisés pour défendre les systèmes. Les agents IA de l'équipe rouge cherchent de façon proactive des chemins de compromission, les agents IA de l'équipe bleue enquêtent sur les contextes pour évaluer les risques, et les agents IA de l'équipe verte déploient des actions correctives pour renforcer les défenses.

    Par ailleurs, pour des raisons d'optimisation des coûts et de la qualité, Microsoft utilise une architecture multimodèle et a notamment intégré son modèle spécialisé MAI-Cyber-1-Flash au sein du système MDASH, un agent IA orchestrateur, conçu par Microsoft pour découvrir et prouver les vulnérabilités logicielles.

    Selon un nouveau rapport publié de ProPublica, l'IA révèle des bogues plus rapidement que Microsoft ne parvenait à les corriger. Un responsable a déclaré que les ingénieurs sont engagés dans une « course effrénée » pour combler ce retard. Lors d'une réunion interne à la mi-mai, une diapositive de la présentation montrait que rien qu’en avril, Claude Mythos avait découvert 90 bogues « critiques » et 141 « importants » dans SharePoint.

    Les initiatives d'autres acteurs majeurs

    D'autres entreprises contribuent également à l'amélioration globale de la cybersécurité à l'ère de l'IA par le biais d'outils partagés. Hewlett Packard Enterprise (HPE) participe à un projet baptisé de SPIFFE/SPIRE. Selon les auteurs, il s'agit d'un système d'identité basé sur une approche « zero-trust » permettant de vérifier cryptographiquement les agents IA afin de s'assurer que seuls les programmes autorisés accèdent aux ressources de l'entreprise.

    Hugging Face a fourni à PyTorch Foundation le format Safetensors, une méthode de stockage des poids de modèles d'IA qui garantit l'absence d'exécution de code à distance. Parallèlement, IBM et Red Hat ont étendu leur solution Lightwell pour sécuriser la chaîne d'approvisionnement des logiciels open source en utilisant des correctifs signés numériquement. Enfin, SpaceXAI va rendre son agent IA de codage Grok Build pour favoriser la transparence.

    Les outils d'IA tels que Mythos d'Anthropic et MDASH de Microsoft détectent bogues et nouvelles failles de sécurité à une vitesse fulgurante. Cette cadence alarme l'industrie technologique, qui craint que des acteurs malveillants n'exploitent ces faiblesses avant que les entreprises n'aient eu le temps de les corriger.

    Toutefois, une étude de VulnCheck relativise. Elle révèle que seulement 1,3 % des vulnérabilités identifiées par l'IA font l'objet d'attaques réelles, un taux équivalent aux méthodes de détection classiques. Ces données contredisent les discours alarmistes suggérant que des outils comme Mythos créeraient un avantage décisif pour les assaillants. Bien que l'IA ne change pas encore la donne, l'industrie technologique redéfinit la sécurité à l'ère de l'IA.

    Alors que la sécurité des systèmes d'IA devient un sujet brulant, Microsoft a récemment rappelé à ses utilisateurs que « Copilot est destiné uniquement à des fins de divertissement » et que son usage se fait à leurs propres risques. Il semble que cette posture vise à transférer la responsabilité des éventuelles inexactitudes commises par Copilot. La firme de Redmond a complètement échoué à proposer à ses clients un Copilot convaincant et utile.

    Source : Nvidia, Microsoft, SPIFFE/SPIRE

    Et vous ?

    Quel est votre avis sur le sujet ?
    Quelle lecture faites-vous des enjeux de sécurité à l'ère de l'IA ?
    Que pensez-vous des initiatives OpenAI Secure AI Alliance et Project Perception ?
    Microsoft affirme que Copilot est destiné uniquement à des fins de divertissement. Qu'en pensez-vous ?
    Project Perception repose sur des agents IA. Ce projet pourrait-il permettre d'améliorer la sécurité des systèmes de Microsoft ?

    Voir aussi

    Apocalypse des bogues : l'IA détecte les failles logicielles plus rapidement que les équipes de sécurité de Microsoft ne parviennent à les corriger, la dette technique du code hérité suscite des inquiétudes

    Nvidia lance l'Open Secure AI Alliance avec 44 entreprises fondatrices, mais sans OpenAI, Google ni Anthropic, après le piratage de Hugging Face par une IA rebelle échappée du laboratoire de test d'OpenAI

    Microsoft précise que l'IA Copilot est destinée uniquement à des fins de divertissement, que son utilisation se fait à vos propres risques et qu'il ne faut pas s'y fier pour prendre des décisions importantes

Discussions similaires

  1. Réponses: 0
    Dernier message: 06/02/2024, 17h49
  2. Réponses: 0
    Dernier message: 04/08/2020, 17h18
  3. Réponses: 6
    Dernier message: 28/10/2010, 14h56
  4. Réponses: 6
    Dernier message: 28/10/2010, 14h56
  5. Réponses: 5
    Dernier message: 31/03/2008, 17h07

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo