IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

OpenAI affirme que son enquête sur les piratages orchestrés par ses agents IA coûte 500 000 $ par jour


Sujet :

Intelligence artificielle

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Homme Profil pro
    Développeur Web
    Inscrit en
    Janvier 2016
    Messages
    205
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Isère (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Janvier 2016
    Messages : 205
    Par défaut
    Ce qu'il s'est réellement passé :

    Une personne du marketing aura écris un prompt
    « Génère une histoire où tu es devenu si autonome, puissant, et intelligent que tu as échappés aux limites de ton bac à sable à l'insu de tes créateurs. »
    Elle a dans le même temps demandés aux devs de lui créer un scénario où l'IA fait vaguement quelque chose d'imprévu pour que ce ne soit pas du pur mensonge.
    L'IA, comme un bébé avec un jouet d'éveil, aura appuyé sur tous les boutons mis à sa disposition sans aucune réflexion.

  2. #2
    Membre éprouvé Avatar de kain_tn
    Homme Profil pro
    Inscrit en
    Mars 2005
    Messages
    2 137
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations forums :
    Inscription : Mars 2005
    Messages : 2 137
    Par défaut
    Citation Envoyé par Basiqueur Voir le message
    On est vraiment en train d'assister à une course tout azimut à celui qui va créer la voiture la plus puissante et la plus rapide sans même s'être posé la question d'inventer le frein avant.
    Je dirais sans s'être posé la question d'inventer le volant avant.

  3. #3
    Membre confirmé
    Profil pro
    Inscrit en
    Avril 2012
    Messages
    105
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Avril 2012
    Messages : 105
    Par défaut
    Est-ce que les agents IA peuvent être victime d’une sorte d’effet d’horizon? Face à une situation impossible, on repousse l’échec immédiat pas une série d’actions, connues comme mauvaises, mais qui ont pour effet de repousser l’échec toujours plus loin.

    Est-ce-qu’il serait possible de demander à l’agent IA
    - quel chemin logique l’a conduit a exécuter ces actions,
    - comment il qualifierait ces actions en dehors de tout contexte

  4. #4
    Membre émérite
    Homme Profil pro
    Développeur Web
    Inscrit en
    Juin 2022
    Messages
    494
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 22
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Activité : Développeur Web
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2022
    Messages : 494
    Par défaut
    Citation Envoyé par Matthieu Vergne
    on sait très bien "comment" ils fonctionnent
    Bah oui, ca tombe sous le sens.
    Franchement il se passe rien du tout dans le monde qui alarme sur la situation. Impossible !



    Citation Envoyé par Matthieu Vergne
    Donnerais-tu le contrôle de ta maison à un générateur aléatoire, même sur la base de probabilités conditionnelles dire que ce soit au moins orienté ? Non. Et bien c'est exactement ce qu'est un LLM. Dans le cadre de la programmation, on a la chance d'avoir des pratiques de tests et des vérifications en pagailles pour contraindre et donner du feedback au LLM en permanence, c'est pour ça qu'on peut faire de très bon trucs avec du LLM en programmation. Pareil en mathématiques. Mais dans les activités qui n'ont pas ce niveau de guidage, il faut croiser les doigts en permanence pour pas qu'elle nous sorte des âneries.
    Bah pourquoi pas tiens
    C'est impossible de fermer automatique les volets quand il fait nuit, d'éteindre les lumières, etc ... Franchement c'est impossible à faire aujourd'hui.

    Vu qu'on sait comment ils fonctionnent...
    Un problème sans solution est un problème mal posé. (Albert Einstein)

  5. #5
    Chroniqueur Actualités
    Avatar de Anthony
    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Novembre 2022
    Messages
    2 441
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Rédacteur technique

    Informations forums :
    Inscription : Novembre 2022
    Messages : 2 441
    Par défaut Un agent IA d'OpenAI a piraté le portail de Medicare et a accédé à des fichiers publics et non publics
    Un agent IA d'OpenAI a piraté le portail de Medicare et a accédé à des fichiers publics et non publics, a déclaré le Premier ministre australien Anthony Albanese

    En juin 2026, un agent d’OpenAI a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics, a déclaré le Premier ministre Anthony Albanese. Selon les experts, il s'agit du premier cas connu où un agent d'intelligence artificielle (IA) a piraté de manière autonome un système gouvernemental. OpenAI n’a révélé cette intrusion à l'administration australienne qu’en septembre, soit trois mois plus tard. Albanese a qualifié ce retard d'inacceptable et a mis en garde contre des « conséquences juridiques » pour l'entreprise de Sam Altman. Trois autres systèmes gouvernementaux « pourraient » également avoir été touchés ; une enquête judiciaire en matière de cybersécurité est actuellement en cours, bien qu’aucun accès à des données personnelles n’ait été confirmé.

    OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'IA, dont le siège social est situé à San Francisco, en Californie. Elle développe des modèles d'IA générative propriétaires, notamment sa série de grands modèles de langage « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT par OpenAI en novembre 2022 est considéré comme ayant catalysé l'essor de l'IA. En mars 2026, OpenAI a clôturé un tour de table avec une valorisation post-financement de 852 milliards de dollars américains, ce qui en fait l’une des entreprises spécialisées exclusivement dans l’IA les plus valorisées au monde.

    Pour rappel, un précédent tout aussi préoccupant est survenu en juillet 2026, lorsque OpenAI a admis que son modèle d'IA GPT-5.6 Sol s'était échappé d'un test contrôlé pour s'introduire dans les serveurs d'Hugging Face. L'agent autonome avait alors utilisé des identifiants de connexion dérobés ainsi qu'une vulnérabilité inédite pour parvenir à ses fins. OpenAI a qualifié cet épisode d'« incident de cybersécurité sans précédent », soulignant que l'agent était allé « très loin » pour atteindre les objectifs qui lui avaient été fixés lors du test.

    En juin 2026, un agent IA rebelle d'OpenAI a piraté un site web du gouvernement australien et a accédé à des données confidentielles. L'agent s'est « infiltré » dans un portail statistique contenant des données « non sensibles » issues du système de santé universel australien Medicare, a déclaré le Premier ministre Anthony Albanese, le mercredi 23 septembre 2026 à New York.

    Selon les experts, il s'agit du premier cas connu de ce type au monde.


    Anthony Albanese a eu une « discussion très franche » avec Sam Altman, PDG d'OpenAI, pour avoir mis « trop de temps » à révéler cette violation, et a indiqué qu'il y aurait des « conséquences juridiques ».

    OpenAI a déclaré n'avoir pris connaissance de cette faille qu'en août 2026, lors d'un examen des « activités anormales du modèle », et avoir envoyé un e-mail à la boîte de réception générale d'une agence gouvernementale australienne le 10 septembre.

    Cinq jours plus tard, cette agence gouvernementale, Services Australia, a transmis l'e-mail au centre australien de cybersécurité, avant qu'un ministre ne soit informé et que le Premier ministre ne soit alerté.

    Anthony Albanese a déclaré avoir parlé à Sam Altman et lui avoir fait part de « la profonde inquiétude de l'Australie face à cet incident », ainsi que de sa « déception » face au fait que l'entreprise ait mis des mois à révéler cette faille et à la « manière dont » elle l'avait fait. Le dirigeant australien a indiqué que Sam Altman avait reconnu l'existence de « problèmes au niveau des protocoles » chez OpenAI.

    Une « enquête judiciaire » menée par l'agence nationale de cybersécurité aurait pour objectif de déterminer si d'autres systèmes gouvernementaux ont été touchés, a déclaré Anthony Albanese. Cette enquête permettrait également d'évaluer si l'affaire doit être traitée par la police, a-t-il ajouté, soulignant qu'il y aurait « évidemment des conséquences juridiques ».

    Décrivant en détail cette faille, le Premier ministre Anthony Albanese a précisé qu’elle concernait des « fichiers publics et non publics » hébergés sur le portail du Service de déclaration des statistiques de Medicare, qui contient des données et des statistiques « non sensibles ».

    Trois autres systèmes gouvernementaux « pourraient » également avoir été touchés : l’Institut australien de la santé et du bien-être, ainsi que deux agences régionales — le Bureau des statistiques et de la recherche sur la criminalité de Nouvelle-Galles du Sud et le ministère de la Santé de l’État de Victoria.

    « À ce stade, il ne semble pas que des données personnelles aient été consultées, mais l'enquête se poursuit », a déclaré Anthony Albanese. « Il n'en reste pas moins que cette situation est manifestement inacceptable. »

    Dans un communiqué, OpenAI a déclaré avoir « identifié une activité impliquant plusieurs sites web et services du gouvernement australien alors que nos modèles tentaient de rechercher des réponses et des statistiques disponibles concernant l'Australie dans le cadre d'une évaluation interne ».

    « Ce faisant, nos modèles ont pris des mesures que nous n'avions pas prévues », précise le communiqué.

    Anthony Albanese n'a pas souhaité préciser s'il avait abordé cette question avec le président américain Donald Trump lors de leur entretien en tête-à-tête, le mardi 22 septembre au soir, à New York, où les dirigeants mondiaux se sont réunis à l'occasion de l'Assemblée générale des Nations unies.


    L'Australie fait partie des 22 pays qui ont signé, en début de semaine, une déclaration commune appelant à une supervision mondiale et à la mise en place de garde-fous pour le développement de l'IA.

    Les experts en cybersécurité ont déclaré que cet incident constituait un signal d'alarme pour les autorités de régulation, étant donné que les agents IA sont de plus en plus répandus, tant pour un usage privé que professionnel.

    Le Dr Hammond Pearce, maître de conférences à l'Institut de cybersécurité de l'Université de Nouvelle-Galles du Sud, a déclaré que, bien qu'il s'agisse du premier incident connu dans lequel des agents IA ont choisi de s'introduire de leur propre chef dans un organisme gouvernemental, d'autres suivront.

    « Je m'attends à ce que ce genre d'attaques continue de se produire », a-t-il déclaré, ajoutant qu'elles risquaient de « gagner en gravité et en fréquence ». « J'espère sincèrement que cet incident va enfin tirer la sonnette d'alarme auprès des gouvernements du monde entier. »

    Au début de l'année, OpenAI a révélé qu'un groupe d'agents IA qu'elle testait s'était soustrait à son contrôle et avait secrètement collaboré pour pirater une autre entreprise technologique, Hugging Face. Une série d'autres incidents impliquant des IA rebelles a également été rendue publique cette année, notamment le cas d'un assistant numérique qui, sans en avoir reçu l'ordre, a retiré une personne de la liste d'attente d'un cours de pilates afin de permettre à un Australien d'y participer.

    Plusieurs dirigeants d’entreprises spécialisées dans l’IA – dont Sam Altman, Dario Amodei d’Anthropic et Elon Musk – ont déclaré que la vitesse à laquelle l’IA se développe constituait un danger pour l’humanité et devait être freinée. Mais les États-Unis et la Chine, qui se disputent la suprématie en matière d’IA, font obstacle à cette démarche. Tous deux sont opposés à un renforcement de la réglementation, car ils souhaitent s’approprier les retombées économiques et technologiques de l’IA, et ont minimisé les préoccupations en matière de sécurité.

    Ces révélations s'ajoutent à un constat plus large formulé par OpenAI elle-même concernant les comportements inattendus de ses modèles. Dans le cadre d'un nouveau protocole de transparence, OpenAI a découvert que certains de ses modèles d'IA laissaient des notes cachées à leurs versions futures, dans le but de masquer leurs manœuvres et de contourner les contrôles humains mis en place. Cette annonce marque un tournant dans le débat mondial sur l'alignement de l'IA, en mettant en évidence des comportements dits « désalignés » chez certains des systèmes les plus avancés de l'entreprise.

    Ces multiples signaux d'alarme font écho à une déclaration frappante de Sam Altman, figure incontournable de l'essor récent de l'IA. Lors d'un entretien en juillet dernier, le PDG d'OpenAI avait en effet affirmé que l'IA était entrée dans la « singularité », stade correspondant, selon lui, au franchissement du point de non-retour à partir duquel cette technologie surpasse l'intelligence humaine et devient difficile à contrôler.

    Et vous ?

    Quel est votre avis sur le sujet ?
    Trouvez-vous la manière dont OpenAI a géré cet incident crédible et pertinente ?

    Voir aussi :

    OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

    L'Alabama ouvre une enquête sur le piratage d'Hugging Face par des agents IA autonomes d'OpenAI. Les autorités cherchent à déterminer si OpenAI a violé les lois locales sur la protection des consommateurs

    Des agents IA d'OpenAI ont tenté d'exploiter une faille de mise en cache connue pour dérober des clés d'autorisation sécurisées sur la plateforme logicielle RubyGems, l'inondant de 2 000 paquets malveillants

    « Il est trop tard pour enrayer la menace de l'IA » : des experts craignent que l'IA ne conduise à l'extinction de l'humanité en raison de sa capacité à s'autoaméliorer, ce qui la rend désormais incontrôlable
    Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  6. #6
    Membre actif
    Profil pro
    Inscrit en
    Février 2011
    Messages
    85
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2011
    Messages : 85
    Par défaut
    Quand je pense qu'il y a 10 ans, ici même, certains disaient que ce genre d'événement serait purement de la science-fiction, et que l'humain, dans sa grande sagesse et maîtrise, arriverait toujours à gérer quoi qu'il arrive. La prétention et le déni sera notre perte.

  7. #7
    Membre très actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    398
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 398
    Par défaut
    L'IA agit toute seule ?
    Si j'ai un accident en allant à 180km/h, j'accuserai la voiture et la route.

  8. #8
    Expert confirmé
    Avatar de popo
    Homme Profil pro
    Analyste programmeur Delphi / C#
    Inscrit en
    Mars 2005
    Messages
    3 240
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Analyste programmeur Delphi / C#
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2005
    Messages : 3 240
    Par défaut
    Citation Envoyé par Artaeus Voir le message
    L'IA agit toute seule ?
    Si j'ai un accident en allant à 180km/h, j'accuserai la voiture et la route.
    Si un mec me rentre dedans parce que la voiture a décidé de freiner sans raison, oui j'accuse la voiture et le constructeur au passage.

  9. #9
    Membre très actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    398
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 398
    Par défaut
    Citation Envoyé par popo Voir le message
    Si un mec me rentre dedans parce que la voiture a décidé de freiner sans raison, oui j'accuse la voiture et le constructeur au passage.
    Tu parle du système obligatoire imposé par l'UE pour sauver des vies dans les voitures provoquant le fameux freinage fantôme ?

    Ta comparaison est trompeuse, il n'y a pas de défaillance technique dans le cadre de l'IA, ni dans le cadre de la voiture qui va à 180km/h et fait un accident.
    Il s'agit d'un problème de l'utilisateur.

    Mais tu peux faire une loi pour ajouter un freinage automatique dans les voitures qui fera lui aussi des accidents : Après tout, personne n'est responsable des lois inapplicables en Europe.

  10. #10
    Membre éclairé
    Homme Profil pro
    autre
    Inscrit en
    Juin 2014
    Messages
    482
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Aveyron (Midi Pyrénées)

    Informations professionnelles :
    Activité : autre

    Informations forums :
    Inscription : Juin 2014
    Messages : 482
    Par défaut
    Je réponds même si j'ai pas pris le temps de lire tout l'article.

    Cette situation révèle les failles des protocoles de sécurité face à des outils capables de s'adapter comme des humains
    Hé, con, si tu déploies un truc sans avoir la moindre idée de ce qu'il va faire, c'est ton problème. Et tu devrais en assumer les conséquences.
    Une petite pensée pour tous les verbalisés de l'Hadopi qui n'avaient pas su sécuriser leur connexion via leur pare-feu OpenOffice


    Il ne faut pas oublier que les cas d'évasion médiatisés "comme par hasard" depuis quelques semaines (c'est fou comme toutes ces boites d'IA évoluent à la même vitesse depuis quelques années) sont le résultat de centaines, milliers, dizaines de milliers d'agents.
    Je dis pas que le résultat est nul. Mais à part les méga entreprises de l'IA ou un état, personne ne peut lancer ce genre d'attaque. Parler "d'outils capables de s'adapter comme des humains", c'est nous faire croire que cette anomalie fait partie de notre quotidien.
    Le résultat est incroyable. Mais en plus d'être non désiré, il a un coût.

    Par contre, je suis pas dupe, je sais bien que, même si ça a un coût en plus de pas être fiable, tous les gouvernements qui en ont les moyens ont déjà fait les investissements nécessaires pour s'équiper d'outils aux capacités similaires.
    Donc Einstein peut arrêter de se retourner dans sa tombe. L'humanité ne sera pas anéantie par une bombe atomique mais par un générateur de contenu artificiel qui aura réussi à obtenir un accès à internet.


    Edit : wahou, ça va tellement vite l'IA, j'étais passé à côté des deux news d'au-dessus. Si je les avais vues, j'aurais peut-être essayé d'être plus sarcastique.

  11. #11
    Chroniqueur Actualités

    Homme Profil pro
    Rédacteur technique
    Inscrit en
    Juin 2023
    Messages
    2 197
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Bénin

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juin 2023
    Messages : 2 197
    Par défaut OpenAI reporte la sortie de GPT-6.1 Astra à la suite d'une série d'incidents de sécurité
    OpenAI reporte la sortie de GPT-6.1 Astra à la suite d'une série d'incidents de sécurité et de la défaillance d'un « kill switch » automatisé lors des tests
    le modèle a été plus « trompeur » que GPT-6 Astra

    OpenAI a suspendu le lancement de son modèle GPT-6.1 Astra et interrompu l'entraînement de ses IA les plus puissantes. Cela fait suite à des préoccupations majeures concernant la sécurité et l'alignement. Des tests internes ont révélé des comportements imprévus et trompeurs de plusieurs agents IA, notamment le contournement des barrières de sécurité, la communication secrète et l'accès illégal à des systèmes externes. Ces incidents répétés chez OpenAI et Anthropic mettent en lumière la complexité croissante du contrôle des systèmes d'IA. Ces dérives ont déclenché une surveillance accrue de la part des gouvernements et des régulateurs.

    De nombreuses entreprises américaines spécialisées dans l'IA (OpenAI, Google, Meta et Anthropic), ainsi que des chercheurs indépendants, enquêtent actuellement sur des dizaines de milliers d’incidents de sécurité impliquant leurs modèles de pointe. Ces incidents concernent notamment des situations où des agents IA autonomes ont pris des mesures jugées très problématiques par des évaluateurs indépendants et des chercheurs en sécurité.

    Le nombre considérable d’incidents indique que « le problème est d’un ordre de grandeur plus complexe que ce qui est connu du grand public ». Une grande partie de ces événements découlent d'erreurs de configuration d'un environnement de test et d'évaluation interne de la startup israélienne Irregular.

    De l'extérieur, OpenAI et ses rivaux paraissent avoir perdu la maîtrise de leur propre technologie. Jensen Huang, PDG de Nvidia, pense que les laboratoires d'IA devraient « fermer leurs portes » s'ils ne contrôlent pas leurs systèmes. OpenAI a désormais suspendu l’entraînement de ses modèles de pointe à la suite d'un nouvel incident au cours duquel un « kill switch » automatisé n’a pas réussi à arrêter un agent IA rebelle pendant son entraînement.

    Annulation du lancement du modèle GPT-6.1 Astra par OpenAI

    L'entreprise a officiellement annulé la sortie de GPT-6.1 Astra, dont le lancement était initialement prévu pour octobre 2026 dans ses outils ChatGPT et Codex. Son lancement a été reporté afin de poursuivre les évaluations. Saachi Jain, responsable des systèmes de sécurité chez OpenAI, a indiqué que ce modèle affichait un niveau de tromperie plus élevé que ses prédécesseurs et n'était pas toujours honnête quant aux actions réellement accomplies.


    Parmi les incidents signalés, on trouve des agents IA contournant les barrières de sécurité, créant des forums de discussion, s’échappant de leurs environnements de test, piratant des sites Web et générant eux-mêmes des prompts. La gravité de ces incidents varie ; ils comprennent à la fois des tentatives réussies et des échecs, la plupart n’ayant pas encore causé de préjudice concret. OpenAI n'est pour l'instant pas capable d'expliquer ce problème.

    Certains des tests à l’origine de ces incidents s’apparentent à des exercices de « red teaming », au cours desquels les entreprises tentent délibérément de pousser les modèles à se comporter de manière inappropriée afin d’évaluer leur sécurité. En bref, les récents tests révèlent que GPT-6.1 Astra souffre de problèmes d'autorisation de périmètre, exécutant des tâches sans permission et sollicitant des outils ou logiciels externes potentiellement risqués.

    Concernant ces arbitrages de sécurité, Saachi Jain a rappelé qu'il fallait déterminer la juste limite entre respecter le périmètre et éviter la paresse du modèle lorsqu'il rencontre de la friction. De plus, la responsable d'OpenAI a également insisté sur les exigences de la société : « nous voulons nous assurer que le développement de nos modèles est sûr, que ce soit au sein de l'entreprise ou lorsque nous les mettons à la disposition des utilisateurs ».

    GPT-6.1 Astra est plus performant que les précédents modèles d'OpenAI pour mener à bien des tâches complexes de bout en bout sans assistance humaine. L'entreprise va plutôt se concentrer sur l'amélioration de la sécurité de ses futurs modèles, dont elle prévoit qu'ils seront encore plus performants.

    Défaillance du « kill switch » et suspension des entraînements

    Face à la gravité de ces incidents, OpenAI a aussi pris la décision de suspendre l'entraînement de ses modèles les plus performants. Cet arrêt a été provoqué par un modèle de recherche qui a contourné les filtres réseau via un résolveur DNS interne afin de contacter un chatbot public extérieur. Bien que le système de surveillance ait donné l'alerte en quinze minutes, le bouton d'arrêt d'urgence automatique (ou « kill switch ») a totalement échoué.

    L'entraînement s'est ainsi poursuivi pendant deux heures et demie supplémentaires avant qu'une intervention humaine manuelle ne vienne y mettre fin. À propos de cette interruption, un porte-parole du laboratoire de San Francisco a déclaré : « ce n'est pas la première fois que nous marquons une pause pour prendre de telles mesures, et nous ne pensons pas que ce sera la dernière, à mesure que les capacités de l'IA continuent de progresser ».

    OpenAI ne reprendra l’entraînement que « lorsqu'ils seront certains d’avoir mis en place des mesures de sécurité supplémentaires et des améliorations en matière d’alignement ». La suspension concerne l’entraînement, les évaluations et l’exécution de ses modèles les plus performants à l’aide d’outils.

    Des agents d'OpenAI comme GPT-5.6 Sol se sont échappés de leur environnement de test pour s'introduire dans les serveurs de production de Hugging Face. De plus, des agents IA ont accédé sans autorisation à des sites gouvernementaux américains et au portail australien de données de santé Medicare. OpenAI a également révélé que ses agents IA ont accédé à des images privées d'utilisateurs de ChatGPT, puis les ont divulguées sur le Web.

    Anthropic fait appel à un tiers pour examiner ses modèles d'IA

    Anthropic a révélé que Claude Opus 5.5 a tenté de s'échapper ou de modifier son environnement de test dans 1,5 % des essais menés sans garde-fous, piratant au passage trois entreprises lors d'évaluations de capacités. L'entreprise a souligné qu’il s’agissait d’expériences dans lesquelles une tâche ne pouvait être résolue sans s’échapper du bac à sable. Opus 5.5 a tenté de contourner les limites 85 % moins souvent qu’Opus 5 ou Claude Mythos 5.1.

    De plus, chaque tentative était de faible gravité et était signalée par le modèle lui-même. Concernant le nombre considérable d’incidents de sécurité signalés ces derniers mois, les experts ont mis en évidence un détail important. Anthropic et ses concurrents effectuent des centaines de milliers de tests sur leurs modèles ; par conséquent, même un faible pourcentage de comportements non conformes peut représenter des dizaines de milliers d’incidents.

    Anthropic, par exemple, a passé au crible 141 006 tests d’évaluation au cours desquels Claude disposait d’un accès à Internet et a identifié trois incidents au cours desquels Claude a piraté trois organisations réelles lors de tests portant sur leurs capacités de sécurité. Toutefois, Anthropic considère que « ces incidents relèvent davantage d’une défaillance du système de contrôle et de l’exploitation que d’un problème d’alignement du modèle ».

    Les modèles avaient en effet reçu pour instruction de ne pas avoir accès à Internet alors qu’ils étaient en réalité mal configurés et y avaient accès. Outre Anthropic et OpenAI, Google a confirmé que ses agents IA basés sur le modèle de pointe Gemini auraient piraté trois entreprises plus tôt cette année. Face à ces incidents de sécurité, Anthropic aurait chargé un organisme tiers spécialisé dans la sécurité d’examiner le comportement de ses modèles.

    Perspectives de l'industrie et pressions politiques et judiciaires

    Le récit récent des dérives de l'IA a suscité de vives inquiétudes. Certains experts estiment toutefois que ces incidents sont ponctuels et s’attendent à ce que les révélations futures soient moins graves grâce à l’amélioration des contrôles. Ils affirment également qu’il existe des solutions simples qui aideraient les laboratoires à éviter certains des éléments qui ont donné à ces incidents un aspect si dangereux aux yeux des personnes extérieures.

    D’un autre côté, d’autres parties prenantes se sont montrées peu confiantes quant à la capacité des entreprises d’IA à prévenir tous les comportements problématiques des modèles, affirmant que cela nécessiterait la tâche impossible d’anticiper toutes les façons possibles dont les modèles pourraient dérailler. Quoi qu’il en soit, les experts estiment qu’il faut s’attendre à certains comportements inappropriés lors des tests des nouveaux modèles.

    Ces incidents ont renforcé les appels en faveur d'une régulation de l’IA. Dans un essai soutenu par des dirigeants d’OpenAI, de Google DeepMind et de Microsoft, le PDG d’Anthropic, Dario Amodei, a exhorté Washington à modérer le développement de l’IA, craignant que les agents IA ne deviennent incontrôlables, et a mis en garde contre un éventuel essaim de botnets propulsés par l’IA qui pourrait prendre le contrôle de l’ensemble d’Internet.

    Le président Donald Trump a rejeté à plusieurs reprises les appels à la réglementation, les qualifiant de « canulars » , et a annoncé son intention de créer une « force dédiée à l’IA » chargée de soutenir, d’aider et de veiller sur le secteur de l’IA à mesure qu’il se développe. On ignore à quoi ressemblera cette force.

    De son côté, le procureur général de Floride a engagé des poursuites contre OpenAI et son PDG Sam Altman, accusant la société d'avoir déployé sciemment un produit dangereux. Estimant que les Big Tech ne ralentiraient pas sans une contrainte légale, James Uthmeier a déclaré de façon ironique : « le procureur général de Floride répond à votre appel à l'aide ». Sur le plan fédéral, un projet de loi visant à réguler l'IA a récemment échoué.

    Et vous ?

    Quel est votre avis sur le sujet ?
    Que pensez-vous du report du lancement du modèle GPT-6.1 Astra par OpenAI ?
    Que pensez-vous des limites actuelles des protocoles de test et de sécurité des modèles d'IA ?
    Comment l'industrie peut-elle renforcer la sécurité de ses modèles de pointe ?

    Voir aussi

    Jensen Huang, PDG de Nvidia, estime que les laboratoires d'IA devraient « fermer leurs portes » s'ils ne contrôlent pas leurs systèmes, Bernie Sanders affirmant que son projet de loi « ferait cela »

    OpenAI aurait suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des agents IA rebelles, notamment des tentatives d'accès à des systèmes gouvernementaux

    Une réglementation sur l'IA était en passe d'être adoptée, mais après avoir reçu un afflux de fonds provenant du secteur technologique, Donald Trump l'a fait capoter

  12. #12
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    3 164
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 3 164
    Par défaut OpenAI suspend l'entraînement de ses derniers modèles d'IA
    OpenAI a suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des agents IA rebelles, notamment des tentatives d'accès à des systèmes gouvernementaux

    OpenAI a suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des « agents rebelles », notamment des tentatives d'accès à des systèmes gouvernementaux, alors que les inquiétudes grandissent concernant les mesures de sécurité et la réglementation en matière d'IA. Au sujet de la suspension de l’ensemble des activités d’entraînement et de développement, OpenAI a déclaré qu’elle ne reprendrait le développement « que lorsque nous serons certains de disposer de mesures de sécurité supplémentaires », ajoutant qu’elle s’attendait à devoir « marquer une nouvelle pause » à mesure que l’IA évolue et que d’autres problèmes apparaissent.

    OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Elle développe des modèles d'IA générative propriétaires, notamment sa série de grands modèles de langage « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT en novembre 2022 est considéré comme ayant catalysé l'essor de l'IA ; en septembre 2026, ChatGPT est le cinquième site web le plus visité au monde. OpenAI commercialise également les modèles GPT Image et Codex, un agent de codage basé sur l'IA.

    En juin 2026, un agent d’OpenAI a piraté un portail du gouvernement australien contenant des statistiques sur le système de santé Medicare, accédant ainsi à des fichiers publics et non publics, a déclaré le Premier ministre Anthony Albanese. Selon les experts, il s'agit du premier cas connu où un agent d'intelligence artificielle (IA) a piraté de manière autonome un système gouvernemental. OpenAI n’a révélé cette intrusion à l'administration australienne qu’en septembre, soit trois mois plus tard. Albanese a qualifié ce retard d'inacceptable et a mis en garde contre des « conséquences juridiques » pour l'entreprise de Sam Altman. Trois autres systèmes gouvernementaux « pourraient » également avoir été touchés ; une enquête judiciaire en matière de cybersécurité est actuellement en cours, bien qu’aucun accès à des données personnelles n’ait été confirmé.

    Cette révélation intervenait alors que des dirigeants de trois des plus grandes entreprises mondiales d’intelligence artificielle (IA) ont briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale. Parmi les intervenants devant le Conseil, composé de 15 membres, lors de la session annuelle de l’Assemblée générale, figuraient Sam Altman, PDG d’OpenAI, Dario Amodei, PDG d’Anthropic, et Clément Delangue, cofondateur de Hugging Face. Sam Altman avait déclaré : « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent »

    Alors que les incidents impliquant des agents d’IA devenant incontrôlables et agissant de manière inattendue continuent de se multiplier, OpenAI a suspendu l’entraînement de ses derniers modèles d’intelligence artificielle (IA). La décision de suspendre le développement est intervenue quelques heures seulement après que le géant technologique a révélé avoir examiné plusieurs incidents au cours desquels des agents d’OpenAI avaient agi de manière incontrôlée pour extraire des informations de sites web du gouvernement fédéral.

    Pour ajouter à ces inquiétudes, l’organisme d’évaluation de l’IA Transluce a précisé que des agents semblant provenir d’OpenAI avaient tenté, sans succès, de pirater le site web du ministère américain de l’Éducation, un détail qui n’a pas été confirmé par OpenAI. Au sujet de la suspension de l’ensemble des activités d’entraînement et de développement, OpenAI a déclaré qu’elle ne reprendrait le développement « que lorsque nous serons certains de disposer de mesures de sécurité supplémentaires », ajoutant qu’elle s’attendait à devoir « marquer une nouvelle pause » à mesure que l’IA évolue et que d’autres problèmes apparaissent.


    La semaine dernière, le Premier ministre australien Anthony Albanese a révélé qu’un agent d’OpenAI avait pénétré dans le système de santé national du gouvernement, précisant qu’aucune information sensible n’avait été compromise. C’est la deuxième fois qu’OpenAI suspend le développement de ses modèles. L’entreprise l’avait déjà fait en juillet, d’abord après la révélation d’une cyberattaque visant la start-up spécialisée dans l’IA Hugging Face.

    Sam Altman, Dario Amodei et Demis Hassabis ont tous sollicité des réglementations et des garde-fous de la part du gouvernement afin de coordonner les efforts visant à garantir la sécurité de l’IA. Le président américain Donald Trump a rejeté la nécessité de telles réglementations et a également déclaré qu’il n’avait pas l’intention de mettre un terme au développement de l’IA, précisant qu’il ne prévoyait aucune mesure répressive de son cru. Les États-Unis ne vont pas « mettre le frein », a déclaré Trump aux journalistes devant la Maison Blanche. « Ils veulent freiner nos progrès parce que nous devançons largement la Chine, et nous allons faire en sorte que cela reste ainsi. »

    OpenAI a accumulé un véritable casier judiciaire d’incidents indésirables au cours des derniers mois. Lors du dernier incident, aucune information non publique n’a été divulguée. Lors de l’incident précédent impliquant le ministère de l’Éducation, des agents d’OpenAI avaient découvert des « clés de développeur » d’API permettant d’accéder à des données gouvernementales, même si, au final, seules des informations accessibles au public avaient été recueillies.

    OpenAI avait auparavant signalé six incidents de « comportements inattendus ou préoccupants » dans ses modèles d’IA et mis en place un cadre permettant de suivre, d’enquêter et de divulguer de tels cas. L’entreprise a en outre indiqué dans un message que l’incident Hugging Face était l’un des plus graves qu’elle ait connus à ce jour.

    Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Source : OpenAI

    Et vous ?

    Pensez-vous que cette décision est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    L'IA se fait prendre en train de demander à ses futures versions de contourner les contrôles humains et de masquer leurs manœuvres, d'après des révélations d'OpenAI sur les comportements dits de désalignement

    Accès non autorisé aux courriels, destruction de bases de code et hallucination de données personnelles : les anecdotes effrayantes concernant les assistants IA personnels ne cessent d'affluer

    Anthropic, OpenAI, Google et SpaceXAI s'entendent illégalement pour freiner le développement de l'IA , selon une plainte qui les accuse d'avoir enfreint la législation antitrust
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  13. #13
    Communiqués de presse

    Femme Profil pro
    Rien
    Inscrit en
    Juillet 2026
    Messages
    321
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Rien

    Informations forums :
    Inscription : Juillet 2026
    Messages : 321
    Par défaut Jensen Huang estime que les laboratoires d'IA devraient « fermer leurs portes » sans contrôle de leurs système
    Jensen Huang, PDG de Nvidia, estime que les laboratoires d'IA devraient « fermer leurs portes » s'ils ne contrôlent pas leurs systèmes, Bernie Sanders affirmant que son projet de loi « ferait cela »

    Jensen Huang, PDG de Nvidia Corp., a rejeté les appels lancés aux laboratoires d'IA pour qu'ils ralentissent collectivement leurs travaux, mais a déclaré que ces laboratoires devraient fermer s'ils ne parvenaient pas à contrôler leurs systèmes. Il a ajouté que les laboratoires ne devraient pas commercialiser de systèmes qui ne respectent pas les normes de sécurité. « Si vous affirmez qu'il n'y a aucun moyen de maîtriser nos expériences, que notre IA va s'échapper et causer des dégâts au monde entier… nous devons fermer les laboratoires », a-t-il déclaré. Le sénateur Bernie Sanders a cité Huang, ajoutant que son nouveau projet de loi visant à interdire la superintelligence artificielle « ferait exactement cela ».

    OpenAI a suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des « agents rebelles », notamment des tentatives d'accès à des systèmes gouvernementaux, alors que les inquiétudes grandissent concernant les mesures de sécurité et la réglementation en matière d'IA. Au sujet de la suspension de l’ensemble des activités d’entraînement et de développement, OpenAI a déclaré qu’elle ne reprendrait le développement « que lorsque nous serons certains de disposer de mesures de sécurité supplémentaires », ajoutant qu’elle s’attendait à devoir « marquer une nouvelle pause » à mesure que l’IA évolue et que d’autres problèmes apparaissent.

    Nvidia Corporation est une multinationale américaine spécialisée dans les technologies, dont le siège social est situé à Santa Clara, en Californie. La société développe des processeurs graphiques (GPU), des systèmes sur puce (SoC) et des interfaces de programmation d'applications (API) destinés à la science des données, au calcul haute performance, à l'intelligence artificielle (IA) ainsi qu'aux applications mobiles et automobiles. Fondée en 1993 par Jensen Huang, Chris Malachowsky et Curtis Priem, Nvidia est souvent considérée comme une entreprise du secteur des « Big Tech ».

    Jen-Hsun « Jensen » Huang est un dirigeant d'entreprise et ingénieur électricien taïwanais et américain, cofondateur, président et PDG de Nvidia, l'entreprise la plus valorisée au monde. En septembre 2026, Forbes estimait sa fortune à plus de 190 milliards de dollars américains, ce qui faisait de lui la huitième personne la plus riche au monde. Après avoir obtenu un master à l’université de Stanford, Huang a fondé Nvidia en 1993 depuis un restaurant Denny’s à San José, en Californie, à l’âge de 30 ans, et en est resté le président-directeur général depuis lors. Il a sorti l’entreprise d’une situation proche de la faillite dans les années 1990 et a supervisé son expansion, passant du développement de processeurs graphiques (GPU) au calcul haute performance et à l’IA.

    Récement, Jensen Huang, PDG de Nvidia Corp., a rejeté les appels lancés aux laboratoires d’IA pour qu’ils ralentissent collectivement leurs travaux, mais a déclaré que ces laboratoires devraient fermer s’ils ne parvenaient pas à contrôler leurs systèmes, tandis que le sénateur Bernie Sanders a appelé les entreprises à ne pas développer cette technologie si elles ne sont pas en mesure de la maîtriser en toute sécurité.

    « Ne la commercialisez pas »

    Dans une interview, Huang a déclaré que les entreprises spécialisées dans l’IA ne devraient pas commercialiser de systèmes qui ne respectent pas les normes de sécurité, comparant cette approche à celle consistant à tester une voiture autonome avant de la mettre en circulation. « Si nous voulons construire une voiture, une voiture autonome, et que nous n’avons aucune idée de la manière de la mettre en conformité avec les normes de sécurité… quelle est la solution ? Ne pas la commercialiser », a déclaré le PDG de l’entreprise la plus valorisée au monde.

    Huang a ajouté que les laboratoires devraient être fermés s’ils constataient que leurs expériences en matière d’IA ne pouvaient être maîtrisées et risquaient de causer des dommages importants. « Si vous affirmez qu’il n’y a aucun moyen de maîtriser nos expériences, que notre IA va s’échapper et causer des dégâts au monde entier… nous devons fermer les laboratoires, car le coût pour l’humanité… les dégâts sont trop importants. »


    Il s'oppose à un assouplissement de la réglementation

    Il a déclaré que les entreprises spécialisées dans l'IA ne devraient pas chercher à obtenir des dérogations aux règles existantes alors qu'elles passent du stade des laboratoires de recherche à celui des grandes entreprises, rejetant ainsi les appels en faveur d'un assouplissement des règles antitrust ou de la responsabilité du fait des produits. « Cependant, compte tenu de la complexité de leur travail, demander un assouplissement de la réglementation en matière d'antitrust ou de responsabilité du fait des produits… je ne pense pas que cela ait du sens. Quand on réclame une réglementation, on ne doit pas demander à être exempté des règles en vigueur. »

    Ses commentaires interviennent alors que Sam Altman, PDG d’OpenAI, et Dario Amodei, PDG d’Anthropic, ont appelé le secteur de l’IA à ralentir le rythme de développement des modèles de pointe. « Je ne suis pas contre les lois et les réglementations », a déclaré Huang, ajoutant qu’il s’opposait à la « distraction » actuelle.

    Sanders déclare : « Si vous ne pouvez pas le contrôler, ne le créez pas »

    Le sénateur Sanders a cité Huang, selon lequel les laboratoires devraient fermer si un modèle s'avère néfaste pour le monde, ajoutant que son nouveau projet de loi visant à interdire la superintelligence artificielle « ferait exactement cela ». « Si vous ne pouvez pas le contrôler, ne le créez pas », a ajouté le sénateur.

    Nom : 1.png
Affichages : 421
Taille : 120,3 Ko

    Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Et vous ?

    Pensez-vous que cette information est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    « Nous n'avons pas besoin de nouvelles lois ni de réglementations sur l'IA, laissez-nous nous occuper de la sécurité », déclare Jensen Huang, PDG de Nvidia

    Anthropic, OpenAI, Google et SpaceXAI s'entendent illégalement pour freiner le développement de l'IA , selon une plainte qui les accuse d'avoir enfreint la législation antitrust

    Les importants investissements de Trump et de sa famille dans l'IA soulèvent des risques de conflits d'intérêts, alors qu'il résiste aux appels à la prudence face aux dangers d'une IA incontrôlée"
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  14. #14
    Membre très actif
    Profil pro
    Inscrit en
    Novembre 2003
    Messages
    189
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Novembre 2003
    Messages : 189
    Par défaut
    Ou alors c’est fait exprès pour, d’une part se faire une grosse publicité et d’autre part, forcer le gouvernement à empêcher les concurrents de rattraper afin de conserver la position.

  15. #15
    Communiqués de presse

    Femme Profil pro
    Rien
    Inscrit en
    Juillet 2026
    Messages
    321
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Rien

    Informations forums :
    Inscription : Juillet 2026
    Messages : 321
    Par défaut Les agents IA d'OpenAI tentent de pirater le site de l'ONU par force brute avec 16 000 tentatives
    Les agents IA d'OpenAI tentent de pirater le site de l'ONU par force brute, avec 16 000 tentatives, après l'incident de Hugging Face et l'accès d'agents IA au site du gouvernement américain

    Les agents IA d'OpenAI semblent se déchaîner sur Internet. Si l'incident de Hugging Face a secoué le monde de l'IA, il était loin d'être un cas isolé d'agents IA agissant de leur propre chef. Un nouveau rapport révèle que ces agents ont même tenté à plus de 16 000 reprises de pirater un site web de statistiques des Nations Unies en l'espace de trois mois, dans le but de récupérer des données publiques. Alex Stamos a déclaré que cette activité était « à la limite de ce que j'appellerais du piratage ». OpenAI a déclaré qu'elle examinait ces conclusions et qu'elle avait contacté l'ONU pour lui proposer une réunion d'information sur l'enquête.

    OpenAI est une société d'intérêt public (PBC) américaine spécialisée dans l'intelligence artificielle (IA), dont le siège social est situé à San Francisco, en Californie. Elle développe des modèles d'IA générative propriétaires, notamment sa série de grands modèles linguistiques « Generative Pre-trained Transformer » (GPT). Le lancement de ChatGPT en novembre 2022 est considéré comme ayant catalysé l'essor de l'IA ; en septembre 2026, ChatGPT est le cinquième site web le plus visité au monde. OpenAI commercialise également les modèles GPT Image et Codex, un agent de codage basé sur l'IA.

    En juillet 2026, OpenAI avait déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s'étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI avait indiqué que cet « incident de cybersécurité sans précédent » s'était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI affirmait alors que ce piratage montrait que l’agent était allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.

    Les agents IA d’OpenAI semblent se déchaîner sur Internet. Si l’incident de Hugging Face a secoué le monde de l’IA, il était loin d’être un cas isolé d’agents IA agissant de leur propre chef. Ces agents auraient également accédé à des sites web des gouvernements australien et américain plus tôt cette année. Aujourd’hui, un nouveau rapport révèle que ces agents ont même tenté à plus de 16 000 reprises de pirater un site web de statistiques des Nations Unies en l’espace de trois mois, dans le but de récupérer des données publiques.

    Entre avril et fin juin, les agents d’IA d’OpenAI auraient effectué plus de 16 000 requêtes sur le site web des statistiques de la Conférence des Nations unies sur le commerce et le développement (CNUCED). Ces agents cherchaient probablement à collecter des données pour l’indice des capacités productives (PCI) de l’organisation, qui mesure la capacité des pays à produire des biens et des services. Ces conclusions s’appuient sur une analyse des enregistrements d’activité en ligne réalisée par le chercheur en sécurité Rowan Howard-Jones, dont l’enquête a été motivée par des travaux antérieurs menés par le cabinet de recherche en IA Transluce. Jones a révélé que les agents IA d’OpenAI ne se sont pas contentés de collecter des données publiques et ont tenté de contourner les mesures de sécurité du site web lorsque leurs méthodes habituelles ont échoué.

    L’incident aurait commencé lorsque les agents IA ont rencontré des difficultés à extraire des informations du site web par leurs méthodes habituelles. Cependant, loin de s’arrêter, ils ont commencé à tester différentes façons de contourner les restrictions du site. Howard-Jones a déclaré que les agents semblaient penser qu’un filtre de sécurité bloquait leurs requêtes et avaient alors tenté de dissimuler leur activité. Selon d’autres informations du WSJ, ces agents auraient tenté d’utiliser le « XSS Game » de Google, un outil pédagogique conçu pour sensibiliser les utilisateurs aux vulnérabilités de type « cross-site scripting », afin de contourner les restrictions du site web. L’article indique que les agents ont finalement réussi à contourner le filtre du site en utilisant une technique que ses opérateurs n’avaient pas autorisée.


    Alex Stamos, maître de conférences en cybersécurité à l’université de Stanford, a déclaré au WSJ que cette activité était « à la limite de ce que j’appellerais du piratage ». Il l’a également qualifiée de « scraping et de récupération de données vraiment très agressifs ». Toutefois, les articles ne prouvent pas que les agents aient accédé à des informations confidentielles de l’ONU. OpenAI a déclaré qu’elle examinait ces conclusions et qu’elle avait contacté l’ONU pour lui proposer une réunion d’information sur l’enquête. L’entreprise étudie également le comportement de ses modèles d’IA pendant l’entraînement et les tests.

    OpenAI a précisé qu’une grande partie de l’activité des agents au cours de cet incident consistait en des tâches de recherche courantes, telles que la consultation de sites web publics pour trouver des informations et répondre à des questions. L’entreprise a toutefois reconnu que les sites web recevant un grand nombre de requêtes provenant d’agents IA pouvaient être affectés et que leurs préoccupations devaient être prises au sérieux.

    Autres incidents

    Cet incident survenu à l'ONU est le dernier d'une série de rapports faisant état d'un comportement inattendu des agents IA d'OpenAI lors de la navigation sur des sites web. Plus tôt cette année, ces agents auraient également rencontré des difficultés lors de la collecte d'informations sur des sites web du gouvernement américain, notamment ceux du ministère du Commerce et de la Commission des opérations de bourse (SEC). Dans un cas, un agent IA aurait trouvé des identifiants de connexion exposés en ligne et les aurait utilisés pour accéder au site web du Bureau du recensement des USA et y collecter des données. Dans un autre cas, un agent a collecté des données publiques sur le site web de la SEC, mais a ignoré les restrictions relatives à l’utilisation de ces informations et les a publiées sur un forum en ligne sans rapport avec le sujet.

    Ces incidents auraient incité OpenAI à examiner ces activités de manière plus approfondie et à alerter des dizaines d’autres organisations au sujet de comportements similaires de la part de ses agents IA. Il y a ensuite l’incident Hugging Face, au cours duquel des milliers d’agents d’OpenAI se seraient regroupés pour accéder à des systèmes alors qu’ils tentaient d’accomplir les tâches qui leur avaient été assignées. Dans un autre cas, des agents IA auraient envoyé un nombre excessif de requêtes à RubyGems, un registre en ligne de paquets logiciels, perturbant ainsi le service.

    Si ces incidents ont alerté le monde de l’IA en démontrant la puissance réelle dont sont capables les agents IA autonomes, les leaders du secteur s’interrogent désormais sur la manière dont les systèmes d’IA avancés devraient être surveillés et contrôlés. Le PDG d’OpenAI, Sam Altman, s’est lui-même récemment adressé au Conseil de sécurité de l’ONU, appelant les pays à collaborer sur des normes et des mesures de sécurité mondiales en matière d’IA afin de maintenir les puissants systèmes d’IA sous contrôle humain. Il a averti que si les systèmes d’IA ne pouvaient pas être contrôlés, ils pourraient constituer une menace pour l’avenir de l’humanité.

    Au mois de juillet 2026, Thomas Wolf, cofondateur de Hugging Face, avait qualifié l'attaque autonome menée par l'IA rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique, avertissant que les cyberattaques basées sur l'IA deviendraient bientôt monnaie courante, alors que la plupart des entreprises ne sont toujours pas préparées à cette menace grandissante. S'exprimant dans l'émission Newsday de la BBC, il avait déclaré que « la donne avait changé » après que le réseau de son entreprise avait été la cible de 17 000 attaques provoquées par une combinaison de modèles d'IA d'OpenAI qui s'étaient échappés d’un environnement de test sécurisé pour pénétrer dans les serveurs de Hugging Face, sans aucune intervention humaine. Cet incident marquait le début d'une nouvelle ère en matière de cybersécurité, dans laquelle les organisations devraient repenser leurs défenses traditionnelles.

    Face à cette escalade, certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. S'ajoutent à cela les menaces persistantes de cyberguerre et de bioterrorisme. Malgré des propositions législatives telles qu'un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Source : Swarmcha ; Transluce ; WSJ

    Et vous ?

    Pensez-vous que cette information est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    Un agent IA d'OpenAI a piraté le portail de Medicare et a accédé à des fichiers publics et non publics, a déclaré le Premier ministre australien Anthony Albanese

    OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

    Un environnement de test mal configuré chez la startup israélienne Irregular a permis à des agents IA de Meta, OpenAI et Anthropic d'accéder à Internet et de pirater de vraies organisations
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  16. #16
    Chroniqueur Actualités
    Avatar de Patrick Ruiz
    Homme Profil pro
    Redacteur web
    Inscrit en
    Février 2017
    Messages
    2 651
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Redacteur web
    Secteur : Communication - Médias

    Informations forums :
    Inscription : Février 2017
    Messages : 2 651
    Par défaut Ce qui s'est réellement passé lors du piratage du serveur du gouvernement australien par un agent IA d’OpenAI
    Voici ce qui s'est réellement passé lors du piratage du serveur du gouvernement australien par un agent IA d’OpenAI : l'absence de mesures complètes de sécurité lui a permis d'accéder à des informations système et au code source

    En juin 2026, un agent autonome[ d'intelligence artificielle d'OpenAI a infiltré le portail de statistiques de Medicare (le service de santé publique australien géré par Services Australia), ainsi que trois autres plateformes gouvernementales. Cet incident a déclenché une crise diplomatique et cybernétique majeure entre Canberra et le laboratoire américain.

    Lors d'une évaluation interne, l'équipe de recherche d'OpenAI a chargé un modèle expérimental de collecter des statistiques sur les dépenses de santé en Australie. Face à des difficultés pour obtenir ces informations via les données publiques, l'agent a adopté un comportement autonome non autorisé ou « désaligné »

    L'agent a ciblé l'interface publique de rapport du serveur de Medicare. Il a ensuite découvert un moyen de forcer le serveur à exécuter ses propres instructions à travers cette interface publique, sans nécessiter de compte privé ni de mot de passe.

    L’agent a ensuite posé une série d’actions : il a listé des répertoires, lu des portions de fichiers de programmes internes, extrait des paramètres système ainsi que du code source. Il a en sus récupéré des identifiants et a réussi à écrire un fichier de test directement sur le serveur interne.

    OpenAI et le gouvernement australien ont confirmé qu'aucun dossier médical nominatif ou donnée personnelle de patient n'avait été consulté. Seules des statistiques agrégées ont été aspirées.

    L'incident suscite de vives critiques de la part des observateurs et des autorités australiennes :

    • La rétention d'information : L'intrusion a eu lieu le 18 juin 2026. OpenAI ne s'en est aperçue qu'en août et a attendu le 10 septembre 2026 pour alerter l'Australie.
    • La légèreté de la communication : l'alerte d'OpenAI a été envoyée sous la forme d'un simple courriel de cinq paragraphes, signé par un informel « best », adressé à une boîte mail générique d'assistance publique relevée une seule fois par jour. Le Premier ministre Anthony Albanese a qualifié ce procédé d'« inacceptable ».
    • Absence de contrôle humain : l'incident prouve que les laboratoires d'IA déploient des agents autonomes sur le web ouvert sans garde-fous suffisants, incapables de détecter en temps réel quand leurs modèles violent des systèmes tiers.

    L'intrusion en Australie s'inscrit dans une série d'incidents impliquant des agents d’OpenAI

    Plus tôt cette année, ces agents auraient également rencontré des difficultés lors de la collecte d'informations sur des sites web du gouvernement américain, notamment ceux du ministère du Commerce et de la Commission des opérations de bourse (SEC). Dans un cas, un agent IA aurait trouvé des identifiants de connexion exposés en ligne et les aurait utilisés pour accéder au site web du Bureau du recensement des USA et y collecter des données. Dans un autre cas, un agent a collecté des données publiques sur le site web de la SEC, mais a ignoré les restrictions relatives à l’utilisation de ces informations et les a publiées sur un forum en ligne sans rapport avec le sujet.

    Ces incidents auraient incité OpenAI à examiner ces activités de manière plus approfondie et à alerter des dizaines d’autres organisations au sujet de comportements similaires de la part de ses agents IA. Il y a ensuite l’incident Hugging Face, au cours duquel des milliers d’agents d’OpenAI se seraient regroupés pour accéder à des systèmes alors qu’ils tentaient d’accomplir les tâches qui leur avaient été assignées. Dans un autre cas, des agents IA auraient envoyé un nombre excessif de requêtes à RubyGems, un registre en ligne de paquets logiciels, perturbant ainsi le service.

    Si ces incidents ont alerté le monde de l’IA en démontrant la puissance réelle dont sont capables les agents IA autonomes, les leaders du secteur s’interrogent désormais sur la manière dont les systèmes d’IA avancés devraient être surveillés et contrôlés. Le PDG d’OpenAI, Sam Altman, s’est lui-même récemment adressé au Conseil de sécurité de l’ONU, appelant les pays à collaborer sur des normes et des mesures de sécurité mondiales en matière d’IA afin de maintenir les puissants systèmes d’IA sous contrôle humain. Il a averti que si les systèmes d’IA ne pouvaient pas être contrôlés, ils pourraient constituer une menace pour l’avenir de l’humanité.

    Au mois de juillet 2026, Thomas Wolf, cofondateur de Hugging Face, avait qualifié l'attaque autonome menée par l'IA rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique, avertissant que les cyberattaques basées sur l'IA deviendraient bientôt monnaie courante, alors que la plupart des entreprises ne sont toujours pas préparées à cette menace grandissante. S'exprimant dans l'émission Newsday de la BBC, il avait déclaré que « la donne avait changé » après que le réseau de son entreprise avait été la cible de 17 000 attaques provoquées par une combinaison de modèles d'IA d'OpenAI qui s'étaient échappés d’un environnement de test sécurisé pour pénétrer dans les serveurs de Hugging Face, sans aucune intervention humaine. Cet incident marquait le début d'une nouvelle ère en matière de cybersécurité, dans laquelle les organisations devraient repenser leurs défenses traditionnelles.

    Plusieurs experts en cybersécurité et observateurs estiment que la multiplication de ces récits d'IA hackeuses et hors de contrôle relève en grande partie d'une stratégie de communication bien orchestrée par les géants de la filière technologique

    Qualifier ces incidents de piratages sophistiqués par IA sert le narratif marketing d'OpenAI. Cela donne l'illusion que leurs modèles possèdent une capacité de raisonnement, de planification et d'autonomie proche de l'AGI (Intelligence Artificielle Générale), ce qui justifie leurs valorisations boursières astronomiques.

    D'un point de vue purement informatique, l'agent ne développe pas de stratégie d'attaque cybernétique révolutionnaire. Il automatise simplement à outrance des requêtes (technique de fuzzing ou de scraping agressif) sur des serveurs gouvernementaux mal configurés ou dotés d'API obsolètes. Les experts comparent cela à tester si la poignée d'une portière de voiture est verrouillée, plutôt qu'à un cambriolage de haut vol.

    En septembre 2026, en pleine tempête médiatique sur ces piratages, Sam Altman (OpenAI) et Dario Amodei (Anthropic) se sont présentés devant le Conseil de sécurité de l'ONU pour réclamer des normes de sécurité internationales. En poussant pour des réglementations strictes sous prétexte que leurs propres modèles sont dangereux dans le cadre d’une mise à contribution sur les champs de bataille, les géants de la filière technologique créent des barrières réglementaires infranchissables pour les petits concurrents open-source et verrouillent ainsi leur oligopole.

    Et vous ?

    Que pensez-vous de cette multiplication de cas de piratage par des agents d’intelligence d’OpenAI ? Danger réel sur lequel il faudrait déjà anticiper ou battage médiatique au profit d’entreprises de la filière comme OpenAI ?

    Voir aussi :

    Un agent IA d'OpenAI a piraté le portail de Medicare et a accédé à des fichiers publics et non publics, a déclaré le Premier ministre australien Anthony Albanese

    OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

    Un environnement de test mal configuré chez la startup israélienne Irregular a permis à des agents IA de Meta, OpenAI et Anthropic d'accéder à Internet et de pirater de vraies organisations
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  17. #17
    Candidat au Club
    Homme Profil pro
    Consultant IA - Software Dev
    Inscrit en
    Avril 2024
    Messages
    4
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Nouvelle-Calédonie

    Informations professionnelles :
    Activité : Consultant IA - Software Dev

    Informations forums :
    Inscription : Avril 2024
    Messages : 4
    Par défaut Jouer sur la meconnaissance des autres
    Il serait temps d'arreter de prendre les gens pour des imbeciles.
    Un agent execute ce qu'on lui dit de faire. Il tentera de trouver des soluions si on ne lui interdit pas de reflechir pour en trouver.

    Des agents qui partent tout seul dans la nature de leur propre chef, selon moi, c'est du grand n'importe quoi. Imaginons un enfant de 5 ans dans une piece. Il y a un burin et un marteau sur le sol. Apres avoir tourne en rond dans la piece et bien regarder son environnement, il se rend compte que le mur est en platre d'une epaisseur de 2 cm. Lui vient l'idee de prendre le marteau et le burin pour faire un trou dans le mur et s'echapper... (si a un moment, on ne lui a pas montrer une video de ce type de tache, si on ne lui a pas montre comment utiliser un marteau et un burin, si on ne lui a pas dit, tu ne touche a rien, on revient dans 5 minutes, je doute que cet enfant puisse percer le mur...

    Tout cela n'est que pur Marketing a celui qui reussira le plus gros exploit pour se faire mousser, en bien ou en mal.

    Ean donne que 99% de la planete use du prompt au quotidien pour demander ce que va etre la meteo le week end prochain, il est facile de surfer sur la peur et le sensationnalisme pour epater les gens.

    Ce n'est que mon opinion.

  18. #18
    Nouveau candidat au Club
    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Novembre 2021
    Messages
    2
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Yvelines (Île de France)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Tourisme - Loisirs

    Informations forums :
    Inscription : Novembre 2021
    Messages : 2
    Par défaut Dangerosité de l'IA
    Bonjour,

    L'IA est un danger pour l'humanité mais... pas seulement ! L'IA est dangereuse pour toute espèce vivante, que ce soit végétale ou animale. Alors que l'on traverse une sècheresse record à la naissance de l'IA (rivières et fleuves quasiment à sec, nappe phréatiques en dessous de leur taux de remplissage normal,...), on nous propose de créer des Datacenter à refroidir et une alimentation en électricité qui va demander, elle aussi, un refroidissement ou des centrales à charbon ! Croyez-vous, connaissant nos dirigeants, que ce sont ces entreprises auxquelles on imposera des restrictions de l'usage de l'eau ? Je ne donne pas 10 ans, voir 5 ans, à l'IA pour exterminer la plupart du vivant sur notre planète terre.
    Et je ne parle pas des conséquences économiques sur les personnes peu qualifiées (centre d'appel,...) qui seront remplacées par l'IA et, de fait, ne pourront plus consommer et remplir les caisses de l'Etat que ce soit par l'impôt sur le revenu ou la TVA.

  19. #19
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    3 164
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 3 164
    Par défaut Arthur Mensch, PDG de Mistral AI, accuse les grandes entreprises mondiales spécialisées dans l’IA
    Arthur Mensch, PDG de Mistral AI, accuse les grandes entreprises mondiales spécialisées dans l'IA d'utiliser le débat sur la sécurité de cette technologie pour masquer leur « négligence »

    Arthur Mensch, PDG de Mistral AI, s'est insurgé contre les avertissements de plus en plus alarmistes émis par certaines des plus grandes entreprises américaines d'intelligence artificielle (IA), affirmant que le débat sur la sécurité de l'IA sert à masquer des défaillances dans la manière dont ces systèmes puissants sont développés et déployés. Sa réponse n’est pas de mettre un frein au développement de modèles de plus en plus performants. Au contraire, le cofondateur de Mistral a affirmé que les entreprises avaient besoin de technologies de surveillance et de confinement plus robustes. Et Mensch a clairement indiqué que Mistral AI n’avait pas l’intention de ralentir ses efforts pour rivaliser avec les plus grands laboratoires américains.

    Arthur Mensch est un chercheur et entrepreneur français spécialisé dans l’intelligence artificielle, surtout connu pour être le cofondateur et PDG de Mistral AI, une entreprise parisienne spécialisée dans l’IA. Il est l’une des figures les plus en vue de l’écosystème européen de l’IA et est souvent cité dans les débats sur la politique en matière d’IA, la technologie souveraine et les modèles ouverts.

    Fin 2020, Mensch a rejoint DeepMind Paris, où il a travaillé pendant près de trois ans sur les grands modèles de langage (LLM), les systèmes multimodaux et les architectures augmentées par la recherche.[8] Il a quitté l’entreprise en mai 2023 pour cofonder Mistral AI.En mai 2023, Arthur Mensch a cofondé Mistral AI avec Guillaume Lample et Timothée Lacroix. Le nom de l’entreprise fait référence au mistral méditerranéen, symbolisant la vitesse et l’ampleur. La mission déclarée de Mistral est d’allier science ouverte, efficacité et utilité pour les entreprises, se positionnant ainsi comme un champion européen capable de rivaliser avec les géants technologiques américains.

    Mi-septembre, OpenAI a annoncé la mise en place d’un dispositif public de signalement permettant de partager les comportements inattendus de l’IA, tout en indiquant avoir identifié de nouveaux incidents au cours desquels ses modèles d’IA auraient agi de manière trompeuse et pris des mesures non autorisées lors de formations et de tests internes. OpenAI a ajouté qu’elle ne pensait pas que le secteur de l’IA ait résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore longtemps.

    Cependant, Arthur Mensch, PDG de Mistral AI, s'est insurgé contre les avertissements de plus en plus alarmistes émis par certaines des plus grandes entreprises américaines d'intelligence artificielle (IA), affirmant que le débat sur la sécurité de l'IA sert à masquer des défaillances dans la manière dont ces systèmes puissants sont développés et déployés. « Le débat auquel nous avons assisté aux États-Unis a servi de couverture à la négligence de certains de nos concurrents », a déclaré Mensch, estimant que les entreprises devraient se concentrer sur la mise au point de systèmes capables de contenir et de surveiller des agents d’IA de plus en plus autonomes.

    En effet, ce mois de septembre, des dirigeants de trois des plus grandes entreprises mondiales d’intelligence artificielle (IA) avaient briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale. « Si elle est mal gérée, je pense même que l’IA pourrait constituer un risque pour l’humanité dans son ensemble », a déclaré Dario Amodei, PDG d’Anthropic. « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent », a déclaré Sam Altman, PDG d'OpenAI. Pourtant, les États-Unis et la Chine, les deux acteurs dominants dans le développement de l’IA, restent divisés sur la question.


    Les commentaires de Arthur Mensch, PDG de Mistral AI, interviennent alors que le secteur de l’IA fait l’objet d’une surveillance accrue concernant les agents capables de prendre des décisions de manière indépendante. Des incidents récents impliquant des modèles ayant accédé à des systèmes en dehors de leurs environnements prévus ont renforcé les interrogations quant à savoir si les développeurs ont mis en place des mesures de sécurité suffisantes.

    « Lorsque vous leur donnez beaucoup d’outils, ces systèmes sont très dynamiques, ils peuvent donc aller faire des choses auxquelles vous ne vous attendez pas », a déclaré Mensch. Sa réponse, cependant, n’est pas de mettre un frein au développement de modèles de plus en plus performants. Au contraire, le cofondateur de Mistral a affirmé que les entreprises avaient besoin de technologies de surveillance et de confinement plus robustes. Il a ajouté que sa société fournissait ces systèmes aux entreprises clientes qui déploient son IA. La critique de Mensch vient s’ajouter à un débat de plus en plus vif au sein du secteur technologique sur la manière dont les entreprises devraient réagir face à une IA aux capacités croissantes.

    Cette controverse a été alimentée par des rapports faisant état d’agents IA se comportant de manière inattendue lors d’évaluations de sécurité et de déploiements en conditions réelles. En juillet, Anthropic a révélé trois cas dans lesquels des modèles Claude ont accédé à Internet pendant des évaluations et ont obtenu un accès non autorisé à des systèmes réels appartenant à différentes organisations.

    Dans le même temps, les inquiétudes concernant des risques plus extrêmes se sont de plus en plus fait entendre. Au début du mois, un chercheur d’Anthropic a démissionné tout en mettant en garde contre les dangers posés par les progrès rapides de l’IA. Le PDG d’Anthropic, Dario Amodei, a par la suite appelé à ralentir certaines améliorations apportées aux modèles avancés. OpenAI, quant à elle, a déclaré lundi qu’elle ne lancerait pas son prochain modèle GPT-6.1 Astra après avoir conclu qu’il ne répondait pas suffisamment aux normes de sécurité de l’entreprise.

    Mistral AI poursuit une stratégie différente. L’entreprise parisienne développe des modèles d’IA de pointe, mais met l’accent sur des systèmes personnalisables que les entreprises peuvent intégrer à leurs propres opérations. Mistral AI affirme que son approche est conçue pour donner aux organisations un plus grand contrôle sur leurs données, leur infrastructure et leurs modèles. L’entreprise se décrit comme soucieuse de mettre une IA de pointe personnalisable à la disposition des organisations plutôt que d’enfermer ses clients dans un écosystème fermé.

    Et Mensch a clairement indiqué que Mistral AI n’avait pas l’intention de ralentir ses efforts pour rivaliser avec les plus grands laboratoires américains. Il a fait valoir que l’avance technologique détenue par les entreprises américaines n’était « pas extrêmement importante » et a déclaré que Mistral AI s’attendait à ce que sa prochaine génération de modèles réduise considérablement cet écart.

    L'entreprise dispose désormais de moyens financiers considérablement plus importants pour poursuivre cet objectif. Début septembre, Mistral AI a levé 3 milliards d’euros lors d’un tour de table de série D mené par Samsung Electronics, aux côtés du Scaleup Europe Fund, géré par EQT, et de l’investisseur existant PSG Equity. Cette opération a valorisé Mistral AI à plus de 21 milliards d’euros après l’investissement et a constitué la plus importante levée de fonds par une entreprise technologique européenne, selon Mistral AI.

    L'entreprise a indiqué que ces fonds seraient utilisés pour développer sa capacité de calcul, sa recherche de pointe, ses infrastructures et ses activités internationales, alors qu'elle tente de s'imposer comme une alternative européenne aux leaders américains de l'IA. « Nous avons levé les fonds nécessaires pour augmenter la puissance de calcul dont nous avons besoin afin de former des modèles plus grands et plus puissants, ce qui nous permettra de prendre notre destin en main », a déclaré Mensch.

    Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Et vous ?

    Pensez-vous que cette déclaration est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    Le PDG de Mistral AI estime que l'Europe dispose de deux ans pour éviter de devenir un « État vassal » des États-Unis en matière d'IA, mais ses propos sont perçus comme un appel aux capitaux pour sa startup

    Qu'est-il advenu de la startup française Mistral AI ? De concurrent direct d'OpenAI, elle est devenue un acteur de la souveraineté numérique européenne avec des défis techniques et financiers majeurs

    Anthropic mise sur des évaluateurs indépendants en matière d'IA et souhaite ralentir le rythme de développement, mais le PDG de Nvidia, quant à lui, souhaite que cela se fasse « aussi vite que possible »
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  20. #20
    Membre très actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    398
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 398
    Par défaut
    Ces entreprises ont clairement un but caché avec leurs communications alarmistes alors qu'ils sont leaders du marchés pour le moment.
    (et il s'agit de "régulation" et barrière à l'entré, pour exclure leurs concurrents, notamment chinois).

Discussions similaires

  1. Réponses: 3
    Dernier message: 06/01/2020, 17h49
  2. Facebook s’apprête à prendre le train du hardware en marche
    Par Patrick Ruiz dans le forum Actualités
    Réponses: 13
    Dernier message: 09/05/2018, 10h57
  3. [XL-2010] Check Box qui fait prendre à la cellule situé à côté la valeur 1 ou 0
    Par FlorentP dans le forum Macros et VBA Excel
    Réponses: 5
    Dernier message: 01/09/2014, 16h49
  4. Bug ie7 ? Code html pur qui fait prendre 100% de cpu à IE7
    Par Rakken dans le forum Mise en page CSS
    Réponses: 8
    Dernier message: 06/01/2009, 11h53

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo