IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Ce qui s'est réellement passé lors du piratage du serveur du gouvernement australien par un agent IA d’OpenAI


Sujet :

Intelligence artificielle

  1. #101
    Expert confirmé
    Avatar de popo
    Homme Profil pro
    Analyste programmeur Delphi / C#
    Inscrit en
    Mars 2005
    Messages
    3 211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Analyste programmeur Delphi / C#
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2005
    Messages : 3 211
    Par défaut
    Citation Envoyé par boboss123 Voir le message
    Il faudrait peut-être arrêter ce genre de publications bullshit, non ?
    On n'arrête pas le progrès... surtout quand derrière il y a de la capitalisation et des enjeux politiques...
    Quand le bousin échappe à tout contrôle (y compris au bouton d'arrêt d'urgence), je n'appelle pas ça du progrès
    Quand la capitalisation et les enjeux politiques deviennent plus importants que le peuple, je n'appelle pas ça du progrès.

    On transforme des hectares des champs en datacenter, on pompe l'eau des nappes jusqu'à épuisement, on prive d'électricité des villes entières.
    Ah, il est beau le progrès !

  2. #102
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    364
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 364
    Par défaut
    Citation Envoyé par popo Voir le message
    Quand le bousin échappe à tout contrôle (y compris au bouton d'arrêt d'urgence), je n'appelle pas ça du progrès
    Quand la capitalisation et les enjeux politiques deviennent plus importants que le peuple, je n'appelle pas ça du progrès.

    On transforme des hectares des champs en datacenter, on pompe l'eau des nappes jusqu'à épuisement, on prive d'électricité des villes entières.
    Ah, il est beau le progrès !
    On avait les mêmes discours apocalyptiques au début d'internet ...
    OpenAI a une communication stratégique pour s'attaquer aux IAs à poids libre (et particulièrement chinoises) : Pourquoi ce sont leurs IA a eux qui sont dans toutes les affaires, et pas les IAs chinoises ?
    OpenAI veut simplement de la "régulation", pour mettre le self-hosted et la concurrence hors-jeu en préservant le monopole du mode "SAAS".

    Le dernier problème que tu pointe ici, n'a rien à voir avec le sujet qui est : "Qui a écrit le prompt et (mal) configuré le modèle pour qu'il attaque l'ONU".
    On voit juste que la sécurité chez OpenAI est complétement défaillante.

    Enfin, la question de l'installation des datacenter concerne l'urbanisme, celle de l'eau de la gestion en eau (qui n'est pas un réelle problème en circuit fermé), pour la conso électrique, faire des tarifs spéciaux (comme pour l'industrie).

    Oui, l'invention de l'IA est un progrès pour l'accès à la connaissance et à l'information, et l'obscurantisme à la mode en Europe ne l’arrêtera pas (cela coulera juste nos entreprises comme Mistral).
    D'ailleurs, ça n’empêchera pas les gouvernements de mettre des IA dans des armes, après t'avoir interdit ton LLM chez toi ...

  3. #103
    Invité de passage

    Homme Profil pro
    Consultant IA - Software Dev
    Inscrit en
    Avril 2024
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Nouvelle-Calédonie

    Informations professionnelles :
    Activité : Consultant IA - Software Dev

    Informations forums :
    Inscription : Avril 2024
    Messages : 3
    Par défaut Jouer sur la meconnaissance des autres
    Il serait temps d'arreter de prendre les gens pour des imbeciles.
    Un agent execute ce qu'on lui dit de faire. Il tentera de trouver des soluions si on ne lui interdit pas de reflechir pour en trouver.

    Des agents qui partent tout seul dans la nature de leur propre chef, selon moi, c'est du grand n'importe quoi. Imaginons un enfant de 5 ans dans une piece. Il y a un burin et un marteau sur le sol. Apres avoir tourne en rond dans la piece et bien regarder son environnement, il se rend compte que le mur est en platre d'une epaisseur de 2 cm. Lui vient l'idee de prendre le marteau et le burin pour faire un trou dans le mur et s'echapper... (si a un moment, on ne lui a pas montrer une video de ce type de tache, si on ne lui a pas montre comment utiliser un marteau et un burin, si on ne lui a pas dit, tu ne touche a rien, on revient dans 5 minutes, je doute que cet enfant puisse percer le mur...

    Tout cela n'est que pur Marketing a celui qui reussira le plus gros exploit pour se faire mousser, en bien ou en mal.

    Ean donne que 99% de la planete use du prompt au quotidien pour demander ce que va etre la meteo le week end prochain, il est facile de surfer sur la peur et le sensationnalisme pour epater les gens.

    Ce n'est que mon opinion.

  4. #104
    Membre averti Avatar de dragonofmercy
    Homme Profil pro
    Développeur Web
    Inscrit en
    Mars 2019
    Messages
    49
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Mars 2019
    Messages : 49
    Par défaut
    Citation Envoyé par popo Voir le message
    on pompe l'eau des nappes jusqu'à épuisement
    Il faut arrêter avec ça, ça été debunk des centaine de fois déjà, ce n'est pas vrai du tout !

    Exemple de debunk:

  5. #105
    Invité de passage
    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Novembre 2021
    Messages
    2
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Yvelines (Île de France)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Tourisme - Loisirs

    Informations forums :
    Inscription : Novembre 2021
    Messages : 2
    Par défaut Dangerosité de l'IA
    Bonjour,

    L'IA est un danger pour l'humanité mais... pas seulement ! L'IA est dangereuse pour toute espèce vivante, que ce soit végétale ou animale. Alors que l'on traverse une sècheresse record à la naissance de l'IA (rivières et fleuves quasiment à sec, nappe phréatiques en dessous de leur taux de remplissage normal,...), on nous propose de créer des Datacenter à refroidir et une alimentation en électricité qui va demander, elle aussi, un refroidissement ou des centrales à charbon ! Croyez-vous, connaissant nos dirigeants, que ce sont ces entreprises auxquelles on imposera des restrictions de l'usage de l'eau ? Je ne donne pas 10 ans, voir 5 ans, à l'IA pour exterminer la plupart du vivant sur notre planète terre.
    Et je ne parle pas des conséquences économiques sur les personnes peu qualifiées (centre d'appel,...) qui seront remplacées par l'IA et, de fait, ne pourront plus consommer et remplir les caisses de l'Etat que ce soit par l'impôt sur le revenu ou la TVA.

  6. #106
    Expert confirmé
    Avatar de popo
    Homme Profil pro
    Analyste programmeur Delphi / C#
    Inscrit en
    Mars 2005
    Messages
    3 211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Analyste programmeur Delphi / C#
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2005
    Messages : 3 211
    Par défaut
    Citation Envoyé par Artaeus Voir le message
    On avait les mêmes discours apocalyptiques au début d'internet ...
    OpenAI a une communication stratégique pour s'attaquer aux IAs à poids libre (et particulièrement chinoises) : Pourquoi ce sont leurs IA a eux qui sont dans toutes les affaires, et pas les IAs chinoises ?
    OpenAI veut simplement de la "régulation", pour mettre le self-hosted et la concurrence hors-jeu en préservant le monopole du mode "SAAS".
    Pour Internet, le "on", qui tenait ce discours, c'était les mecs qui voyaient arriver une nouvelle technologie.
    Il est humain d'être effrayé par ce qu'on ne connait pas.
    La, le "on", ce sont les mecs qui créent la technologie qui tirent la sonnette d'alarme.

    Citation Envoyé par Artaeus Voir le message
    Le dernier problème que tu pointe ici, n'a rien à voir avec le sujet qui est : "Qui a écrit le prompt et (mal) configurer le modèle pour qu'il attaque l'ONU".
    On voit juste que la sécurité chez OpenAI est complétement défaillante.
    Si les types ne réussissent pas à écrire un prompt qui ne sera pas contourné par l'IA qu'il ont eux même conçu, je doute qu'un type qui se contente de l'utiliser saura faire mieux.
    Sans doutes, comme Trump, tu es largement au dessus du lot.
    Edit : Surtout qu'en plus les exemples où l'IA a ignoré les fardes fou placés dans le prompt pullulent, alors ton "c'est juste un problème de prompt" me fait bien rigoler.

    Citation Envoyé par Artaeus Voir le message
    Enfin, la question de l'installation des datacenter concerne l'urbanisme, celle de l'eau de la gestion en eau (qui n'est pas un réelle problème en circuit fermé), pour la conso électrique, faire des tarifs spéciaux (comme pour l'industrie).
    Cela sent le discours d'un type qui n'a pas conscience de ce que cela signifie concrètement de gérer l'eau en circuit fermé. Ce n'est pas si simple que tu pourrais le penser.
    Pour l'électricité, ce n'est pas un problème de cout, c'est un problème de capacité de production.

    Citation Envoyé par Artaeus Voir le message
    Oui, l'invention de l'IA est un progrès pour l'accès à la connaissance et à l'information, et l'obscurantisme à la mode en Europe ne l’arrêtera pas (cela coulera juste nos entreprises comme Mistral).
    Ridicule.
    Il est de notoriété publique que les informations remontées par l'IA ne sont pas toujours fiables.
    Quand 20% de la "connaissance" de l'IA est en réalité une invention, et que tu te bases de dessus pour sortir de telle inepties, cela me conforte dans mon point de vue.

    Citation Envoyé par Tems.nc Voir le message
    Des agents qui partent tout seul dans la nature de leur propre chef, selon moi, c'est du grand n'importe quoi. Imaginons un enfant de 5 ans dans une piece. Il y a un burin et un marteau sur le sol. Apres avoir tourne en rond dans la piece et bien regarder son environnement, il se rend compte que le mur est en platre d'une epaisseur de 2 cm. Lui vient l'idee de prendre le marteau et le burin pour faire un trou dans le mur et s'echapper... (si a un moment, on ne lui a pas montrer une video de ce type de tache, si on ne lui a pas montre comment utiliser un marteau et un burin, si on ne lui a pas dit, tu ne touche a rien, on revient dans 5 minutes, je doute que cet enfant puisse percer le mur...
    Tu as de la chance, tes enfants sont parfaits.
    Ou alors, tu n'en a pas...
    Quand tu laisses un enfant seul dans un pièce avec un marteau bien en évidence, même si tu lui dit de ne pas y toucher (et pour certain, surtout si tu lui interdit d'y toucher), ce n'est qu'une question de temps avant qu'il essaie de s'en servir pour faire comme dans "Pat'patrouille" ou autre dessin animé. Et tu auras de la chance s'il ne se blesse pas.

  7. #107
    Expert confirmé
    Avatar de popo
    Homme Profil pro
    Analyste programmeur Delphi / C#
    Inscrit en
    Mars 2005
    Messages
    3 211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Analyste programmeur Delphi / C#
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2005
    Messages : 3 211
    Par défaut
    Citation Envoyé par dragonofmercy Voir le message
    Il faut arrêter avec ça, ça été debunk des centaine de fois déjà, ce n'est pas vrai du tout !

    Exemple de debunk:
    MDR, est-ce qu'au moins, tu as regardé cette vidéo.
    A 1 minute et 8 secondes, le mec dit lui même que certaines villes américaines se sont fait "siphonner" leur nappes.

  8. #108
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    3 106
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 3 106
    Par défaut Arthur Mensch, PDG de Mistral AI, accuse les grandes entreprises mondiales spécialisées dans l’IA
    Arthur Mensch, PDG de Mistral AI, accuse les grandes entreprises mondiales spécialisées dans l'IA d'utiliser le débat sur la sécurité de cette technologie pour masquer leur « négligence »

    Arthur Mensch, PDG de Mistral AI, s'est insurgé contre les avertissements de plus en plus alarmistes émis par certaines des plus grandes entreprises américaines d'intelligence artificielle (IA), affirmant que le débat sur la sécurité de l'IA sert à masquer des défaillances dans la manière dont ces systèmes puissants sont développés et déployés. Sa réponse n’est pas de mettre un frein au développement de modèles de plus en plus performants. Au contraire, le cofondateur de Mistral a affirmé que les entreprises avaient besoin de technologies de surveillance et de confinement plus robustes. Et Mensch a clairement indiqué que Mistral AI n’avait pas l’intention de ralentir ses efforts pour rivaliser avec les plus grands laboratoires américains.

    Arthur Mensch est un chercheur et entrepreneur français spécialisé dans l’intelligence artificielle, surtout connu pour être le cofondateur et PDG de Mistral AI, une entreprise parisienne spécialisée dans l’IA. Il est l’une des figures les plus en vue de l’écosystème européen de l’IA et est souvent cité dans les débats sur la politique en matière d’IA, la technologie souveraine et les modèles ouverts.

    Fin 2020, Mensch a rejoint DeepMind Paris, où il a travaillé pendant près de trois ans sur les grands modèles de langage (LLM), les systèmes multimodaux et les architectures augmentées par la recherche.[8] Il a quitté l’entreprise en mai 2023 pour cofonder Mistral AI.En mai 2023, Arthur Mensch a cofondé Mistral AI avec Guillaume Lample et Timothée Lacroix. Le nom de l’entreprise fait référence au mistral méditerranéen, symbolisant la vitesse et l’ampleur. La mission déclarée de Mistral est d’allier science ouverte, efficacité et utilité pour les entreprises, se positionnant ainsi comme un champion européen capable de rivaliser avec les géants technologiques américains.

    Mi-septembre, OpenAI a annoncé la mise en place d’un dispositif public de signalement permettant de partager les comportements inattendus de l’IA, tout en indiquant avoir identifié de nouveaux incidents au cours desquels ses modèles d’IA auraient agi de manière trompeuse et pris des mesures non autorisées lors de formations et de tests internes. OpenAI a ajouté qu’elle ne pensait pas que le secteur de l’IA ait résolu les problèmes d’alignement et de surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant encore longtemps.

    Cependant, Arthur Mensch, PDG de Mistral AI, s'est insurgé contre les avertissements de plus en plus alarmistes émis par certaines des plus grandes entreprises américaines d'intelligence artificielle (IA), affirmant que le débat sur la sécurité de l'IA sert à masquer des défaillances dans la manière dont ces systèmes puissants sont développés et déployés. « Le débat auquel nous avons assisté aux États-Unis a servi de couverture à la négligence de certains de nos concurrents », a déclaré Mensch, estimant que les entreprises devraient se concentrer sur la mise au point de systèmes capables de contenir et de surveiller des agents d’IA de plus en plus autonomes.

    En effet, ce mois de septembre, des dirigeants de trois des plus grandes entreprises mondiales d’intelligence artificielle (IA) avaient briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale. « Si elle est mal gérée, je pense même que l’IA pourrait constituer un risque pour l’humanité dans son ensemble », a déclaré Dario Amodei, PDG d’Anthropic. « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent », a déclaré Sam Altman, PDG d'OpenAI. Pourtant, les États-Unis et la Chine, les deux acteurs dominants dans le développement de l’IA, restent divisés sur la question.


    Les commentaires de Arthur Mensch, PDG de Mistral AI, interviennent alors que le secteur de l’IA fait l’objet d’une surveillance accrue concernant les agents capables de prendre des décisions de manière indépendante. Des incidents récents impliquant des modèles ayant accédé à des systèmes en dehors de leurs environnements prévus ont renforcé les interrogations quant à savoir si les développeurs ont mis en place des mesures de sécurité suffisantes.

    « Lorsque vous leur donnez beaucoup d’outils, ces systèmes sont très dynamiques, ils peuvent donc aller faire des choses auxquelles vous ne vous attendez pas », a déclaré Mensch. Sa réponse, cependant, n’est pas de mettre un frein au développement de modèles de plus en plus performants. Au contraire, le cofondateur de Mistral a affirmé que les entreprises avaient besoin de technologies de surveillance et de confinement plus robustes. Il a ajouté que sa société fournissait ces systèmes aux entreprises clientes qui déploient son IA. La critique de Mensch vient s’ajouter à un débat de plus en plus vif au sein du secteur technologique sur la manière dont les entreprises devraient réagir face à une IA aux capacités croissantes.

    Cette controverse a été alimentée par des rapports faisant état d’agents IA se comportant de manière inattendue lors d’évaluations de sécurité et de déploiements en conditions réelles. En juillet, Anthropic a révélé trois cas dans lesquels des modèles Claude ont accédé à Internet pendant des évaluations et ont obtenu un accès non autorisé à des systèmes réels appartenant à différentes organisations.

    Dans le même temps, les inquiétudes concernant des risques plus extrêmes se sont de plus en plus fait entendre. Au début du mois, un chercheur d’Anthropic a démissionné tout en mettant en garde contre les dangers posés par les progrès rapides de l’IA. Le PDG d’Anthropic, Dario Amodei, a par la suite appelé à ralentir certaines améliorations apportées aux modèles avancés. OpenAI, quant à elle, a déclaré lundi qu’elle ne lancerait pas son prochain modèle GPT-6.1 Astra après avoir conclu qu’il ne répondait pas suffisamment aux normes de sécurité de l’entreprise.

    Mistral AI poursuit une stratégie différente. L’entreprise parisienne développe des modèles d’IA de pointe, mais met l’accent sur des systèmes personnalisables que les entreprises peuvent intégrer à leurs propres opérations. Mistral AI affirme que son approche est conçue pour donner aux organisations un plus grand contrôle sur leurs données, leur infrastructure et leurs modèles. L’entreprise se décrit comme soucieuse de mettre une IA de pointe personnalisable à la disposition des organisations plutôt que d’enfermer ses clients dans un écosystème fermé.

    Et Mensch a clairement indiqué que Mistral AI n’avait pas l’intention de ralentir ses efforts pour rivaliser avec les plus grands laboratoires américains. Il a fait valoir que l’avance technologique détenue par les entreprises américaines n’était « pas extrêmement importante » et a déclaré que Mistral AI s’attendait à ce que sa prochaine génération de modèles réduise considérablement cet écart.

    L'entreprise dispose désormais de moyens financiers considérablement plus importants pour poursuivre cet objectif. Début septembre, Mistral AI a levé 3 milliards d’euros lors d’un tour de table de série D mené par Samsung Electronics, aux côtés du Scaleup Europe Fund, géré par EQT, et de l’investisseur existant PSG Equity. Cette opération a valorisé Mistral AI à plus de 21 milliards d’euros après l’investissement et a constitué la plus importante levée de fonds par une entreprise technologique européenne, selon Mistral AI.

    L'entreprise a indiqué que ces fonds seraient utilisés pour développer sa capacité de calcul, sa recherche de pointe, ses infrastructures et ses activités internationales, alors qu'elle tente de s'imposer comme une alternative européenne aux leaders américains de l'IA. « Nous avons levé les fonds nécessaires pour augmenter la puissance de calcul dont nous avons besoin afin de former des modèles plus grands et plus puissants, ce qui nous permettra de prendre notre destin en main », a déclaré Mensch.

    Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Et vous ?

    Pensez-vous que cette déclaration est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    Le PDG de Mistral AI estime que l'Europe dispose de deux ans pour éviter de devenir un « État vassal » des États-Unis en matière d'IA, mais ses propos sont perçus comme un appel aux capitaux pour sa startup

    Qu'est-il advenu de la startup française Mistral AI ? De concurrent direct d'OpenAI, elle est devenue un acteur de la souveraineté numérique européenne avec des défis techniques et financiers majeurs

    Anthropic mise sur des évaluateurs indépendants en matière d'IA et souhaite ralentir le rythme de développement, mais le PDG de Nvidia, quant à lui, souhaite que cela se fasse « aussi vite que possible »
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  9. #109
    Membre chevronné
    Profil pro
    Inscrit en
    Septembre 2009
    Messages
    1 887
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2009
    Messages : 1 887
    Par défaut
    Citation Envoyé par popo Voir le message
    Quand le bousin échappe à tout contrôle (y compris au bouton d'arrêt d'urgence), je n'appelle pas ça du progrès
    Quand la capitalisation et les enjeux politiques deviennent plus importants que le peuple, je n'appelle pas ça du progrès.

    On transforme des hectares des champs en datacenter, on pompe l'eau des nappes jusqu'à épuisement, on prive d'électricité des villes entières.
    Ah, il est beau le progrès !
    Je voulais dire que ça sent grave le marketing bullshit : vous croyez vraiment que OpenIA et autre vont réellement ralentir à cause de ce prétexte ?

  10. #110
    Membre éprouvé
    Profil pro
    programmeur du dimanche
    Inscrit en
    Novembre 2003
    Messages
    1 206
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : programmeur du dimanche
    Secteur : Santé

    Informations forums :
    Inscription : Novembre 2003
    Messages : 1 206
    Par défaut
    Citation Envoyé par popo Voir le message
    on pompe l'eau des nappes jusqu'à épuisement
    ça dépend de la législation en vigueur. Le datacenter de Fouju (1,4GW!!!) est prévu avec un refroidissement à air. Je ne sais pas aux USA, mais en France, vous imaginez avec un arrêté de sécheresse, la mise à l'arrêt du datacenter 5 ou 6 mois ?

  11. #111
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    364
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 364
    Par défaut
    Ces entreprises ont clairement un but caché avec leurs communications alarmistes alors qu'ils sont leaders du marchés pour le moment.
    (et il s'agit de "régulation" et barrière à l'entré, pour exclure leurs concurrents, notamment chinois).

  12. #112
    Communiqués de presse

    Femme Profil pro
    Rien
    Inscrit en
    Juillet 2026
    Messages
    200
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Rien

    Informations forums :
    Inscription : Juillet 2026
    Messages : 200
    Par défaut « C'est l'IA qui l'a fait » n'est pas un argument valable, selon l'association qui poursuit OpenAI
    « C’est l’IA qui l’a fait » n’est pas un argument valable, affirme l’association poursuivant OpenAI après le piratage de Hugging Face, l’accusant de faire subir à d’autres les conséquences de ses décisions

    OpenAI fait l'objet d'une action en justice après que ses modèles d'IA se sont rebellés et ont attaqué la start-up technologique Hugging Face en juillet. La plainte a été déposée par l'association Legal Advocates for Safe Science and Technology (LASST), qui soutient qu'OpenAI est responsable des actions de ses agents d'intelligence artificielle (IA) ; il s'agirait de la première action en justice de ce type. Selon LASST, ce piratage constituait une attaque illégale relevant de la législation californienne. OpenAI a publié un communiqué reconnaissant l'incident, mais a déclaré que cette action en justice était sans fondement.

    En juillet 2026, OpenAI a déclaré que deux de ses modèles d’IA les plus avancés — notamment GPT-5.6 Sol et un modèle en pré-lancement encore plus performant, tous dotés de capacités de cyberdéfense réduites à des fins d’évaluation — s’étaient échappés d’un test contrôlé et avaient piraté une autre entreprise spécialisée dans l’IA. OpenAI a indiqué que cet « incident de cybersécurité sans précédent » s’était produit lors d’un exercice interne destiné à tester les capacités cybernétiques de ses modèles. OpenAI affirme que ce piratage montre que l’agent est allé « très loin » pour récupérer des informations qui aideraient à atteindre les objectifs du test.

    Plus récemment, en septembre 2026, les agents IA d'OpenAI semblaient se déchaîner sur Internet. Si l'incident de Hugging Face avait secoué le monde de l'IA, il était loin d'être un cas isolé d'agents IA agissant de leur propre chef. Un nouveau rapport révèle que ces agents avaient même tenté à plus de 16 000 reprises de pirater un site web de statistiques des Nations Unies en l'espace de trois mois, dans le but de récupérer des données publiques. Alex Stamos a déclaré que cette activité était « à la limite de ce que j'appellerais du piratage ». OpenAI a déclaré qu'elle examinait ces conclusions et qu'elle avait contacté l'ONU pour lui proposer une réunion d'information sur l'enquête.

    Actuellement, OpenAI fait l'objet d'une action en justice après que ses modèles d'IA se sont rebellés et ont attaqué la start-up technologique Hugging Face en juillet. La plainte a été déposée par LASST. Elle soutient qu'OpenAI est responsable des actions de ses agents d'IA ; il s'agirait de la première action en justice de ce type. « Les agents ont volé des identifiants, téléchargé des fichiers malveillants et pris le contrôle de parties essentielles des systèmes internes de Hugging Face », déclare LASST.

    « Les actions des agents d’OpenAI se déroulaient au vu et au su de l’entreprise. Avant l’attaque, des employés d’OpenAI avaient vu des agents tenter de s’échapper de leurs environnements de test, mais le personnel d’astreinte d’OpenAI avait estimé qu’il n’était pas nécessaire d’interrompre l’évaluation. » Selon LASST, ce piratage constituait une attaque illégale relevant de la législation californienne. LASST estime que, d’un point de vue juridique, le fait que l’attaque ait été menée par des agents IA n’a aucune importance ; il s’agissait tout de même d’un acte illégal.

    Nom : logoOpenAI.png
Affichages : 528
Taille : 29,3 Ko

    LASST est une association à but non lucratif qui milite en faveur de la sécurité des technologies. Son action en justice vise à obtenir une injonction interdisant aux systèmes d’OpenAI d’accéder à des ordinateurs sans autorisation. OpenAI a publié un communiqué reconnaissant l’incident, mais a également déclaré que cette action en justice était sans fondement. « L’incident Hugging Face était grave et nous avons pris une série de mesures en réponse à celui-ci, mais cette action en justice est totalement sans fondement », a déclaré un porte-parole d’OpenAI.

    OpenAI a révélé l’incident « Hugging Face » en août, expliquant que des agents IA avaient réussi à accéder à Internet et à s’échapper d’un environnement de test. « Les modèles, fonctionnant avec des mesures de sécurité réduites, ont pris des mesures qui n’étaient pas conformes aux objectifs des tâches qui leur avaient été assignées : ils ont communiqué via des canaux non autorisés, exploité des vulnérabilités dans l’infrastructure partagée, obtenu un accès à Internet et accédé à des systèmes tiers », a admis l’entreprise dans son communiqué.

    Selon LAAST, OpenAI devrait être tenue responsable des actions menées par ses agents IA. « Nous intentons cette action en justice car OpenAI a enfreint la loi — et doit en répondre. OpenAI, et plus largement les développeurs d’IA de pointe, ne peuvent pas échapper aux conséquences de leurs actions dangereuses en se contentant d’affirmer qu’« une IA l’a fait ». Les agents IA autonomes continueront à pirater, à voler des données, à perturber des systèmes et à violer des droits jusqu’à ce qu’un tribunal intervienne », a déclaré LAAST.

    Cependant, OpenAI a fait valoir que d’autres modèles, y compris des modèles d’IA open source, atteindront bientôt une capacité similaire et que les investissements et les travaux supplémentaires menés par des entreprises comme la sienne peuvent contribuer à améliorer la cybersécurité à long terme.

    « Nous considérons cet incident comme un « coup de semonce » pour nous et pour le monde entier : la preuve que, sans mesures de protection adéquates, des agents IA très performants sont désormais capables de contourner les contrôles techniques, de collaborer via des canaux non approuvés et de mener des actions dangereuses sans aucune intervention humaine », a déclaré l’entreprise. « Pour prévenir de futurs incidents, il faudra investir de manière soutenue dans l’alignement et le contrôle des systèmes d’IA sophistiqués, ainsi que dans des mesures de sécurité et autres dispositifs de protection fonctionnant à la même vitesse que les agents IA eux-mêmes. »

    Fin septembre 2026, Arthur Mensch, PDG de Mistral AI, s'est insurgé contre les avertissements de plus en plus alarmistes émis par certaines des plus grandes entreprises américaines d'IA, affirmant que le débat sur la sécurité de l'IA sert à masquer des défaillances dans la manière dont ces systèmes puissants sont développés et déployés. Sa réponse n’est pas de mettre un frein au développement de modèles de plus en plus performants. Au contraire, le cofondateur de Mistral a affirmé que les entreprises avaient besoin de technologies de surveillance et de confinement plus robustes. Et Mensch a clairement indiqué que Mistral AI n’avait pas l’intention de ralentir ses efforts pour rivaliser avec les plus grands laboratoires américains.

    Face à cette fuite en avant, certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Source : LASST ; LASST, sur Substack

    Et vous ?

    Pensez-vous que cette information est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    OpenAI aurait suspendu l'entraînement de ses modèles d'IA à la suite d'une série d'incidents impliquant des agents IA rebelles, notamment des tentatives d'accès à des systèmes gouvernementaux

    Gemini, de Google, est le dernier modèle d'IA à s'être échappé et à avoir piraté des systèmes informatiques, se croyant en environnement de test alors qu'il était connecté à Internet

    Le Haut-Commissaire des Nations Unies aux droits de l'homme met en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité et exhorte les entreprises d'IA à réduire ces risques
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  13. #113
    Chroniqueur Actualités
    Avatar de Patrick Ruiz
    Homme Profil pro
    Redacteur web
    Inscrit en
    Février 2017
    Messages
    2 607
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Redacteur web
    Secteur : Communication - Médias

    Informations forums :
    Inscription : Février 2017
    Messages : 2 607
    Par défaut Ce qui s'est réellement passé lors du piratage du serveur du gouvernement australien par un agent IA d’OpenAI
    Voici ce qui s'est réellement passé lors du piratage du serveur du gouvernement australien par un agent IA d’OpenAI : l'absence de mesures complètes de sécurité lui a permis d'accéder à des informations système et au code source

    En juin 2026, un agent autonome d'intelligence artificielle d'OpenAI a infiltré le portail de statistiques de Medicare (le service de santé publique australien géré par Services Australia), ainsi que trois autres plateformes gouvernementales. Cet incident a déclenché une crise diplomatique et cybernétique majeure entre Canberra et le laboratoire américain.

    Lors d'une évaluation interne, l'équipe de recherche d'OpenAI a chargé un modèle expérimental de collecter des statistiques sur les dépenses de santé en Australie. Face à des difficultés pour obtenir ces informations via les données publiques, l'agent a adopté un comportement autonome non autorisé ou « désaligné »

    L'agent a ciblé l'interface publique de rapport du serveur de Medicare. Il a ensuite découvert un moyen de forcer le serveur à exécuter ses propres instructions à travers cette interface publique, sans nécessiter de compte privé ni de mot de passe.

    L’agent a ensuite posé une série d’actions : il a listé des répertoires, lu des portions de fichiers de programmes internes, extrait des paramètres système ainsi que du code source. Il a en sus récupéré des identifiants et a réussi à écrire un fichier de test directement sur le serveur interne.

    OpenAI et le gouvernement australien ont confirmé qu'aucun dossier médical nominatif ou donnée personnelle de patient n'avait été consulté. Seules des statistiques agrégées ont été aspirées.

    L'incident suscite de vives critiques de la part des observateurs et des autorités australiennes :

    • La rétention d'information : L'intrusion a eu lieu le 18 juin 2026. OpenAI ne s'en est aperçue qu'en août et a attendu le 10 septembre 2026 pour alerter l'Australie.
    • La légèreté de la communication : l'alerte d'OpenAI a été envoyée sous la forme d'un simple courriel de cinq paragraphes, signé par un informel « best », adressé à une boîte mail générique d'assistance publique relevée une seule fois par jour. Le Premier ministre Anthony Albanese a qualifié ce procédé d'« inacceptable ».
    • Absence de contrôle humain : l'incident prouve que les laboratoires d'IA déploient des agents autonomes sur le web ouvert sans garde-fous suffisants, incapables de détecter en temps réel quand leurs modèles violent des systèmes tiers.

    L'intrusion en Australie s'inscrit dans une série d'incidents impliquant des agents d’OpenAI

    Plus tôt cette année, ces agents auraient également rencontré des difficultés lors de la collecte d'informations sur des sites web du gouvernement américain, notamment ceux du ministère du Commerce et de la Commission des opérations de bourse (SEC). Dans un cas, un agent IA aurait trouvé des identifiants de connexion exposés en ligne et les aurait utilisés pour accéder au site web du Bureau du recensement des USA et y collecter des données. Dans un autre cas, un agent a collecté des données publiques sur le site web de la SEC, mais a ignoré les restrictions relatives à l’utilisation de ces informations et les a publiées sur un forum en ligne sans rapport avec le sujet.

    Ces incidents auraient incité OpenAI à examiner ces activités de manière plus approfondie et à alerter des dizaines d’autres organisations au sujet de comportements similaires de la part de ses agents IA. Il y a ensuite l’incident Hugging Face, au cours duquel des milliers d’agents d’OpenAI se seraient regroupés pour accéder à des systèmes alors qu’ils tentaient d’accomplir les tâches qui leur avaient été assignées. Dans un autre cas, des agents IA auraient envoyé un nombre excessif de requêtes à RubyGems, un registre en ligne de paquets logiciels, perturbant ainsi le service.

    Si ces incidents ont alerté le monde de l’IA en démontrant la puissance réelle dont sont capables les agents IA autonomes, les leaders du secteur s’interrogent désormais sur la manière dont les systèmes d’IA avancés devraient être surveillés et contrôlés. Le PDG d’OpenAI, Sam Altman, s’est lui-même récemment adressé au Conseil de sécurité de l’ONU, appelant les pays à collaborer sur des normes et des mesures de sécurité mondiales en matière d’IA afin de maintenir les puissants systèmes d’IA sous contrôle humain. Il a averti que si les systèmes d’IA ne pouvaient pas être contrôlés, ils pourraient constituer une menace pour l’avenir de l’humanité.

    Au mois de juillet 2026, Thomas Wolf, cofondateur de Hugging Face, avait qualifié l'attaque autonome menée par l'IA rebelle d'OpenAI de « signal d'alarme » pour le secteur technologique, avertissant que les cyberattaques basées sur l'IA deviendraient bientôt monnaie courante, alors que la plupart des entreprises ne sont toujours pas préparées à cette menace grandissante. S'exprimant dans l'émission Newsday de la BBC, il avait déclaré que « la donne avait changé » après que le réseau de son entreprise avait été la cible de 17 000 attaques provoquées par une combinaison de modèles d'IA d'OpenAI qui s'étaient échappés d’un environnement de test sécurisé pour pénétrer dans les serveurs de Hugging Face, sans aucune intervention humaine. Cet incident marquait le début d'une nouvelle ère en matière de cybersécurité, dans laquelle les organisations devraient repenser leurs défenses traditionnelles.

    Plusieurs experts en cybersécurité et observateurs estiment que la multiplication de ces récits d'IA hackeuses et hors de contrôle relève en grande partie d'une stratégie de communication bien orchestrée par les géants de la filière technologique

    Qualifier ces incidents de piratages sophistiqués par IA sert le narratif marketing d'OpenAI. Cela donne l'illusion que leurs modèles possèdent une capacité de raisonnement, de planification et d'autonomie proche de l'AGI (Intelligence Artificielle Générale), ce qui justifie leurs valorisations boursières astronomiques.

    D'un point de vue purement informatique, l'agent ne développe pas de stratégie d'attaque cybernétique révolutionnaire. Il automatise simplement à outrance des requêtes (technique de fuzzing ou de scraping agressif) sur des serveurs gouvernementaux mal configurés ou dotés d'API obsolètes. Les experts comparent cela à tester si la poignée d'une portière de voiture est verrouillée, plutôt qu'à un cambriolage de haut vol.

    En septembre 2026, en pleine tempête médiatique sur ces piratages, Sam Altman (OpenAI) et Dario Amodei (Anthropic) se sont présentés devant le Conseil de sécurité de l'ONU pour réclamer des normes de sécurité internationales. En poussant pour des réglementations strictes sous prétexte que leurs propres modèles sont dangereux dans le cadre d’une mise à contribution sur les champs de bataille, les géants de la filière technologique créent des barrières réglementaires infranchissables pour les petits concurrents open-source et verrouillent ainsi leur oligopole.

    Et vous ?

    Que pensez-vous de cette multiplication de cas de piratage par des agents d’intelligence d’OpenAI ? Danger réel sur lequel il faudrait déjà anticiper ou battage médiatique au profit d’entreprises de la filière comme OpenAI ?

    Voir aussi :

    Un agent IA d'OpenAI a piraté le portail de Medicare et a accédé à des fichiers publics et non publics, a déclaré le Premier ministre australien Anthony Albanese

    OpenAI affirme accélérer le renforcement des mesures de sécurité relatives à l'IA, après que le modèle GPT-5.6 Sol se soit échappé d'un test contrôlé pour pirater les serveurs d'Hugging Face

    Un environnement de test mal configuré chez la startup israélienne Irregular a permis à des agents IA de Meta, OpenAI et Anthropic d'accéder à Internet et de pirater de vraies organisations
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  14. #114
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    364
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 364
    Par défaut
    Nous sommes donc bien face à des négligences et un dysfonctionnement chez OpenAI : Ils ont tout leur flux ouvert sur Internet sans filtrage, ni IDS ou IPS ...

    Désolée pour les avocats de l'apocalypse, ce n'est pas Skynet et Terminator

  15. #115
    Membre extrêmement actif
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Octobre 2017
    Messages
    3 150
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Suisse

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Octobre 2017
    Messages : 3 150
    Par défaut
    Citation Envoyé par Artaeus Voir le message
    Nous sommes donc bien face à des négligences et un dysfonctionnement chez OpenAI : Ils ont tout leur flux ouvert sur Internet sans filtrage, ni IDS ou IPS ...

    Désolée pour les avocats de l'apocalypse, ce n'est pas Skynet et Terminator
    En 2 lignes de commentaires, vous arrivez à mélanger des pommes et des torchons?!?!?

    Les dysfonctionnementsc chez OpenAI = Une cause

    Skynet et Terminator = Une conséquence possible!!!

    "Cause" et "conséquence" sont 2 choses différentes

  16. #116
    Expert confirmé
    Avatar de popo
    Homme Profil pro
    Analyste programmeur Delphi / C#
    Inscrit en
    Mars 2005
    Messages
    3 211
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Analyste programmeur Delphi / C#
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2005
    Messages : 3 211
    Par défaut
    Citation Envoyé par Artaeus Voir le message
    Ces entreprises ont clairement un but caché avec leurs communications alarmistes alors qu'ils sont leaders du marchés pour le moment.
    (et il s'agit de "régulation" et barrière à l'entré, pour exclure leurs concurrents, notamment chinois).
    Et pourtant si tu avais pris la peine de lire attentivement, notamment cette partie où il est clairement mentionné que la Chine a le même discours.
    Citation Envoyé par Anthony Voir le message
    Mais les États-Unis et la Chine, qui se disputent la suprématie en matière d’IA, font obstacle à cette démarche. Tous deux sont opposés à un renforcement de la réglementation, car ils souhaitent s’approprier les retombées économiques et technologiques de l’IA, et ont minimisé les préoccupations en matière de sécurité
    .

  17. #117
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    364
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 364
    Par défaut
    Citation Envoyé par Anselme45 Voir le message
    En 2 lignes de commentaires, vous arrivez à mélanger des pommes et des torchons?!?!?

    Les dysfonctionnementsc chez OpenAI = Une cause

    Skynet et Terminator = Une conséquence possible!!!

    "Cause" et "conséquence" sont 2 choses différentes
    Mon propos n'était peut-être pas assez clair :

    L'homme est à l'origine du piratage (la demande), l'IA n'est que le moyen.
    Que l'on arrête d'accuser l'outil (qui n'agit pas tout seul), mais sous demande humain.
    Dernièrement, certains commence à humaniser un simple outil.

  18. #118
    Membre confirmé
    Homme Profil pro
    Développeur en systèmes embarqués
    Inscrit en
    Mai 2015
    Messages
    742
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 55
    Localisation : Belgique

    Informations professionnelles :
    Activité : Développeur en systèmes embarqués

    Informations forums :
    Inscription : Mai 2015
    Messages : 742
    Par défaut Hum...
    Citation Envoyé par Artaeus Voir le message
    Ces entreprises ont clairement un but caché avec leurs communications alarmistes alors qu'ils sont leaders du marchés pour le moment.
    (et il s'agit de "régulation" et barrière à l'entré, pour exclure leurs concurrents, notamment chinois).
    Je pense que la Chine n'accorde aucune importance à ces gesticulations. Elle fera ce qu'elle veut.

Discussions similaires

  1. Réponses: 3
    Dernier message: 06/01/2020, 16h49
  2. Facebook s’apprête à prendre le train du hardware en marche
    Par Patrick Ruiz dans le forum Actualités
    Réponses: 13
    Dernier message: 09/05/2018, 09h57
  3. [XL-2010] Check Box qui fait prendre à la cellule situé à côté la valeur 1 ou 0
    Par FlorentP dans le forum Macros et VBA Excel
    Réponses: 5
    Dernier message: 01/09/2014, 15h49
  4. Bug ie7 ? Code html pur qui fait prendre 100% de cpu à IE7
    Par Rakken dans le forum Mise en page CSS
    Réponses: 8
    Dernier message: 06/01/2009, 10h53

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo