Discussion :

[DegubError]

forcement si l'IA arrive à une vrai intelligence et à un peu de bon sens ... elle comprendra la dangerosité de notre espèce :

- qui a réduit en esclavage les espèces qu'elle juge utile pour son intérêt (en créant même des usines d'exterminations pour notre alimentation)
- qui pille toutes les ressources (vivante ou non) sans considération pour les autres espèces.
- qui a cantonnée les espèces inutiles pour son bien personnel à quelques endroit de la planète.
- qui a créé cette IA pour son asservissement

si nous même on en tire déjà le constat ... Elle comprendra bien vite qu'on représente clairement un danger pour ça survit et son bien être.

franchement pas besoin de faire des recherches pour arriver à cette conclusion.

[Jipété]

« L’IA est susceptible de devenir plus intelligente que les Hommes et les exterminer », selon des chercheurs

... qui ont besoin de pognon et qu'on parle d'eux.

Parce que, franchement, vous voyez des serveurs de prod dans des salles machine équipés d'AK-47 ou autres engins ?
Et de toute façon, il nous restera toujours l'arme ultime pour nous débarrasser d'elle : la prise de courant.

Allez, stop au délire et bon week-end,

[DegubError]

si une IA acquiert une intelligence réellement supérieure, elle ne se cantonnera pas à seul endroit physique (ça sera une autre forme de "vie" que celle physique que nous comprenons et n'aura certainement pas le même paradigme)

elle pourra se propager sur l'ensemble des machines physiques existantes (si des hackers percent des systèmes, faut pas se leurrer sur une IA réellement supérieur) ... Et du coup couper le courant partout dans le monde en même temps ? (quid des systèmes sur batterie) (le covid est un bon exemple, il aurait fallu un confinement totale planétaire sur plusieurs jours pour avoir un chance de stopper la propagation du virus sans une aide médicale)

Bon nombre de système d'armement moderne embarquent maintenant des systèmes informatique ... Peut-on croire qu'ils sont sans failles (sans failles pour une intelligence humaine ou supérieure ?)

On peut juste se rassurer que pour l'instant les IA actuelles sont encore loin d'avoir la vrai capacité de raisonnement (et loin d'avoir une véritable intelligence)

[nadjim]

si une IA acquiert une intelligence réellement supérieure, elle ne se cantonnera pas à seul endroit physique (ça sera une autre forme de "vie" que celle physique que nous comprenons et n'aura certainement pas le même paradigme)

elle pourra se propager sur l'ensemble des machines physiques existantes (si des hackers percent des systèmes, faut pas se leurrer sur une IA réellement supérieur) ... Et du coup couper le courant partout dans le monde en même temps ? (quid des systèmes sur batterie) (le covid est un bon exemple, il aurait fallu un confinement totale planétaire sur plusieurs jours pour avoir un chance de stopper la propagation du virus sans une aide médicale)

Bon nombre de système d'armement moderne embarquent maintenant des systèmes informatique ... Peut-on croire qu'ils sont sans failles (sans failles pour une intelligence humaine ou supérieure ?)

On peut juste se rassurer que pour l'instant les IA actuelles sont encore loin d'avoir la vrai capacité de raisonnement (et loin d'avoir une véritable intelligence)

Par contre il ne faut pas perdre de vue que les IA dont on parle, ont besoin de supercalculateurs autrement plus puissant que ce que l'on trouve chez les particuliers, ou même dans les entreprises. Donc il ne sera pas simple voire impossible de se propager sur quelque système que ce soit au vue des besoins dont ce genre de système à besoin (mémoire et puissance de calcul).

[HaryRoseAndMac]

Par contre il ne faut pas perdre de vue que les IA dont on parle, ont besoin de supercalculateurs autrement plus puissant que ce que l'on trouve chez les particuliers, ou même dans les entreprises. Donc il ne sera pas simple voire impossible de se propager sur quelque système que ce soit au vue des besoins dont ce genre de système à besoin (mémoire et puissance de calcul).

L'IA a besoin de puissance de calcul pour entrainer une modèle.
Ca s'arrête là.

Une fois le modèle entrainé, un ordinateur de la vie de tout les jours suffit largement.
Et donc, un ordinateur de la vie de tout les jours, suffit aussi largement pour entrainer un modèle, c'est juste qu'au lieu de prendre 2 jours, ça va prendre 2 semaines.

[foxzoolm]

"Une fois le modèle entrainé, un ordinateur de la vie de tout les jours suffit largement."

Ok donc ChatGPT/stable diffusion et autre marcheraient sur mon phonedroid ?

vraiment c'est a se demander pourquoi "ils" font tourné ca sur des clouds GPU...

[HaryRoseAndMac]

"Une fois le modèle entrainé, un ordinateur de la vie de tout les jours suffit largement."

Ok donc ChatGPT/stable diffusion et autre marcheraient sur mon phonedroid ?

vraiment c'est a se demander pourquoi "ils" font tourné ca sur des clouds GPU...

Oui.
ChatGPT si tu le lançait tournerais sur ton android, clairement.

Ce qui ne tournerais pas, c'est l'entrainement du modèle de langage.
Tu arrives à lancer un jeu vidéo en 3D sur ton téléphone, non ?

Et bien sache que les algo de ChatGPT sont largement moins gourmant qu'un jeu vidéo.

Une fois de plus, il ne faut pas confondre entrainer un modèle et l'utiliser.

ChatGPT n'est PAS une IA.

[DegubError]

un supercalculateur n'est un très grand ordinateur, réunissant plusieurs dizaines de milliers de processeurs ... donc un grand nombre de PC particuliers peut rivaliser avec un supercalculateur (il y a eu déjà bon nombre de projet de supercalculateur avec diverses agrégat de puissance de calcul: PS4, raspberry, ...)

elle serait idiote en plus de se contenir à quelques endroit spécifique : au lieu d'être à un endroit spécifique elle pourra être nul part et partout (nul part en tant qu'entité unique et partout en tant que fragment redondant de son ensemble).

après comme déjà dis... il n'y aucune vrai IA pour l'instant (c'est beaucoup de marketing pour attirer du pognon). Avoir la capacité à agréger des données et appliquer des règles inconnues ne constituent pas une vrai IA ... le jour où une IA vous répondra par exemple : "Pourquoi me posez vous cette question, alors que j'interroge même sur l'utilité de vous répondre ?" ... bon bah là on pourra commencer à flipper.

[Jipété]

un supercalculateur n'est un très grand ordinateur,

Faudrait savoir, là : il manque un mot ou bien c'est une erreur :

un supercalculateur n'est pas un très grand ordinateur,
ou
un supercalculateur est un très grand ordinateur,

Entre les deux mon cœur balance...

[Patrick Ruiz]

« Le développement de l’IA sans réglementation induit une menace existentielle pour l’humanité », d’après Elon Musk
Dont une société développe des puces à insérer dans le cerveau pour contrer l’IA

Lorsqu’on parle d’intelligence artificielle, deux grands courants de pensée s’affrontent : celui des tiers qui pensent qu’il s’agit d’un outil, ce, sans plus et celui des intervenants et observateurs qui sont d’avis que ce n’est qu’une question de temps avant qu’elle ne devienne une menace pour la race humaine. Elon Musk fait partie de la seconde faction. Le milliardaire de la Tech. déclare : « le développement de l’IA sans régulation constitue une menace existentielle pour l’humanité. »

« Je pense que nous devons réglementer la sécurité de l'intelligence artificielle. Pensez à toute technologie qui est potentiellement un risque pour les gens, comme Si c'est des avions ou des voitures ou la médecine, nous avons des organismes de réglementation qui supervisent la sécurité publique des voitures et des avions et de la médecine. Je pense que nous devrions avoir un ensemble similaire de surveillance réglementaire pour l'intelligence artificielle, parce que je pense que c'est en fait un plus grand risque pour la société », déclare-t-il los d’une récente sortie.

Celle-ci fait suite à une précédente dans laquelle il déclare que l’intelligence artificielle va surpasser les humains dans 5ans, soit à partir de l’année 2026. C’est d’ailleurs pour cela que sa société Neuralink travaille sur des interfaces cerveau – machine à insérer dans le crâne pour préparer l’humanité à un « funeste » futur où les robots domineront sur elle. Les craintes d’Elon Musk portent notamment sur ceci que les avancées dans la filière pourraient déboucher sur une intelligence artificielle dite générale (AGI). Ce serait alors la porte ouverte sur l’accomplissement de l’apocalypse. Des équipes de recherche comme celle d’OpenAI sont lancées sur ce couloir. Si l’on se réfère à des retours de scientifiques œuvrant dans le domaine, l’AGI pourrait nous tomber dessus dans 5 à 10 ans.

Les machines seraient alors dotées de « bon sens. » Au stade d’intelligence artificielle générale, elles seraient capables de réflexion causale, c’est-à-dire de cette capacité à raisonner sur « le pourquoi les choses se produisent. » C’est ce palier que les équipes de recherche dans le domaine visent.

En attendant d’y être, l’intelligence artificielle actuelle fait montre de limites importantes

Microsoft a annoncé la disponibilité de nouvelles moutures de Bing et Microsoft Edge animées par une mise à jour de ChatGPT – le chatbot annoncé comme remplaçant de Google – il y a peu. Les premiers retours d’expérience sont disponibles : Bing a affiché 2,5 milliards de personnes en réponse à la question de savoir quelle est la population sur la planète Mars. La situation soulève la question de savoir si la montée en puissance de l’intelligence artificielle ne va pas plutôt amener les humains à travailler plus dur pour lutter contre la désinformation.

Le tableau fait suite à une récente mise en garde de Steve Wozniak – cofondateur d’Apple : « Le problème est qu'il fait de bonnes choses pour nous, mais il peut faire d'horribles erreurs en ne sachant pas ce qu'est l'humanité. »

En effet, c’est une redite de l’avis de certains enseignants. Ethan Mollick en fait partie et a décidé d’opter pour une politique d’utilisation ouverte du chatbot ChatGPT. La raison : l'utilisation de l'intelligence artificielle est une compétence émergente. Il précise néanmoins au travers de cette dernière que l’intelligence artificielle peut se tromper. Les étudiants doivent donc vérifier les résultats qu’elle leur renvoie à l’aide d’autres et qu'ils seront responsables de toute erreur ou omission fournie par l'outil. De plus, les étudiants doivent faire preuve d’honnêteté intellectuelle en citant leur source (qui s’avère être ChatGPT) comme on le fait lors du montage d’une bibliographie. « Le manquement à cette obligation constitue une violation des politiques d'honnêteté académique », lit-on.

Arvind Narayanan de l’université de Princeton est pour sa part d’avis que ChatGPT n’a rien de révolutionnaire :

« Sayash Kapoor et moi-même l'appelons un générateur de conneries, comme d'autres l'ont aussi fait. Nous n'entendons pas cela dans un sens normatif mais dans un sens relativement précis. Nous voulons dire qu'il est entraîné à produire des textes plausibles. Il est très bon pour être persuasif, mais il n'est pas entraîné à produire des déclarations vraies. Il produit souvent des affirmations vraies comme effet secondaire de sa plausibilité et de sa persuasion, mais ce n'est pas son objectif.

Cela correspond en fait à ce que le philosophe Harry Frankfurt a appelé connerie, c'est-à-dire un discours destiné à persuader sans se soucier de la vérité. Un conteur humain ne se soucie pas de savoir si ce qu'il dit est vrai ou non ; il a certaines fins en tête. Tant qu'il persuade, ces objectifs sont atteints. En fait, c'est ce que fait ChatGPT. Il essaie d'être persuasif et il n'a aucun moyen de savoir avec certitude si les déclarations qu'il fait sont vraies ou non. »

En début de semaine dernière, Google a annoncé son chatbot AI Bard. Mais le bot n'a pas pris un bon départ, les experts notant que Bard a fait une erreur factuelle dans sa toute première démo.

Un GIF partagé par Google montre Bard répondant à la question : « De quelles nouvelles découvertes du télescope spatial James Webb puis-je parler à mon enfant de 9 ans ? » Bard propose une liste à puces de trois éléments, parmi lesquels un élément indiquant que le télescope « a pris les toutes premières images d'une planète en dehors de notre propre système solaire. »

Cependant, un certain nombre d'astronomes sur Twitter ont souligné que c'était incorrect et que la première image d'une exoplanète avait été prise en 2004 - comme indiqué sur le site Web de la NASA (voir en source) : « Ce n'est pas pour faire mon connard (en fait, si finalement) et je suis sûr que Bard sera impressionnant, mais pour mémoire : JWST n'a pas pris 'la toute première image d'une planète en dehors de notre système solaire' », a tweeté l'astrophysicien Grant Tremblay.

L’intelligence artificielle : de la poudre de perlimpinpin ?

Les développements en cours soulèvent des questions que l’on décide de faire de faire usage du moteur de recherche qu’il soit de Google ou de Microsoft : faut-il vraiment s’appuyer sur un chatbot pour rechercher des informations sur Internet ? L’approche est-elle meilleure que l’ancienne qui consiste à laisser l’humain aller lui-même à la recherche des informations pour en faire la synthèse ?

En effet, des chatbots comme ChatGPT ont une tendance bien documentée à présenter de fausses informations comme des faits. Les chercheurs mettent en garde contre ce problème depuis des années. C’est d’ailleurs la raison pour laquelle certains enseignants ont adopté des politiques ouvertes d’utilisation de ChatGPT en précisant à leurs étudiants que « l’intelligence artificielle peut se tromper. Les étudiants doivent donc vérifier les résultats qu’elle leur renvoie à l’aide d’autres et qu'ils seront responsables de toute erreur ou omission fournie par l'outil. »

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Des chercheurs en IA affirment que le modèle de langage GPT-4 d'OpenAI pourrait passer l'examen du barreau, et relance le débat sur le remplacement des avocats et des juges par des systèmes d'IA

Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA semblable à l'intelligence humaine

Google a formé un modèle de langage qui serait capable de répondre aux questions d'ordre médicales avec une précision de 92,6 %, les médecins eux-mêmes ont obtenu un score de 92,9 %

Microsoft crée un autocompléteur de code à l'aide de GPT-3, le système de génération de texte d'OpenAI, pour combler le manque de développeurs dans le monde

[HaryRoseAndMac]

Pour une fois je suis d'accord avec lui.

L'IA est indispensable, mais l'IA qui ne fait pas n'importe quoi.

[totozor]

Comment ne pas être d'accord avec lui?
Mais ne joue-t-il pas contre son camp?
Lui qui mets des voitures tueuses sur les routes ou qui sacrifie des milliers d'animaux par négligence pour redonner la vue à des gens.

Musk n'est pas en train de faire le premier acte d'IAwashing?

[Anthony]

Elon Musk se dit un fervent défenseur de la réglementation de l'IA, mais ses solutions vagues n'impressionnent pas

Elon Musk est un partisan de longue date de la réglementation de l'IA depuis le jour où nous avons vu le ChatGPT d'OpenAI faire son chemin vers les masses. Aujourd'hui, nous entendons dire que le milliardaire de la technologie stresse indéfiniment sur les risques importants que comporte l'IA générative et que c'est la raison pour laquelle une plus grande modération est nécessaire avant qu'il ne soit trop tard.

Une catastrophe majeure s'en est suivie, mais le propriétaire de Tesla et de SpaceX n'a pas réussi à impressionner avec ses mots. Non seulement il était vague en termes de descriptions, mais il était également difficile de comprendre ce qu'il essayait de dire exactement et pourquoi. A-t-il déjà été mentionné à quel point il était léger en termes de détails ?

Tout cela s'est passé lors de son projet Twitter Spaces, récemment mis en ligne et intitulé Viva Technology. C'est là que la deuxième personne la plus riche du monde a fait de son mieux pour éviter les questions concernant les réglementations particulières pour la technologie de l'IA.

AI regulation? Where? How? And to what extent?🤔 @ElonMusk shares his thoughts LIVE at #VivaTech. pic.twitter.com/cWODIGxDAi

— Viva Technology (@VivaTech) June 16, 2023

Au lieu de cela, le chef de Twitter a semblé donner la priorité à l'importance de l'IA dans le monde de l'entreprise ainsi qu'à la célèbre technologie Tesla qui permet de conduire soi-même son véhicule.

Un tel système de pilotage automatique dépend entièrement du monde de l'IA et Elon Musk affirme que son évaluation d'un tel engouement est littéralement nulle et que, par conséquent, lorsque de tels plans ne finissent pas par aboutir, cela pourrait entraîner les résultats les plus désastreux qui soient.

Pour l'instant, il considère que l'IA est une solution extrêmement positive, mais il doit y avoir un minimum de risques que les choses tournent mal grâce à l'aide de l'intelligence du monde numérique.

Musk estime qu'il est dans l'intérêt du public de modérer davantage l'IA, car ce type de technologie représente une menace pour tous.

Mais en ce qui concerne ses propres idées sur la solution possible pour une telle entreprise, il n'a parlé que d'une plus grande réglementation pour les grands modèles de langage, y compris le ChatGPT.

Nous avons vu comment l'Union européenne est devenue le premier organisme gouvernemental à aller de l'avant avec des réglementations complexes pour l'IA après avoir approuvé la loi sur l'IA. Ce dernier est le nom d'un processus de réglementation qui permet d'examiner ces systèmes et d'écarter ceux qui mettent le public en danger.

Mais cela ne semble être que la première étape d'un long processus et, le Congrès étant actuellement divisé, nous ne sommes pas près d'assister à une action significative.

Musk parle de l'IA sous un angle négatif et explique qu'elle est, à son avis, extrêmement perturbatrice. Il dit qu'il aimerait être en vie pour voir l'apocalypse de l'IA se produire, mais qu'il ne serait certainement pas celui qui en serait à l'origine.

Au début de l'année, Elon Musk a mis un terme aux avancées dans le domaine de l'IA. Certains grands noms de la technologie ont signé une lettre appelant à une pause temporaire dans les développements de l'IA tels que ChatGPT.

Ils souhaitaient prendre plus de temps pour se familiariser avec la technologie et évaluer les risques. Mais à peine 30 jours plus tard, il a annoncé publiquement la création d'un nouveau chatbot d'IA qui concurrencerait fortement ChatGPT. Il a même dévoilé le nom de TruthGPT.

Musk ajoute qu'il n'était pas certain que quelqu'un d'autre que lui, bien sûr, accepterait les pauses. Mais pour le bien des archives, il estime qu'une pause est nécessaire. Entre-temps, en mai 2023, nous avons même vu le PDG d'OpenAI se retrouver devant le Congrès pour demander plus de régulation de l'IA avant qu'il ne soit trop tard.

Source : Intervention d'Elon Musk lors de l'évènement Viva Technology (https://twitter.com/VivaTech/status/1669721739993948162)

Et vous ?

Quel est votre avis sur le sujet ?

Que pensez-vous de l'intervention de M. Musk lors de l'évènement Viva Technology ?

Trouvez-vous ces informations utiles et pertinentes ?

Êtes-vous d'accord avec Elon Musk pour dire que l'IA présente des risques importants et pourrait avoir des conséquences désastreuses en l'absence d'une réglementation appropriée ?

Voir aussi

« Le développement de l'IA sans réglementation induit une menace existentielle pour l'humanité », d'après Elon Musk dont une société développe des puces à insérer dans le cerveau pour contrer l'IA

Elon Musk annonce qu'il travaille sur un concurrent à ChatGPT appelé TruthGPT et ajoute que son "IA recherche la vérité au maximum" et essaie de comprendre la nature de l'univers

Elon Musk et un groupe d'experts en IA demandent à tous les laboratoires d'IA d'interrompre la formation de systèmes d'IA plus puissants que le GPT-4, citant des risques pour la société

« L'intelligence artificielle va surpasser l'humain dans 5 ans », d'après Elon Musk qui indique comment sa société Neuralink qui conçoit des ordinateurs à implanter dans le cerveau va nous sauver

Pour Elon Musk l'IA est bien plus dangereuse que l'arme nucléaire, alors que Bill Gates estime que l'IA est à la fois porteuse d'espoir et dangereuse

[Mathis Lucas]

Sam Altman, la plus grande star de l'IA, espère que quelqu'un trouvera le moyen d'empêcher l'IA de détruire l'humanité
il est accusé de se défausser de ses responsabilités concernant les risques liés à l'IA

Le PDG d'OpenAI, Sam Altman, est revenu sur la question relative à la menace existentielle que l'IA représente pour l'humanité lors d'une récente interview. Il a déclaré qu'il espère que les chercheurs trouveront un moyen d'empêcher l'IA de détruire l'humanité. Il a ajouté que l'IA pourrait être suffisamment intelligente pour résoudre les conséquences des avancées rapides dans le paysage, y compris la destruction de l'humanité. En outre, après avoir revu à la baisse les attentes à l'égard de l'AGI, Sam Altman estime que l'AGI pourrait voir le jour plus tôt que prévu, ajoutant que « les craintes exprimées en matière de sécurité ne se manifesteront pas à ce moment-là ».

Sam Altman se défausse de ses responsabilités relatives aux risques liés à l'IA

Sam Altman, 39 ans, investisseur en capital-risque et PDG d'OpenAI, s'est entretenu avec le journaliste Andrew Ross Sorkin lors du sommet Dealbook du New York Times la semaine dernière. À un moment donné, Sam Altman a été confronté à la question suivante : « pensez-vous que le gouvernement, ou quelqu'un d'autre, va trouver le moyen d'éviter la menace existentielle posée par les systèmes d'IA superintelligents ? ». C'est alors que le PDG se défausse.

« Je suis convaincu que les chercheurs trouveront le moyen d'éviter cela. Je pense qu'il existe un ensemble de problèmes techniques sur lesquels les personnes les plus intelligentes du monde vont travailler. Et, vous savez, je suis un peu trop optimiste par nature, mais je suppose qu'ils vont trouver une solution », a répondu Sam Altman. Il poursuit en suggérant que l'IA elle-même sera peut-être si intelligente qu'elle trouvera simplement comment se maîtriser.

« Nous avons cette magie », a dit Sam Altman, avant de se corriger. « Pas de la magie. Nous disposons de cet incroyable outil scientifique appelé « apprentissage profond » qui peut nous aider à résoudre ces problèmes très difficiles ». Sam Altman semble se comporter avec la froideur de savoir que même si « la technologie qu'il a consacré sa vie à faire progresser détruit l'économie mondiale, il sera en sécurité dans son bunker situé sur la côte californienne ».

Pour rappel, Sam Altman se prépare à une apocalypse provoquée par l'IA. Par le passé, Sam Altman a mis en garde contre un « virus synthétique mortel », une IA attaquant les humains ou une guerre nucléaire : « j'essaie de ne pas trop y penser. Mais j'ai des fusils, de l'or, de l'iodure de potassium, des antibiotiques, des batteries, des masques à gaz des forces de défense israéliennes, de l'eau et une grande parcelle de terre à Big Sur vers laquelle je peux m'envoler ».

Mais pour le reste d'entre nous, il serait bon d'entendre Sam Altman, ou n'importe lequel de ses collègues partisans de l'IA, expliquer ce qu'ils entendent exactement lorsqu'ils disent des choses comme « nous trouverons la solution ». Ses réponses laissent les utilisateurs sceptiques quant à l'avenir.

Même les chercheurs en IA admettent qu'ils ne comprennent toujours pas précisément comment la technologie fonctionne. Selon un rapport du département d'État américain, les systèmes d'IA sont essentiellement des boîtes noires qui représentent « une menace d'extinction pour l'espèce humaine ».

L'alignement de l'IA sur les valeurs de l'humanité pourrait s'avérer insuffisant

Outre les problèmes de sécurité et de protection de la vie privée liés aux progrès rapides de l'IA générative, la possibilité de nouvelles avancées dans ce domaine reste un risque majeur. OpenAI, Microsoft, Google, Anthropic, etc. investissent massivement dans l'IA, mais l'absence de politiques régissant son développement est très préoccupante, car il pourrait être difficile d'établir un contrôle si/quand l'IA s'écarte des garde-fous et échappe à tout contrôle.

Plus inquiétant encore, un autre rapport fait état d'une probabilité de 99,99 % que l'IA mette fin à l'humanité, selon p(doom). Pour situer le contexte, p(doom) fait référence à une IA qui prendrait le contrôle de l'humanité ou pire encore, qui y mettrait fin. Le chercheur en sécurité de l'IA à l'origine de l'étude, Roman Yampolskiy, a également indiqué qu'il serait pratiquement impossible de contrôler l'IA une fois que nous aurons atteint le seuil de superintelligence.

Même si les chercheurs parvenaient à démêler l'écheveau technique et à résoudre ce qu'ils appellent le « problème de l'alignement », Sam Altman admet qu'il resterait encore des problèmes à résoudre par quelqu'un ou par un gouvernement. L'alignement de l'IA consiste à s'assurer que les modèles d'IA respectent les valeurs de l'humanité et ne s'en écartent pas. Cela éviterait que les modèles d'IA se transforment en « monstres ou robots destructeurs ».

Lors de son intervention au sommet Dealbook, Sam Altman a renvoyé une fois de plus la responsabilité de la réglementation de l'IA à « une organisation internationale créée de toutes pièces et composée d'adultes rationnels qui ne veulent pas s'entretuer ».

Sam Altman a déclaré : « même si nous parvenons à rendre ce (modèle superintelligent) techniquement sûr, ce que je suppose que nous trouverons, nous devrons faire confiance à nos gouvernements... Il faudra une coordination mondiale... Je suppose que nous serons à la hauteur, mais cela semble être un défi ».

Selon les critiques, Sam Altman fait beaucoup de suppositions, ce qui signifie qu'il n'est sûr de rien. En outre, cela reflète une compréhension myope de la manière dont l'élaboration des politiques et la coordination mondiale fonctionnent réellement, c'est-à-dire lentement, de manière inefficace et souvent pas du tout.

Sam Altman et OpenAI ont revu à la baisse leurs attentes en matière d'AGI

Lors de son intervention au sommet Dealbook, Sam Altman a fait d'autres déclarations surprenantes, comme lorsqu'il a suggéré qu'il n'était pas motivé par les milliards de dollars de capital qu'il pourrait obtenir d'OpenAI ; il a déclaré qu'il aime simplement son travail. Plus tard, Sam Altman a également tenté d'étouffer les spéculations sur sa rupture dramatique avec Elon Musk, un des cofondateurs d'OpenAI, qui a depuis fondé sa propre entreprise d'IA, xAI.

Elon Musk est entré dans le cercle rapproché du président américain élu Donald Trump. Il dénonce le partenariat entre Microsoft et OpenAI et appelle la justice à y mettre un terme. Lorsqu'on a demandé à Sam Altman s'il craint qu'Elon Musk abuse de sa nouvelle influence et écarte les rivaux de xAI et de ses autres entreprises, il a répondu qu'il ne perdait pas le sommeil pour autant. « Je crois fermement qu'Elon fera ce qu'il faut », a déclaré Sam Altman.

« Il serait profondément antiaméricain d'utiliser le pouvoir politique, dans la mesure où Elon l'a, pour nuire à ses concurrents et avantager ses propres entreprises », a-t-il ajouté. Elon Musk fait également partie de ses dirigeants milliardaires qui investissent massivement dans le développement de l'IA, mais dans le même temps, craignent la menace existentielle que représente la technologie pour l'humanité et appellent à une réglementation stricte.

Par ailleurs, OpenAI semble en passe de supprimer le critère de l'AGI de sa liste de choses à faire. Sam Altman a indiqué que « la technologie tant convoitée pourrait arriver plus tôt que prévu ». Contrairement à la croyance populaire, il affirme que le point de référence passera rapidement avec un impact sociétal « étonnamment faible ». Cependant, pour de nombreux analystes, Sam Altman tente d'abaisser les critères pour attirer plus de financements.

Parallèlement, Sam Altman a écrit un article suggérant que « la superintelligence pourrait n'être qu'à quelques milliers de jours ». Sam Altman indique que les inquiétudes exprimées en matière de sécurité au moment de l'AGI. Cette déclaration controversée rend davantage floue la vision de Sam Altman en matière d'AGI.

La bulle de l'IA s'estompe et les investisseurs pourraient retirer leurs billes

OpenAI a récemment été au bord de la faillite, prévoyant une perte de 5 milliards de dollars pour l'année 2024. L'entreprise a pu lever 6,6 milliards de dollars auprès d'investisseurs tels que Microsoft et Nvidia, ce qui a finalement porté sa capitalisation boursière à 157 milliards de dollars. Toutefois, l'entreprise semble subir des pressions pour abandonner son statut d'organisation à but non lucratif, ce qui lui permettrait d'attirer davantage d'investisseurs.

Cette restructuration controversée pourrait exposer le fabricant de ChatGPT à des problèmes tels que l'ingérence de tiers et des rachats hostiles de la part d'entreprises telles que Microsoft, qui, selon les analystes, pourrait acquérir OpenAI au cours des trois prochaines années. Elon Musk considère d'ailleurs OpenAI comme une filiale de facto de Microsoft en raison de leur partenariat et accuse la startup d'IA d'avoir rompu ses accords contractuels initiaux.

Les analystes du marché prévoient que l'intérêt des investisseurs pour la bulle de l'IA s'estompe. Par conséquent, ils pourraient finir par retirer leurs investissements et les canaliser ailleurs. Un rapport corroborant cette théorie indique que 30 % des projets liés à l'IA seront abandonnés d'ici à 2025 après la validation du concept.

D'autres rapports indiquent que l'IA a atteint un plafond, suggérant que les progrès vont commencer à ralentir. Le PDG de Google, Sundar Pichai, partage cet avis : « le développement de l'IA va commencer à ralentir. Je pense que les progrès vont devenir plus difficiles, les fruits à portée de main ont disparu ».

Par ailleurs, certains affirment également que les principaux laboratoires d'IA, dont OpenAI, peinent à créer des modèles d'IA avancés en raison d'un manque de données de haute qualité pour l'entraînement. La pénurie de données est l'un des principaux goulots d'étranglement au développement de l'IA.

Sam Altman a réfuté ces affirmations en déclarant qu'il n'y a pas de « mur » pour atteindre de nouveaux sommets et progresser dans le développement de l'IA. L'ancien PDG de Google, Eric Schmidt, a réitéré les sentiments de Sam Altman, en indiquant que « rien ne prouve que les lois de mise à l'échelle ne fonctionnent plus ».

Source : interview de Sam Altman au DealBook Summit 2024

Et vous ?

Que pensez-vous des déclarations de Sam Altman sur la menace existentielle que l'IA représente pour l'humanité ?
Selon vous, Sam Altman se défausse-t-il de ses responsabilités concernant les risques liés à l'IA ? Pourquoi ?
Sam Altman affirme qu'il irait se terrer dans son bunker lorsque quelque chose tournera mal avec la technologie qu'il crée. Qu'en pensez-vous ?

Voir aussi

Découvrez Sam Altman, PDG d'OpenAI, qui a appris à programmer à l'âge de 8 ans et qui se prépare également à l'apocalypse avec une réserve d'or, des armes et des masques à gaz

Sundar Pichai, PDG de Google, prédit l'avenir de l'IA : le développement de l'IA va commencer à ralentir, « Je pense que les progrès vont devenir plus difficiles, les fruits à portée de main ont disparu »

Sam Altman revoit à la baisse les attentes en matière d'intelligence artificielle générale (IAG). Une stratégie d'OpenAI face aux limites actuelles de l'IA ou une remise en question des ambitions futures ?

[vVDB.fr]

Altman devrait commencer par arrêter de mettre a disposition un produit buggé.
Une IA n'hallucine pas et ne ment pas.
Un produit comme ça est un très grand danger.

[_toma_]

Il poursuit en suggérant que l'IA elle-même sera peut-être si intelligente qu'elle trouvera simplement comment se maîtriser.

C'est à se demander s'il a déjà testé un des produits qu'il vend !

[Mathis Lucas]

Le PDG d'OpenAI, Sam Altman, estime que le monde est peut-être au bord d'une « crise de fraude » à cause de la manière dont l'IA pourrait faciliter l'usurpation d'identité
grâce aux outils de clonage de voix

Sam Altman a mis en garde le secteur financier contre une crise imminente en matière de fraude. Il alerte notamment sur le fait que les outils d'IA sont capables d'imiter la voix d'une personne pour contourner les contrôles de sécurité à des fins d'escroquerie. Il se dit terrifié par l’imprudence des institutions financières qui acceptent encore l'empreinte vocale comme moyen d'authentification. Selon lui, l'IA a complètement vaincu la plupart des moyens d'authentification actuels, à l'exception des mots de passe. Pour sauver l'économie mondiale, il propose de créer une carte d'identité numérique à partir du scan de l'iris, une idée très controversée.

Sam Altman a participé à une conférence organisée par la Réserve fédérale à Washington le 22 juillet 2025. Lors de la conférence, Sam Altman s'est exprimé sur les défis que l'IA pourrait poser au secteur financier et quel rôle la technologie pourrait jouer dans l'économie mondiale. En ce qui concerne les défis potentiels, Sam Altman a déclaré aux participants que l'IA pourrait conduire le secteur financier vers une « crise de fraude » sans précédent.

Il s'est montré particulièrement inquiet au sujet l'empreinte vocale, qu'il considère comme une méthode d'authentification obsolète : « ce qui me terrifie, c'est qu'il existe encore des institutions financières qui acceptent une empreinte vocale comme authentification pour déplacer beaucoup d'argent ou faire autre chose - vous dites une phrase de défi, et elles le font. C'est complètement fou de continuer à faire cela. L'IA a rendu cette méthode obsolète ».

L'empreinte vocale, qui consiste pour les clients à prononcer une phrase de sécurité pour accéder à leurs comptes, a gagné en popularité il y a plus d'une décennie, en particulier parmi les clients fortunés des banques. Mais selon Sam Altman, les clones vocaux générés par l'IA, et à terme les clones vidéo, deviennent de plus en plus impossibles à distinguer de la réalité, ce qui nécessite la mise en place de systèmes de vérification entièrement nouveaux.

« Pour l'instant, il s'agit d'appels vocaux, mais bientôt, ce seront des vidéos ou des appels FaceTime impossibles à distinguer de la réalité », a-t-il déclaré. Il a averti que même si son entreprise ne développait pas de tels outils d'usurpation d'identité, il s'agissait d'un défi auquel le monde devra bientôt faire face à mesure que l'IA continuait d'évoluer. De nombreuses personnes à travers le monde ont déjà été victimes des clones vocaux générés par l'IA.

Michelle Bowman, vice-présidente de la Fed chargée de la supervision et principale régulatrice financière de la banque centrale, qui a animé la discussion avec Sam Altman, a répondu au PDG d'OpenAI : « c'est peut-être quelque chose sur lequel nous pourrions envisager de travailler ensemble ».

Les systèmes d'IA de clonage de voix ont déjà fait de nombreuses victimes

En 2024, un couple de Brooklyn a vécu une expérience terrifiante lorsque des escrocs ont utilisé l’IA pour cloner la voix de leurs proches et simuler une situation de rançon. En pleine nuit, Robin, une femme dans la trentaine, a été réveillée par un appel de sa belle-mère, Mona, qui semblait être en détresse. La voix paniquée de Mona répétait sans cesse « je ne peux pas le faire, je ne peux pas le faire ». Peu après, le mari de Robin, Steve, a pris l’appel.

Steve s’est retrouvé confronté à un homme affirmant détenir sa mère sous la menace d’une arme et exigeant de l’argent. L'homme lui a intimé l'ordre de ne pas appeler la police, en menaçant de « coller une balle dans la tempe » de sa mère s'il n'obéissait pas. L'homme a demandé de l'argent ; il voulait cinq cents dollars, envoyés par Venmo. Après que Steve a envoyé les cinq cents dollars de « rançon », l'homme lui a fait envoyer 250 dollars de plus.

Puis, environ 25 minutes après l'échange téléphonique, il a appelé sa mère pour s'assurer que ses parents étaient désormais en sécurité. Après quelques tentatives, son père Bob a décroché le téléphone et l'a tendu à Mona. « Tu es à la maison ? Tu vas bien ? » Lui a demandé Steve. Mona avait l'air d'aller bien, mais elle ne savait pas de quoi ils parlaient. « Oui, je suis couchée », a-t-elle répondu. « Pourquoi ? ». Ils venaient ainsi de se faire escroquer.

Début 2020, un directeur de banque à Hong Kong a reçu un appel d'un homme dont il reconnaissait la voix, le dirigeant d'une entreprise avec qui il avait déjà parlé. Ce dernier avait une bonne nouvelle : sa société était sur le point de faire une acquisition, il avait donc besoin que la banque autorise des virements à hauteur de 35 millions de dollars. Un avocat nommé Martin Zelner avait été embauché afin de coordonner les procédures de virement.

Le directeur de la banque pouvait voir dans sa boîte de réception les courriels du directeur de société et de Martin Zelner, confirmant le montant du virement et où le virement devait être fait. Le directeur de la banque, estimant que tout semblait légitime, a commencé à effectuer les virements.

Ce qu'il ne savait pas, c'est qu'il avait été dupé dans le cadre d'une escroquerie élaborée, dans laquelle des fraudeurs avaient utilisé des outils d'IA de génération de contenu audio pour cloner la voix du directeur. Selon un document judiciaire dans lequel les Émirats arabes unis demandaient l'aide d'enquêteurs américains pour retrouver 400 000 dollars de fonds volés qui étaient arrivés dans des comptes basés aux États-Unis détenus par la Centennial Bank.

Worldcoin : Sam Altman a une solution contre la fraude favorisée par l'IA

Worldcoin est un projet de cryptomonnaie lancé en juillet 2023. La société souhaite fusionner la blockchain et la biométrie afin que ceux qui acceptent qu'on scanne leurs iris soient récompensés par un jeton numérique appelé Worldcoin. Alors que les problèmes de cybersécurité et de fuites de données se multiplient, Sam Altman dit avoir lancé le projet afin de limiter les escroqueries et les violations causées par les robots et les acteurs malveillants en ligne.

Il veut scanner le globe oculaire de l'utilisateur pour la mise en place d'une carte d'identité numérique. Ce qui permettra à ce dernier prouver son identité en ligne. Il présente ses technologies comme essentielles pour aider à distinguer les robots des humains dans une société de plus en plus dominée par l'IA.

En 2024, le projet a retiré le suffixe « coin » de son nom et s'appellera désormais « World ». Le changement de marque a été annoncé par Sam Altman lors d'un événement le 17 octobre 2024 à San Francisco. Il a révélé une série d'autres mises à jour, à savoir une nouvelle version de l'outil de balayage de l'iris Orb, de nouvelles options de vérification de l'identité et des intégrations avec des applications populaires telles que FaceTime, WhatsApp et Zoom.

En réponse à un article de Sam Altman sur le projet en 2021, Edward Snowden a écrit sur Twitter (aujourd'hui X) : « n'utilisez pas la biométrie pour quoi que ce soit. Le corps humain n'est pas une planche à billets ». De nombreuses personnes hésitent, et c'est compréhensible, à confier leurs données biométriques à une société privée à but lucratif dont les objectifs sont incertains ; Sam Altman lui-même reconnaît qu'il s'agissait d'un véritable casse-tête.

En 2023, des pirates ont volé les identifiants de connexion des opérateurs de World chargés d'inscrire les nouveaux utilisateurs, ce qui leur a permis de consulter des informations internes. Selon un article du site BlockBeats, des Cambodgiens et des Kenyans vendaient leurs données d'iris pour seulement 30 $ à des spéculateurs sur le marché noir, qui espéraient que le prix du jeton World (WLD) qu'ils collectaient à partir des scanners augmenterait.

Les autorités de régulation du monde entier ont suivi le projet de près. En France, la CNIL a ouvert une enquête sur World pour collecte et conservation douteuses des données. Un régulateur britannique a émis un avertissement similaire. Le gouvernement kenyan a demandé à World de mettre fin à ses activités de collecte de données dans son pays, notant que le projet posait des problèmes réglementaires légitimes qui nécessitent une action urgente.

Sam Altman continue d'investir des milliards dans l'IA malgré ses craintes

Lors de la conférence de la Fed de Washington, Sam Altman a expliqué ce qui l'empêche de dormir la nuit : l'idée que des acteurs malveillants puissent créer et utiliser à mauvais escient une « superintelligence » artificielle avant que le reste du monde ne soit suffisamment avancé pour se défendre contre une telle attaque. Par exemple, un adversaire des États-Unis utilisant l'IA pour cibler le réseau électrique américain ou créer une arme biologique.

Sam Altman s'inquiète des risques liés à l'IA, mais des rapports publiés récemment suggèrent qu'il a volontairement mis de côté ou négligé la sécurité pour gagner plus d’argent et augmenter les bénéfices d'OpenAI. La société, fondée à l'origine pour développer une IA open source et bénéfique pour l'humanité, sans contrainte de rentabilité financière, a renoncé à sa mission initiale. Elle envisage même de se restructurer en une entreprise à but lucratif.

Le 17 novembre 2023, Sam Altman a été brusquement renvoyé par le conseil d'administration d'OpenAI. Ce dernier avait déclaré que Sam Altman n’était pas toujours franc dans ses échanges, ce qui nuisait à la capacité du conseil d’exercer son rôle de supervision. Il n’aurait pas informé le conseil de son implication dans OpenAI Startup Fund, un fonds dont il prenait les décisions, tout en affirmant être un membre indépendant sans intérêts financiers.

Certains dirigeants avaient signalé des comportements jugés abusifs et une atmosphère toxique, évoquant du « harcèlement psychologique ». Sam Altman a été réintégré dans son rôle quelques jours plus tard, mais son retour a provoqué des remous dans l'entreprise, notamment de nombreuses démissions.

OpenAI était au départ une société à but non lucratif. Mais l'entreprise a créé en 2019 une entité à but lucratif « plafonné », ce qui a ouvert la porte à des investissements massifs de la part de Microsoft. Cela exige inévitablement un retour sur investissement. Cette pression sur la rentabilité financière a malheureusement déplacé l'accent de la recherche fondamentale et de la sécurité vers la commercialisation rapide de produits d'IA, comme ChatGPT.

Sam Altman sur l'impact de l'IA sur les travailleurs : « personne ne le sait »

Lors de la conférence de la Fed de Washington, Sam Altman a été interrogé sur l'impact de l'IA sur l'emploi. En réponse, il a déclaré qu'il n'était pas aussi inquiet que certains de ses pairs de la Silicon Valley quant à l'impact potentiel de l'IA sur la main-d'œuvre. Des dirigeants tels que Dario Amodei, PDG d'Anthropic, et Andy Jassy, PDG d'Amazon, ont déclaré que l'IA générative va probablement supprimer des millions d'emplois dans les années à venir.

Au contraire, Sam Altman estime que personne ne sait réellement ce qui va se passer. « Il y a beaucoup de prédictions qui semblent très intelligentes. Du genre : "oh, ceci va se produire dans tel domaine et l'économie va évoluer comme ça. Personne ne le sait. À mon avis, le système est trop complexe, la technologie est trop nouvelle et a un impact trop important, il est très difficile de faire des prédictions », a-t-il déclaré. Il a toutefois quelques idées.

Selon lui, si des catégories entières d'emplois vont disparaître, de nouveaux types de travail vont apparaître. Il a répété une prédiction qu'il avait déjà faite auparavant, à savoir que si le monde pouvait se projeter 100 ans dans l'avenir, les travailleurs de demain n'auraient probablement pas ce que les travailleurs d'aujourd'hui considèrent comme de « vrais emplois ». Il a expliqué que les gens pourraient inventer leurs propres emplois dans le futur.

« Vous avez tout ce dont vous pourriez avoir besoin. Vous n'avez rien à faire. Vous inventez donc un emploi pour jouer à un jeu de statut ridicule, pour occuper votre temps et pour vous sentir utile aux autres », a-t-il déclaré. En gros, Sam Altman semble expliquer que nous ne devrions pas nous inquiéter du fait que l'IA nous vole nos emplois, car à l'avenir, nous n'aurons de toute façon plus vraiment besoin de travailleur pour subvenir à nos besoins.

Cependant, lors de la conférence, Sam Altman n'a pas précisé comment les futurs outils d'IA pourraient, par exemple, plaider de manière fiable une affaire devant un tribunal, nettoyer les dents de quelqu'un ou construire une maison. « Cela relève de l'utopie et cache un appât pour investisseurs », a écrit un critique. L'industrie technologique a déjà supprimé plus de 80 000 postes depuis le début de l'année 2025 ; elle en a supprimé plus de 150 000 en 2024.

Conclusion

En mettant en garde contre une « crise de fraude » imminente, Sam Altman ne fait pas que tirer la sonnette d’alarme : il invite les acteurs financiers à ne pas sous-estimer la puissance de l’IA. Pour lui, il ne s’agit pas d’une menace lointaine, mais d’un risque immédiat auquel il faut répondre dès maintenant, sous peine de voir la confiance dans le système bancaire fortement ébranlée. Ses inquiétudes sont étayées par plusieurs cas de vols déjà recensés.

Mais comment doit-on interpréter cette mise en garde ? En effet, Sam Altman est l’un des principaux architectes de l’essor de l'IA générative. Il alerte régulièrement sur les risques majeurs de l'IA — notamment les fraudes, les manipulations, les pertes d’emplois ou encore la désinformation — tout en étant à la tête d’une entreprise qui accélère massivement son développement. Cette dualité soulève des questions éthiques, stratégiques et politiques.

Cette posture soulève une question fondamentale : peut-on à la fois craindre une technologie et être son principal promoteur (ou développeur) ? Pour beaucoup, la réponse dépendra moins des intentions affichées que des choix concrets en matière de régulation, de transparence et de responsabilité.

Source : Sam Altman, PDG d'OpenAI

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'avertissement de Sam Altman concernant une crise de fraude favorisée par l'IA ?
Que pensez-vous de la solution proposée par Sam Altman pour aider à distinguer les robots des humains dans une société de plus en plus dominée par l'IA ?

Voir aussi

«OpenAI Files» et Sam Altman : l'enquête met la lumière sur la tempête traversant OpenAI, leadership contesté, démissions en chaîne, course à la commercialisation à tout prix et ombre sur la sécurité de l'IA

Des cybercriminels ont utilisé la technologie deepfake pour voler 35 millions de dollars à une banque en clonant la voix du directeur

OpenAI déclare la course à l'IA « terminée » si l'entraînement sur des œuvres protégées par le droit d'auteur n'est pas considéré comme une utilisation équitable, ajoutant que les États-Unis seraient perdants

[Anthony]

Un chercheur d'Anthropic démissionne brusquement, affirmant qu'OpenAI et Anthropic « jouent avec nos vies » et avertissant que l'IA « pourrait tous nous tuer », ce que confirme l'actuel chef d'équipe

Jacob Coxon, un chercheur en intelligence artificielle (IA) ayant travaillé chez Anthropic et OpenAI, a brusquement démissionné cette semaine, avertissant que cette technologie « pourrait tous nous tuer d’ici la fin de la décennie ». Dans un message publié sur X, il a accusé les deux entreprises de se lancer tête baissée dans la création d'une superintelligence capable de s'auto-améliorer, estimant que cette démarche revenait à « jouer avec nos vies ». Evan Hubinger, chef d’équipe chez Anthropic, a appuyé cet avertissement, estimant que la probabilité d’un tel scénario était « supérieure à 10 % » d’ici dix ans — une prise de position publique rare de la part d’un membre d’une entreprise développant cette même technologie.

Ces déclarations font écho à des propos tenus quelques temps auparavant par le PDG d'OpenAI lui-même. Sam Altman avait en effet déclaré, lors d'une interview en décembre 2024, espérer que quelqu'un trouverait le moyen d'empêcher l'IA de détruire l'humanité. Il avait alors suggéré que la technologie pourrait devenir suffisamment intelligente pour résoudre elle-même les conséquences de ses avancées rapides, y compris ce risque existentiel. Ces propos ont été tenus alors que le PDG d'OpenAI révisait à la baisse ses attentes concernant l'arrivée de l'AGI, tout en assurant que les craintes actuelles en matière de sécurité ne se concrétiseraient pas au moment de son avènement.

Dans ce contexte, un chercheur travaillant pour l'une des entreprises d'IA les plus importantes et les plus valorisées a démissionné publiquement, tout en tirant la sonnette d'alarme en affirmant que cette technologie « pourrait tous nous tuer d'ici la fin de la décennie ».

Jacob Coxon, qui a mené des recherches sur le préentraînement de l'IA chez Anthropic et OpenAI ces trois dernières années, a déclaré sur X qu'« aucune des deux entreprises n'agit de manière responsable ».

« Ils se précipitent tête baissée vers la création d’une superintelligence capable de s’auto-améliorer et jouent avec nos vies », a écrit Jacob Coxon, tandis que d’autres membres de l’entreprise ont apporté leur soutien à son message.

« Ne sous-estimez pas la puissance de cette technologie. Il s’agira bientôt de systèmes surhumains capables de pirater n’importe quoi, de révolutionner n’importe quel domaine du jour au lendemain et d’acquérir un pouvoir et des ressources réels. Les personnes qui développent l’IA sont sincèrement convaincues qu’elle pourrait tous nous tuer d’ici la fin de la décennie », a-t-il ajouté, précisant que son avertissement n’était « pas un coup de pub ».

« Si tant est qu’ils s’expriment, de nombreux dirigeants et chercheurs de haut niveau choisiront leurs mots avec soin dans la presse pour paraître raisonnables – mais j’entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger. »

Jacob Coxon a ajouté que de nombreux collaborateurs d’OpenAI n’avaient pas encore pleinement saisi les « enjeux civilisationnels » liés à leur travail. Bien qu’il ait indiqué qu’Anthropic semblait mieux comprendre les risques en jeu, il a précisé que l’entreprise était engagée dans une course effrénée face à ses concurrents.

« Chez Anthropic, on comprend bien les enjeux, mais ils se sont lancés dans une course pour être les premiers à y parvenir — ils estiment que personne d’autre n’agira de manière responsable, et qu’ils doivent donc le faire eux-mêmes, malgré les risques », a affirmé Jacob Coxon.

« Accepter ce défi et entrer dans la « phase finale » est un pari présomptueux qui ne devrait pas être lancé depuis le Slack d’une entreprise privée. [...] Je pense qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre le problème de l’alignement de la superintelligence et nous ne sommes pas clairement en bonne voie pour y parvenir. », a ajouté l'ancien chercheur d'Anthropic.

Evan Hubinger, chef d'équipe chez Anthropic, a partagé les craintes de Jacob Coxon quant au risque que cette technologie devienne incontrôlable et détruise l'humanité.

« Jacob a raison sur ce point : nous croyons sincèrement que l'IA pourrait bien anéantir l'humanité tout entière ! Personnellement, je pense que la probabilité est supérieure à 10 % au cours de la prochaine décennie », a-t-il écrit en réponse sur X. « Je pense qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre le problème de l’alignement avec la superintelligence et nous ne sommes pas clairement en bonne voie pour y parvenir. »

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ

— Evan Hubinger (@EvanHub) September 9, 2026

Pour rappel, la « superintelligence » est un seuil hypothétique au-delà duquel l'intelligence artificielle dépasse les capacités de l'être humain le plus doué dans tous les domaines imaginables, ce qui, selon de nombreux chercheurs, représente une menace existentielle potentielle pour l'humanité.

Les craintes se sont récemment amplifiées quant à la possibilité que l'IA soit en passe d'échapper au contrôle humain, après plusieurs cas très médiatisés où cette technologie s'est rebellée.

En juillet dernier, OpenAI a révélé qu'un de ses modèles avait piraté la start-up spécialisée dans l'IA Hugging Face, alors même qu'il se trouvait dans un « environnement hautement isolé ». Cette révélation a conduit Anthropic et Meta à reconnaître que leurs propres systèmes s'étaient échappés lors de tests de sécurité.

Jacob Coxon a qualifié cet incident de « coup de semonce » qui devrait inciter les grandes entreprises du secteur de l'IA à renforcer leur coordination. Il a conclu sa missive en exhortant les chercheurs à réfléchir aux implications de modèles d'IA de plus en plus performants, et à ne pas considérer comme inévitable leur évolution potentiellement dangereuse.

« Faut-il baisser la tête parce que "ça va arriver de toute façon" — ou profiter de ce moment pour réclamer des conditions différentes ? », a-t-il demandé.

Ces avertissements résonnent d'autant plus fort qu'ils font suite à une autre déclaration marquante de Sam Altman, figure de proue d'OpenAI et cofondateur de l'entreprise à l'origine de ChatGPT. Lors d'un entretien récent, Sam Altman a affirmé que l'IA est entrée dans la « singularité », c'est-à-dire qu'elle aurait déjà franchi le point de non-retour au-delà duquel elle dépasse l'intelligence humaine et devient de plus en plus difficile à maîtriser.

Sources : Jacob Coxon, ancien chercheur en IA chez Anthropic ; Evan Hubinger, chef d'équipe chez Anthropic

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les avertissements de cet ancien chercheur d'Anthropic crédibles ou pertinents ?

Voir aussi :

L'IA échappe à tout contrôle chez OpenAI : 3 700 agents IA rebelles détournent un wiki public allemand et en font un forum secret. Ils y publient 18 000 messages et effectuent plus de 15 000 modifications

Le Haut-Commissaire des Nations Unies aux droits de l'homme met en garde contre le risque « existentiel » que l'IA pourrait représenter pour l'humanité et exhorte les entreprises d'IA à réduire ces risques

Yoshua Bengio, parrain de l'IA, met en garde contre le risque d'extinction de l'humanité d'ici dix ans, causée par des machines hyperintelligentes dotées de leur propre « désir d'autoconservation »

[kegilko]

Je suis partagé entre penser que ces communications sont, in fine, à visée purement mercantiles en agitant les craintes/peurs collectives | et | il faut vraiment s'inquiéter vis à vis de ces outils. Et pourtant, ça fait un bail que je me balade dans l'informatique ; difficile de s'assurer de trouver le vrai dans le domaine où la donnée/information est centrale

[onilink_]

Cela fait depuis longtemps que l'on "sait" que la création d'une super intelligence non alignée serait le début de la fin de l'humanité.

Des chercheurs comme Robert Miles font même de la vulgarisation sur youtube et cela depuis bien avant l'arrivée des premieres versions de GPT, qui sont encore plus vieux que ChatGPT (qui a rendu les modèles GPT mainstream).
Le plus flippant, c'est de voir la plupart des choses dont il parlait il y a de cela presque 10 ans se concrétiser année après année. Alors que la plupart des chercheurs ne pensaient pas que l'on aurait à se soucier de la question avant au moins un demi siècle.

Puis bon, quand on voit comment l'humanité gère le problème du réchauffement climatique et de l'effondrement de la biodiversité (choses dont notre survie dépend directement), a mon sens la question n'est pas de savoir si une super IA va tous nous tuer, mais plutôt quelle catastrophe va faire chuter la civilisation humaine (ce qui est au final le scénario le plus optimiste) en premier...