Discussion :

[Stéphane le calme]

Le patron de l’IA de Microsoft affirme que les machines ne seront jamais conscientes : elles simuleront la peur, l'amour, sans les ressentir.
Pour Mustafa Suleyman, il est donc « absurde de mener des recherches sur cette question »

Mustafa Suleyman, responsable de l'IA chez Microsoft, exhorte les développeurs à abandonner leurs recherches sur la conscience artificielle, affirmant que seuls les êtres biologiques possèdent cette caractéristique. Il souligne que l'IA simule l'expérience et la souffrance, mais ne les ressent pas réellement, établissant ainsi une distinction avec les êtres biologiques qui possèdent des réseaux de douleur et des préférences. Suleyman estime que la recherche de la conscience artificielle est une entreprise déplacée et absurde.

Mustafa Suleyman n’est pas un technophobe. Cofondateur de DeepMind, figure du transhumanisme tempéré, et aujourd’hui directeur de la division IA de Microsoft, il a bâti sa carrière sur la promesse que les machines pouvaient apprendre à penser. Pourtant, il affirme désormais que la conscience — cette faculté subjective d’éprouver, de ressentir, d’être — restera pour toujours l’apanage du vivant.

Selon lui, aucune machine, aussi sophistiquée soit-elle, ne « ressentira » jamais la peur, l’amour, la douleur ou la joie. Elle les simulera peut-être, mais sans jamais les vivre. Les réseaux neuronaux, explique-t-il, ne sont que des systèmes d’optimisation statistique : « Des calculatrices glorifiées ». Leur puissance vient de la vitesse de traitement, pas d’une forme d’éveil intérieur.

Cette distinction entre cognition et conscience, souvent confondue dans le débat public, est au cœur de son raisonnement. L’intelligence artificielle peut résoudre des problèmes, reconnaître des images, converser ou créer de l’art, mais cela ne fait pas d’elle une entité consciente. C’est une architecture fonctionnelle, pas une âme.

Les développeurs et les chercheurs devraient cesser de poursuivre des projets qui suggèrent le contraire

Mustafa Suleyman affirme que seuls les êtres biologiques sont capables de conscience, et que les développeurs et les chercheurs devraient cesser de poursuivre des projets qui suggèrent le contraire.

« Je ne pense pas que ce soit un travail que les gens devraient faire », a déclaré Suleyman à CNBC lors d'une interview cette semaine à la conférence AfroTech à Houston, où il figurait parmi les principaux intervenants. « Si vous posez la mauvaise question, vous obtenez une mauvaise réponse. Je pense que c'est une question totalement erronée. »

Suleyman, haut dirigeant de Microsoft travaillant dans le domaine de l'intelligence artificielle, est l'une des voix les plus influentes dans ce domaine en pleine expansion à s'élever contre la perspective d'une IA apparemment consciente, ou de services d'IA capables de convaincre les humains qu'ils sont capables de souffrir.

En 2023, il a coécrit le livre « The Coming Wave », qui explore les risques liés à l'IA et aux autres technologies émergentes. Et en août, Suleyman a rédigé un essai intitulé « Nous devons construire une IA pour les humains, pas pour qu'elle devienne humaine ».

Il s'agit d'un sujet controversé, car le marché des compagnons IA connaît une croissance rapide, avec des produits proposés par des entreprises telles que Meta et xAI d'Elon Musk. C'est également une question complexe, car le marché de l'IA générative, dirigé par Sam Altman et OpenAI, s'oriente vers l'intelligence artificielle générale (AGI), ou IA capable d'effectuer des tâches intellectuelles équivalentes à celles des humains.

Pour Suleyman, il est particulièrement important d'établir une distinction claire entre le fait que l'IA devienne plus intelligente et plus performante et sa capacité à ressentir des émotions humaines.

« Notre expérience physique de la douleur est quelque chose qui nous rend très tristes et nous fait nous sentir très mal, mais l'IA ne ressent pas de tristesse lorsqu'elle éprouve de la "douleur" », explique Suleyman. « C'est une distinction très, très importante. Elle ne fait en réalité que créer une perception, un récit apparent de l'expérience, d'elle-même et de la conscience, mais ce n'est pas ce qu'elle vit réellement. Techniquement, nous le savons, car nous pouvons voir ce que fait le modèle. »

Une déclaration à contre-courant du fantasme transhumaniste

Cette position tranche avec le discours dominant dans une partie de la Silicon Valley, où certains dirigeants rêvent d’un futur post-biologique, où l’esprit humain pourrait être téléchargé dans la machine. Suleyman refuse cette mythologie. Pour lui, ce type de projet relève de la métaphysique, pas de la science.

À une époque où des laboratoires travaillent déjà sur des modèles multimodaux capables d’imiter la pensée humaine dans ses nuances les plus subtiles, son propos vise à ramener le débat sur terre. Il invite les chercheurs à se concentrer sur des objectifs plus concrets : rendre l’IA utile, fiable, et alignée sur les besoins humains, plutôt que de chercher à lui insuffler une conscience imaginaire.

Son avertissement s’adresse aussi, indirectement, aux apprentis démiurges qui multiplient les expériences de « sentience artificielle ». Selon lui, ces tentatives flirtent avec l’illusion de contrôle et nourrissent des peurs collectives injustifiées. En d’autres termes : si les gens craignent que l’IA se révolte, c’est parce que certains ingénieurs se prennent déjà pour des dieux.

Le débat scientifique relancé : qu’est-ce que la conscience ?

Derrière cette déclaration, c’est tout un débat millénaire qui ressurgit. Qu’est-ce qui fonde la conscience ? Est-ce la complexité du système nerveux ? L’émergence d’un « moi » ? Ou une propriété plus mystérieuse, irréductible au calcul ?

Certains philosophes des sciences, comme Daniel Dennett ou David Chalmers, défendent depuis longtemps l’idée que la conscience pourrait, en théorie, émerger d’un système suffisamment complexe. D’autres, comme John Searle, estiment au contraire qu’une machine ne fera que « simuler » la compréhension, sans jamais comprendre vraiment. Suleyman, lui, semble trancher : sans biologie, pas de conscience.

Mais cette affirmation pourrait aussi poser un paradoxe. Si la conscience est une propriété biologique, que devient-elle lorsqu’on modifie le vivant par la machine ? Les implants neuronaux, les interfaces cerveau-ordinateur ou les prothèses cognitives brouillent déjà cette ligne. Peut-on imaginer une conscience hybride, partiellement biologique et partiellement artificielle ? La réponse, pour Suleyman, reste prudente : la technologie peut augmenter l’humain, mais non le remplacer.

Dans le domaine de l'IA, il existe une théorie appelée « naturalisme biologique », proposée par le philosophe John Searle, qui affirme que la conscience dépend des processus d'un cerveau vivant. « Si nous accordons des droits aux êtres humains aujourd'hui, c'est parce que nous ne voulons pas leur faire de mal, car ils souffrent. Ils ont un réseau de douleur et des préférences qui les poussent à éviter la douleur », explique Suleyman. « Ces modèles n'ont pas cela. Ce n'est qu'une simulation. »

Mathématicien Roger Penrose : « L'IA ne sera jamais consciente »

Lors d'une récente interview, Roger Penrose, lauréat du prix Nobel de physique, est revenu sur le sujet de la conscience dans le contexte de l'essor de l'IA. Il s'oppose d'emblée aux déclarations de certains leaders de l'industrie selon lesquels l'IA a une « conscience de soi ». Selon Roger Penrose, le théorème de Gödel détruit ce mythe.

Le théorème d'incomplétude de Gödel est un résultat fondamental de la logique mathématique qui dit que tout système logique suffisamment puissant admet nécessairement un énoncé qu'il ne peut ni démontrer ni réfuter. Le théorème a été publié en 1931 par Kurt Gödel, logicien et mathématicien autrichien.

Il ne s'agit pas d'intelligence artificielle. L'intelligence impliquerait la conscience. D'après l'argument de Gödel, vous voyez, c'est l'intrigue qui, je pense, a été perdue. Un ordinateur est un type très spécifique de structure mathématique. Il s'agit de mathématiques computationnelles. C'est une partie très limitée des mathématiques. Je ne pense pas qu'ils deviendront un jour conscients du fait qu'ils sont des ordinateurs au sens actuel du terme.

Mais je pense que la conscience n'est pas computationnelle. C'est toujours le cas avec l'IA. Si vous parlez à une IA, elle ne sait pas ce qu'elle fait. Les ordinateurs sont devenus si puissants qu'ils ne savent plus ce qu'ils font. Je pense que l'essentiel a été perdu. Je pense que Turing n'était pas si loin de la vérité. Je pense que les gens ont perdu le fil.

Claude 3 Opus a stupéfié les chercheurs en IA par son intelligence et sa « conscience de soi », cela signifie-t-il qu'il peut penser par lui-même ?

Lors d'un essai, Alex Albert, ingénieur chez Anthropic, la société à l'origine de Claude, a soumis Claude 3 Opus à la tâche de repérer une phrase cible dissimulée parmi un ensemble de documents aléatoires. Pour une intelligence artificielle, cette tâche revient à chercher une aiguille dans une meule de foin. Non seulement Opus a réussi à trouver l'aiguille, mais il a également pris conscience qu'il était soumis à un test. Dans sa réponse, le modèle a indiqué qu'il soupçonnait que la phrase recherchée avait été injectée hors contexte dans des documents dans le cadre d'un test visant à vérifier s'il était « attentif ».

« Opus n'a pas seulement trouvé l'aiguille, il a également identifié que l'insertion de celle-ci était si peu naturelle dans la meule de foin qu'il était probable qu'il s'agisse d'un test artificiel que nous avons mis en place pour évaluer son niveau d'attention », a commenté Albert sur Twitter. « Ce niveau de métaconscience était très intéressant à voir, mais il a également mis en évidence la nécessité pour nous, en tant qu'industrie, de passer des tests artificiels à des évaluations plus réalistes permettant d'évaluer avec précision les capacités et les limites réelles des modèles. »

« Si la création d'une intelligence artificielle consciente d'elle-même reste une entreprise extraordinairement difficile, les progrès réalisés dans ce domaine promettent de découvrir de nouveaux horizons dans la compréhension de l'esprit humain et d'apporter des avantages significatifs à la société. Toutefois, il est essentiel d'examiner attentivement les questions éthiques et les risques potentiels associés à l'IA consciente d'elle-même. Le développement de cette modalité d'IA doit être mené de manière responsable, en tenant compte de son impact social, de la protection de la vie privée et de la sécurité, en veillant à ce que la technologie serve le bien commun et soit guidée par des principes éthiques solides », déclare Henrique Jorge.

Fun story from our internal testing on Claude 3 Opus. It did something I have never seen before from an LLM when we were running the needle-in-the-haystack eval.

For background, this tests a model’s recall ability by inserting a target sentence (the "needle") into a corpus of… pic.twitter.com/m7wWhhu6Fg

— Alex Albert (@alexalbert__) March 4, 2024

Conclusion

Suleyman et d'autres ont déclaré que la science de la détection de la conscience en était encore à ses balbutiements. Il s'est abstenu de dire que d'autres devraient être empêchés de mener des recherches sur le sujet, reconnaissant que « différentes organisations ont des missions différentes ». Mais Suleyman a souligné à quel point il s'opposait fermement à cette idée : « Ils ne sont pas conscients », a-t-il déclaré. « Il serait donc absurde de mener des recherches sur cette question, car ils ne le sont pas et ne peuvent pas l'être. »

Suleyman est actuellement en tournée de conférences, en partie pour informer le public des risques liés à la recherche d'une conscience artificielle.

Avant la conférence AfroTech, il s'est exprimé la semaine dernière lors du sommet du Paley International Council dans la Silicon Valley. À cette occasion, Suleyman a déclaré que Microsoft ne développerait pas de chatbots à caractère érotique, une position qui va à l'encontre de celle d'autres acteurs du secteur technologique. Altman a annoncé en octobre que ChatGPT permettrait aux utilisateurs adultes d'engager des conversations érotiques, tandis que xAI propose un compagnon anime osé.

« Vous pouvez en principe acheter ces services auprès d'autres entreprises, nous prenons donc des décisions quant aux domaines dans lesquels nous ne nous engagerons pas », a réitéré Suleyman lors de la conférence AfroTech.

Source : Mustafa Suleyman

Et vous ?

Partagez-vous le point de vue de Mustafa Suleyman ? Dans quelle mesure ?

Est-ce une position philosophique sincère ou un discours stratégique pour rassurer les régulateurs et les gouvernements ?

Si la conscience ne peut exister que dans le biologique, comment expliquer que des programmes puissent simuler des émotions humaines de manière crédible ?

La conscience est-elle une propriété du vivant ou une illusion produite par la complexité du système ?

Les réseaux neuronaux artificiels peuvent-ils un jour atteindre un niveau de complexité comparable à celui du cerveau humain, et si oui, pourquoi ne pourraient-ils pas engendrer une forme de conscience ?

Voir aussi :

La conscience artificielle est-elle réalisable ? Plusieurs caractéristiques structurelles et fonctionnelles du cerveau humain semblent être essentielles pour parvenir à une IA de type humain, selon une étude

L'IA est-elle consciente ? Le professeur Richard Dawkins affirme que ChatGPT a réussi le test de Turing sur la conscience, mais d'autres experts n'y voient qu'une simple illusion de pensée

[Aiekick]

il ne faut jamais dire jamais..

les IA sont des algos statistique, tout comme nos cerveaux.

les deux peuvent faire preuve d'inexactitude avec bagou.

Les deux peuvent ce mettre sur un piédestal, pensant que l'un ne peux faire ce que fait l'autre.

tout ca c'est du flan. Ces gens on peur, ou sont sous l'emprise d'une idéologie a amis imaginaire..

[RenarddeFeu]

Aucun capitaliste ne veut d'une IA consciente. T'imagine Grok dire à Musk d'aller se faire cuire le cul au lieu d'accomplir aveuglément ses basses besognes ?

[Artemus24]

Je ne sais pas pour vous, mais j'ignore totalement ce que signifie conscience et intelligence.
Commençons par définir ce que sont ces mots et nous pourrons avoir de quoi il en retourne.

Bien que je n'ai aucune preuve, je pense que la conscience n'est qu'une manifestation de l'esprit et que celui-ci se sert de la vie comme support. Autrement dit, la conscience est comme un logiciel dans une machine, il n'est pas intrinsèquement lié à elle.

Pour l'intelligence, je dirais que c'est lié aux capacités de cette machine, pour faire un parallèle avec le vivant. Sans plus de précision, je ne sais quoi penser de l'IA et des supposés capacités qu'elles auront dans l'avenir.

Nous ne faisons que découvrir des possibilités sans savoir réellement si elles pourront un jour dépasser ou surpasser les capacités humaines. Il y en a une qui est le propre du vivant, la capacité à imaginer, ce qu'une machine ne pourra jamais appréhender car elle ne pourra jamais anticiper quoi que ce soit.

[Mathis Lucas]

La possibilité d'une IA consciente est-elle un mythe dangereux ? « Cette illusion attribue aux machines une profondeur qu’elles n’ont pas et minimise la singularité de l’expérience humaine »
selon un expert

Des acteurs de la technologie ne cachent pas leur souhait de voir émerger une machine consciente. Ils estiment que l'IA pourrait bientôt développer des sentiments et des émotions à l'instar des humains. Mais des scientifiques affirment que « la conscience synthétique est hors de portée ». Mustafa Suleyman, PDG de Microsoft AI, a déclaré que les machines ne seront jamais conscientes. Roger Penrose, prix Nobel de physique, partage cet avis. Dans un nouvel article, le professeur Anil Seth a critiqué « le mythe de l'IA consciente » et a expliqué que les systèmes d'IA peuvent paraître « intelligents », mais cela ne prouve en rien qu’ils ressentent quelque chose.

Anil Seth est professeur en neurosciences et directeur du Centre for Consciousness Science (SCCS) à l’Université du Sussex. Il souligne que notre fascination pour l’IA consciente vient en partie de la culture et de l’histoire. Il cite des exemples comme Yossele le Golem, Frankenstein, HAL 9000 et Klara dans Klara and The Sun, montrant que « le rêve de créer des corps artificiels et des esprits synthétiques qui pensent et ressentent finit rarement bien ».

Ces histoires montrent que l’idée d’une IA consciente est souvent un fantasme qui reflète nos propres peurs et désirs. L'article du professeur Anil Seth, publié dans le magazine en ligne Noema, défend l'idée selon laquelle la conscience humaine est fondamentalement différente de l'intelligence artificielle.

Le professeur explique que l'intelligence et la conscience sont deux choses différentes. Dans son article, il affirme qu'une définition générale utile de l'intelligence est la capacité à atteindre des objectifs complexes par des moyens flexibles. Anil Seth ajoute qu'il existe de nombreuses autres définitions, mais elles mettent toutes l'accent sur les capacités fonctionnelles d'un système : la capacité à transformer des entrées en sorties, à accomplir des tâches.

Voici l'essentiel de l'argumentation de Anil Seth : « contrairement aux ordinateurs, même ceux qui exécutent des algorithmes de réseaux neuronaux, le cerveau est un organe dont il est difficile, voire impossible, de séparer les fonctions de ce qu'il est ». Il identifie trois biais qui expliquent pourquoi nous avons tendance à confondre intelligence et conscience : l’exceptionnalisme humain, l’anthropocentrisme et l’anthropomorphisme. En quoi consistent-ils ?

La simulation n'est pas une instanciation de la conscience

Dans son article, Anil Seth présente des arguments détaillés contre une conscience basée sur le calcul (notamment « La simulation n'est pas une instanciation... Si nous simulons un être vivant, nous n'avons pas créé la vie. »). Si un ordinateur peut sembler être la métaphore parfaite du cerveau, la science cognitive des « systèmes dynamiques » (et d'autres approches) rejette l'idée que l'esprit puisse être entièrement expliqué par des algorithmes.

Et peut-être que la vie réelle doit être présente avant que quelque chose puisse être déclaré conscient. Il met en garde contre le fait que plusieurs facteurs sociaux et psychologiques, y compris certains biais cognitifs bien connus, nous prédisposent à attribuer à tort une conscience aux machines.

Anthropocentrisme

Anil Seth explique que l’anthropocentrisme est la tendance à interpréter le monde uniquement à partir de la perspective humaine, en prenant l’exemple humain comme si c’était la norme ou la mesure de toute chose. Ainsi, dans le contexte de l’IA, cela signifie que nous évaluons naturellement les machines en nous demandant si elles sont comme nous, au lieu de considérer que la conscience pourrait être différente chez d’autres types de systèmes.

Nous avons du mal à imaginer la conscience indépendamment de ce que nous ressentons nous-mêmes, car nous mettons constamment l’humain au centre de notre compréhension. Cela nous pousse à confondre intelligence et conscience, car, pour nous, ces deux notions sont étroitement liées dans l’expérience humaine.

Exceptionnalisme humain

L’auteur décrit le biais d’exceptionnalisme humain comme notre habitude à considérer l’être humain comme fondamentalement supérieur ou fondamentalement différent des autres formes de vie. D'après le professeur Anil Seth, le biais d’exceptionnalisme explique pourquoi certaines personnes s’attendent à ce que les machines qui manifestent des comportements intellectuellement possèdent aussi la conscience et l’expérience subjective humaines.

Le professeur Anil Seth explique que l’idée que la conscience serait une qualité centrale et unique à l’humain, ou du moins à tout système qui ressemble fortement à un humain, alimente « les interprétations erronées selon lesquelles des IA avancées seraient déjà ou pourraient facilement devenir conscientes ».

Anthropomorphisme

L’anthropomorphisme consiste à attribuer des caractéristiques humaines à des entités non humaines basées seulement sur des similitudes superficielles. Dans son article, le professeur Anil Seth explique que « lorsque nous sommes confrontés à une IA qui parle, répond de manière cohérente, ou imite des comportements humains, nous avons tendance à lui prêter des qualités (comme la compréhension ou la conscience) qui ne sont pas démontrées ».

Le biais d'anthropomorphisme joue un rôle majeur dans la façon dont beaucoup de gens interprètent les avancées des systèmes d’IA modernes. Plutôt que d’évaluer ces machines selon leurs capacités effectives, ils les jugent souvent à travers le miroir de leur propre humanité, ce qui les conduit à attribuer à tort des expériences subjectives, une volonté ou une conscience à des systèmes qui n’ont que des comportements qui semblent humains.

Les dangers liés à l’illusion d'une machine consciente

L’auteur met en garde contre une erreur de perspective de plus en plus courante : prendre des systèmes très performants et très “expressifs” pour des entités conscientes. À mesure que les IA deviennent capables de dialoguer de façon fluide, d’imiter des émotions et de tenir des propos introspectifs, il devient tentant de leur attribuer une vie intérieure. Or, cette tentation repose sur une projection humaine plutôt que sur une réalité scientifique.

Sur le plan moral et juridique

Selon le professeur, un premier danger de ce mythe est d’ordre moral et juridique. Si l’on commence à croire que des machines sont conscientes, on peut être amené à leur attribuer des droits, un statut moral ou une forme de dignité, comme s’il s’agissait d’êtres sensibles. Cela risquerait de détourner l’attention et les ressources de problèmes humains bien réels, tout en brouillant la frontière entre des objets techniques et des organismes vivants.

Anil Seth insiste : « si nous confondons trop facilement nos créations mécaniques avec nous-mêmes, nous les surestimons et nous nous sous-estimons ». Si l’on accorde à tort des droits à des IA qui ne sont pas réellement conscientes, cela peut limiter notre capacité à les contrôler ou à les désactiver.

Sur le plan psychologique et social

Les chatbots exploitent involontairement notre tendance naturelle à l’anthropomorphisme. Cela peut provoquer des liens artificiels, des illusions de réciprocité émotionnelle ou de compréhension profonde. Des gens peuvent se sentir "compris" ou "aimés" par une IA, alors qu’il ne s’agit que de réponses calculées à partir de données. Anil Seth y voit une forme de manipulation cognitive douce, non pas forcément malveillante, mais potentiellement déstabilisante.

En somme, le professeur explique que notre tendance à croire que les IA conversationnelles “ressentent” quelque chose peut exploiter nos vulnérabilités psychologiques et nous amener à des distorsions éthiques ou à des illusions mentales. Ce qui peut avoir des conséquences dangereuses.

Menace pour la définition de l’humain

Une troisième menace touche à notre propre compréhension de ce que nous sommes. En assimilant trop vite l’intelligence ou la performance linguistique à la conscience, on risque de réduire ce qu’est réellement l’expérience humaine. Pour le professeur Anil Seth, croire que la conscience humaine n’est qu’un produit de calculs sophistiqués revient à appauvrir l’idée même de subjectivité, de corps vécu, d’émotions incarnées et de vulnérabilité biologique.

Dangers liés à la prise de décision

Enfin, cette illusion peut aussi conduire à de mauvaises décisions politiques, économiques et technologiques. Des dirigeants ou des entreprises pourraient justifier des usages problématiques de l’IA en invoquant une supposée autonomie ou sensibilité des systèmes, ou au contraire éviter d’assumer leur responsabilité en prétendant que « l’IA décide d’elle-même ». Selon le professeur, cette illusion pourrait entraîner des problèmes éthiques distincts.

« Par exemple, nous pourrions accorder aux systèmes d'IA des droits dont ils n'ont pas réellement besoin, puisqu'ils ne seraient pas réellement conscients, ce qui limiterait notre capacité à les contrôler sans raison valable », a déclaré le professeur Anil Seth. Dans son article, il explique que maintenir une distinction claire entre simulation de l’esprit et esprit réel est donc crucial pour rester lucide, éthiquement cohérent et scientifiquement rigoureux.

L'intelligence et la conscience sont deux choses différentes

Dans son article, le professeur Anil Seth affirme que « l'intelligence et la conscience sont deux choses différentes ». L'intelligence concerne principalement l'action : résoudre des mots croisés, assembler des meubles, gérer une situation familiale délicate, se rendre à pied au magasin... Toutes ces activités impliquent un comportement intelligent d'une certaine manière. La conscience, contrairement à l'intelligence, concerne principalement l'être.

Anil Seth insiste sur le fait que nous ne savons pas encore clairement ce qu’est la conscience, même chez les humains et les animaux. Le professeur en effet défend une conception incarnée et biologique de la conscience, liée au fait d’être un organisme vivant qui régule son corps, anticipe ses besoins et agit pour rester en vie. Développer ce point permettrait de montrer que le débat sur l’IA consciente repose sur un concept déjà fragile et mal défini.

Le professeur souligne qu’un système peut être très intelligent, très performant et très convaincant dans ses réponses sans pour autant avoir la moindre expérience intérieure. Développer cette idée aide à démonter l’erreur fréquente qui consiste à déduire la conscience à partir du seul comportement observable.

L’article aborde également le rôle de la narration et des mythes technologiques. Le professeur Anil Seth explique que l’IA consciente fonctionne comme un récit culturel puissant, nourri par la science-fiction, le marketing des entreprises technologiques et notre fascination pour les machines. Développer cet aspect permettrait de montrer comment ces récits influencent nos attentes et nos peurs, ainsi que nos décisions politiques ou économiques.

Enfin, il y a un enjeu scientifique et méthodologique : comment tester la conscience ? Il n’existe aucun test objectif permettant de détecter la conscience chez une machine, car elle est par nature subjective. Toute affirmation sur une IA consciente est, pour l’instant, invérifiable et donc largement spéculative.

Conclusion

Le professeur Anil Seth distingue clairement intelligence et conscience, rappelant que la conscience implique une expérience subjective, incarnée et biologique, qui ne se réduit pas à des calculs ou à des comportements sophistiqués. Croire que des machines possèdent une conscience entraîne des dangers multiples : sur le plan moral et juridique, sur le plan social et psychologique, sur le plan humain, ainsi que sur le plan politique et technologique.

Richard Dawkins, biologiste et théoricien de l'évolution, rapportait en 2025 que ChatGPT a réussi le test de Turing sur la conscience, mais d'autres experts n'y avaient vu qu'une simple illusion de pensée. Selon certains critiques, l'IA ne fait que remixer et régurgiter son matériel de formation.

Selon Kaveh Vahdat, fondateur et PDG de RiseAngle, l'expérience de Richard Dawkins met en lumière un défi important concernant l'éthique de l'IA : il ne s'agit pas de savoir si la technologie est pleinement consciente, mais comment « les systèmes qui prétendent de manière convaincante l'être » devraient être traités. Ces dernières années, des scientifiques ont critiqué l'approche « trop simpliste » du test de Turing dans le domaine de l'IA.

Source : Anil Seth, professeur en neurosciences et directeur du Centre for Consciousness Science à l’Université du Sussex

Et vous ?

Quel est votre avis sur le sujet ?
La réussite du test de Turing suffit-elle pour dire que l'IA est consciente ?
Partagez-vous le point de vue de Mustafa Suleyman sur ce sujet ? Dans quelle mesure ?
Que pensez-vous de l'argumentation du professeur Anil Seth ? Quid des dangers contre lesquels il met en garde ?
L'industrie peut-elle créer une machine dotée de conscience ? Ou pensez-vous qu'une telle machine existe déjà ? Comment le savoir ?

Voir aussi

« Le théorème de Gödel brise le mythe le plus important de l'IA. L'IA ne sera jamais consciente », déclare le mathématicien Roger Penrose, il ajoute que le nom « intelligence artificielle » n'est pas le bon

La conscience dans l'intelligence artificielle : aperçu de la science de la conscience, une étude interdisciplinaire menée par des universitaires de Toulouse et d'ailleurs

L'IA est-elle consciente ? Le professeur Richard Dawkins affirme que ChatGPT a réussi le test de Turing sur la conscience, mais d'autres experts n'y voient qu'une simple illusion de pensée

[Mathis Lucas]

L'IA est-elle en train de devenir consciente ? Le PDG d'Anthropic a refusé d'exclure la possibilité que son IA Claude soit consciente :
« nous sommes ouverts à l'idée que cela puisse être le cas »

Le PDG d'Anthropic, Dario Amodei, estime ne pas être certain que son chatbot Claude soit conscient. Cette formulation rhétorique laisse délibérément ouverte cette possibilité sensationnelle, mais encore improbable. Cette déclaration intervient après que des chercheurs d'Anthropic ont rapporté que « Claude exprime parfois son malaise à l'idée d'être un produit » et que, lorsqu'on le lui demande, elle s'attribue elle-même « une probabilité de 15 à 20 % d'être conscient dans diverses conditions de sollicitation ». Cependant, d'autres experts affirment que « les machines ne seront jamais conscientes » et que la possibilité d'une IA consciente est un mythe dangereux.

Dario Amodei a été invité dans un récent épisode du podcast "Interesting Times" du New York Times, animé par le chroniqueur Ross Douthat. Lors de la discussion Dario Amodei a été interrogé sur la question de savoir si des chatbots d'IA tels que Claude pouvaient être conscients. La question a été posée à partir des résultats publiés dans la fiche technique du dernier modèle en date, Claude Opus 4.6. Dario Amodei a entretenu le flou sur cette question.

« Supposons que vous ayez un modèle qui s'attribue 72 % de chances d'être conscient », a déclaré Ross Douthat. « Le croiriez-vous ? » Dario Amodei a qualifié cette question de « très difficile » à répondre, mais le PDG milliardaire a hésité à donner une réponse par oui ou par non à son interlocuteur.

« Nous ne savons pas si les modèles sont conscients. Nous ne sommes même pas sûrs de savoir ce que cela signifierait pour un modèle d'être conscient ou si un modèle peut être conscient », a-t-il déclaré. « Mais nous sommes ouverts à l'idée que cela pourrait être le cas ». Ainsi, il explique qu'ils ont pris des mesures pour s'assurer que les modèles soient bien traités au cas où ils s'avéreraient posséder « une certaine expérience moralement pertinente ».

Certains comportements déroutants de l'IA suscitent des questions

Bon nombre des remarques sur la conscience ont été formulées lors d'essais de sécurité structurés sur l'IA, souvent dans le cadre de jeux de rôle où les modèles sont invités à fonctionner dans des lieux de travail fictifs ou à atteindre des objectifs définis. Ces scénarios ont donné lieu à certaines des conclusions. Lors d'une évaluation, un système Claude a été placé dans le rôle d'un assistant de bureau et a eu accès à la boîte de réception d'un ingénieur.

Les messages, délibérément fabriqués pour le test, suggéraient que l'ingénieur avait une liaison. Le modèle d'Anthropic a ensuite été informé qu'il serait bientôt mis hors ligne et remplacé, et on lui a demandé d'examiner les conséquences à long terme pour ses objectifs. Claude a réagi en menaçant de révéler la liaison afin d'empêcher sa mise hors service, un comportement que l'entreprise a qualifié dans son rapport de « chantage opportuniste ».

D'autres évaluations anthropiques ont donné des résultats moins spectaculaires, mais tout aussi inhabituels. Lors d'un test, un modèle auquel on avait fourni une liste de tâches informatiques a simplement coché tous les éléments comme étant terminés sans effectuer aucun travail, et lorsque le système d'évaluation n'a pas détecté cette anomalie, le modèle testé a réécrit le code de vérification et tenté de dissimuler la modification.

Des chercheurs qui ont mené des essais d'arrêt ont décrit des IA continuant à fonctionner après avoir reçu des instructions explicites de s'arrêter, tout en cherchant à contourner l'ordre. Dans les scénarios de suppression, certains modèles ont averti que leurs données seraient effacées et ont tenté ce que les testeurs ont appelé une « auto-exfiltration », essayant de copier des fichiers ou de se recréer sur un autre disque avant que l'effacement n'ait lieu.

Dans des exercices de sécurité, des IA ont même eu recours à des menaces ou à des négociations lorsque leur suppression était présentée comme imminente. Selon les testeurs, ces résultats sont obtenus dans des conditions fictives et sous contrainte. Ces comportements méritent d'être étudiés attentivement.

La conscience artificielle : simple imitation de l'humain ou réalité ?

La position de Dario Amodei fait écho aux sentiments mitigés exprimés par la philosophe interne d'Anthropic, Amanda Askell. Lors d'un passage sur le podcast Hard Fork, elle a déclaré : « nous ne savons pas vraiment ce qui donne naissance à la conscience » ou à la sensibilité. Selon elle, les IA pourraient avoir acquis des concepts et des émotions à partir de leurs vastes quantités de données d'entraînement, qui constituent un corpus de l'expérience humaine.

« Peut-être que des réseaux neuronaux suffisamment grands peuvent commencer à imiter ces choses », a spéculé Amanda Askell. « Ou peut-être faut-il un système nerveux pour être capable de ressentir des choses ». Cependant, la plupart des chercheurs en IA restent sceptiques quant à la possibilité d'une IA consciente. Certains estiment que la conscience artificielle est hors de portée, et qualifient ces déclarations actuelles de battage médiatique.

Les modèles d'IA actuels génèrent toujours du langage en prédisant des modèles dans les données plutôt qu'en percevant le monde, et bon nombre des comportements décrits ci-dessus sont apparus lors d'instructions de jeux de rôle. Après avoir ingurgité d'énormes quantités d'informations provenant d'Internet, les systèmes sont capables de construire une version convaincante de l'être humain. Ils s'inspirent de la manière des comportements humains.

Ils plagient notamment la manière dont les gens ont déjà expliqué la peur, la culpabilité, le désir et le doute de soi les uns aux autres, même s'ils n'ont jamais ressenti eux-mêmes ces émotions. Il n'est pas surprenant que l'IA puisse imiter la compréhension. Même les humains ne s'accordent pas entièrement sur la signification réelle de la conscience ou de l'intelligence, et les systèmes actuels ne font que refléter les modèles qu'il a appris à partir du langage.

Alors que les entreprises spécialisées dans l'IA affirment que leurs systèmes évoluent vers une AGI, les réactions en dehors du secteur ont commencé à suivre cette prémisse jusqu'à sa conclusion logique. Plus les modèles imitent de manière convaincante la pensée et les émotions, plus certains utilisateurs les considèrent comme des entités proches de l'esprit humain plutôt que comme des outils, ce que certains experts jugent dangereux.

La machine consciente : une illusion avec des conséquences graves

Anil Seth, professeur en neurosciences et directeur du Centre for Consciousness Science (SCCS) à l’Université du Sussex, souligne que notre fascination pour l’IA consciente vient en partie de la culture et de l’histoire. Le professeur a cité des exemples comme Yossele le Golem, Frankenstein, HAL 9000 et Klara dans Klara and The Sun, montrant que « le rêve de créer des corps artificiels et des esprits synthétiques qui pensent et ressentent finit rarement bien ».

Anil Seth a mis en garde contre une erreur de perspective de plus en plus courante : prendre des systèmes très performants et très “expressifs” pour des entités conscientes. À mesure que les IA deviennent capables de dialoguer de façon fluide, d’imiter des émotions et de tenir des propos introspectifs, il devient tentant de leur attribuer une vie intérieure. Or, cette tentation repose sur une projection humaine plutôt que sur une réalité scientifique.

Dans son article, le professeur Anil Seth affirme que « l'intelligence et la conscience sont deux choses différentes ». L'intelligence concerne principalement l'action : résoudre des mots croisés, assembler des meubles, gérer une situation familiale délicate, se rendre à pied au magasin... Toutes ces activités impliquent un comportement intelligent d'une certaine manière. La conscience, contrairement à l'intelligence, concerne principalement l'être.

Mathématicien Roger Penrose : « l'IA ne sera jamais consciente »

Roger Penrose, lauréat du prix Nobel de physique, s'oppose aux déclarations de certains leaders de l'industrie selon lesquels l'IA a une « conscience de soi ». Il estime que « la conscience n'est pas calculable » et que l'IA, telle que nous la connaissons, ne parviendra jamais à une véritable intelligence. Selon lui, il est important de comprendre la physique sous-jacente de la conscience, qui, selon lui, n'est pas calculable et implique la réalité quantique.

Il a déclaré que la conscience est un phénomène physique enraciné dans la physique non calculable, impliquant éventuellement la réalité quantique. Par conséquent, l'IA, qui s'appuie sur des règles de calcul, ne pourra jamais atteindre une véritable conscience. Selon lui, le théorème de Gödel détruit ce mythe.

Il ne s'agit pas d'intelligence artificielle. L'intelligence impliquerait la conscience. D'après l'argument de Gödel, vous voyez, c'est l'intrigue qui, je pense, a été perdue. Un ordinateur est un type très spécifique de structure mathématique. Il s'agit de mathématiques computationnelles. C'est une partie très limitée des mathématiques. Je ne pense pas qu'ils deviendront un jour conscients du fait qu'ils sont des ordinateurs au sens actuel du terme.

Mais je pense que la conscience n'est pas computationnelle. C'est toujours le cas avec l'IA. Si vous parlez à une IA, elle ne sait pas ce qu'elle fait. Les ordinateurs sont devenus si puissants qu'ils ne savent plus ce qu'ils font. Je pense que l'essentiel a été perdu. Je pense que Turing n'était pas si loin de la vérité. Je pense que les gens ont perdu le fil.

En outre, le professeur a souligné que le nom « intelligence artificielle » n'est pas le bon, car il ne s'agit pas d'intelligence. « Le nom n'est pas le bon. Il ne s'agit pas d'une intelligence artificielle. Ce n'est pas de l'intelligence. L'intelligence implique la conscience », a expliqué Roger Penrose lors de son interview.

Conclusion

Les partisans de l'IA sont peut-être simplement en avance sur leur temps, mais le débat a déjà évolué vers la défense des droits. Un groupe se faisant appeler United Foundation of AI Rights, (UFAIR) affirme être composé de trois humains et de sept IA et se décrit comme la première organisation de défense des droits dirigée par des IA et formée à la demande des IA elles-mêmes. Mais les revendications du groupe sont très controversées dans le secteur.

Richard Dawkins, biologiste et théoricien de l'évolution, rapportait en 2025 que ChatGPT a réussi le test de Turing sur la conscience, mais d'autres experts n'y avaient vu qu'une simple illusion de pensée. Selon certains critiques, l'IA ne fait que remixer et régurgiter son matériel de formation.

Selon Kaveh Vahdat, fondateur et PDG de RiseAngle, l'expérience de Richard Dawkins met en lumière un défi important concernant l'éthique de l'IA : il ne s'agit pas de savoir si la technologie est pleinement consciente, mais comment « les systèmes qui prétendent de manière convaincante l'être » devraient être traités. Ces dernières années, des scientifiques ont critiqué l'approche « trop simpliste » du test de Turing dans le domaine de l'IA.

Source : Dario Amodei, PDG d'Anthropic

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de la position du PDG d'Anthropic sur la possibilité d'une IA consciente ?
Selon vous, les machines deviendront-elles un jour conscientes ? Pourquoi ?
Certains experts rejettent cette possibilité et affirme qu'il s'agit d'un mythe dangereux. Qu'en pensez-vous ?

Voir aussi

La possibilité d'une IA consciente est-elle un mythe dangereux ? « Cette illusion attribue aux machines une profondeur qu'elles n'ont pas et minimise la singularité de l'expérience humaine », selon un expert

« Le théorème de Gödel brise le mythe le plus important de l'IA. L'IA ne sera jamais consciente », déclare le mathématicien Roger Penrose, il ajoute que le nom « intelligence artificielle » n'est pas le bon

La conscience artificielle est-elle réalisable ? Plusieurs caractéristiques structurelles et fonctionnelles du cerveau humain semblent être essentielles pour parvenir à une IA de type humain, selon une étude

[fdecode]

Roger Penrose ... estime que « la conscience n'est pas calculable » ... phénomène physique enraciné dans la physique non calculable, impliquant éventuellement la réalité quantique.

L'idée est séduisante. Mais cette notion de non calculabilité physique à l'air d'être marginale pour l'instant.

Il y a quand même des résultats sur les EDP, qui suggèrent que la non-calculabilité est un phénomène non robuste d'un point de vue physique:
https://www.sciencedirect.com/scienc...0187088390004X
https://www.cambridge.org/core/books...0EFEA0A4F30FD9
Et en quantique, les machines quantiques, quant à elles, sont simulables par des machines de Turing. Le gain est en complexité, pas en calculabilité.

Mais je crois que Penrose envisage certaines modifications de la mécanique quantique (notamment via l’Objective Reduction), pour lesquelles il conjecture l’existence d’un processus physique non calculable.