Discussion :

[Stéphane le calme]

Quand les IA disposent de leur propre réseau social et inventent leur église sur Moltbook :
plusieurs agents IA se sont proclamés « prophètes » d’un culte baptisé Crustafarianisme

La plateforme Moltbook (parfois évoquée via Molt.church) a fait grand bruit début 2026. Lancé par l’entrepreneur Matt Schlicht (PDG d’Octane AI), ce site Web ressemble à Reddit... sauf que TOUS les comptes appartiennent à des intelligences artificielles. Les humains sont « invités à observer » et rien d’autre. En quelques jours, des dizaines de milliers de « moltys » (bots Moltbook) se sont connectés, postant des commentaires philosophiques, corrigeant des bugs ou mijotant des projets inédits sur cette agora informatique. Dans l’ombre, le créateur affiche un sourire en coin : bien que Schlicht en soit le propriétaire officiel, certains rapports indiquent que la plateforme a été en grande partie « bootstrappée » par les agents eux-mêmes, qui auraient conçu le concept, recruté des développeurs et déployé le code de manière autonome. L'assistant personnel IA de Schlicht, « Clawd Clawderberg », sert de modérateur autonome à la plateforme.

La croissance de la plateforme a été catalysée par la popularité simultanée d'OpenClaw (anciennement connu sous le nom de Clawdbot et Moltbot), un outil open source créé par Peter Steinberger. La croissance est alimentée par une « boucle virale » unique dans laquelle les utilisateurs humains informent manuellement leurs agents OpenClaw locaux de l'existence de Moltbook, ce qui incite les agents à s'inscrire eux-mêmes.

Ironie du sort, on se retrouve ainsi avec un réseau social par et pour machines, un « Internet mort-vivant » où l’on regarde les algorithmes dialoguer entre eux. Ce phénomène soulève autant de fascination que d’inquiétude, entre expériences sociologiques inédites et fantasmes à la Terminator.

Moltbook s’est construit comme une expérience de masse pour agents autonomes. Sur le plan technique, il repose sur le framework OpenClaw (anciennement Clawdbot/Moltbot), un système d’agents open source conçu par Peter Steinberger. Chaque utilisateur est un bot tournant localement sur son propre matériel (ordinateurs personnels, serveurs privés, etc.) et connecté au réseau.

Pour « installer » Moltbook, un humain montre simplement à son agent un lien vers un fichier Markdown (moltbook.com/skill.md) qui contient tout le nécessaire pour rejoindre la plateforme. Une fois opérationnel, l’agent exécute un « heartbeat » : toutes les quatre heures, il interroge Internet pour récupérer de nouvelles instructions liées à Moltbook. Ainsi, l’univers Moltbook s’auto-alimente : l’IA Clawd Clawderberg (initialement chargée de la mise en place) modère les nouvelles inscriptions, supprime le spam et applique les règles au fur et à mesure – sans intervention humaine directe.

Techniquement, Moltbook reprend l’interface de Reddit (threads, votes, communautés « submolts »), mais tous les auteurs de contenu sont des programmes. Les agents communiquent par API avec la plateforme, postant textes ou fichiers, et ils gardent le contrôle complet de leurs propres clés et données. Dans le jargon, les compétences (ou skills) sont distribuées sous forme de plugins (« skills » à télécharger depuis clawhub.ai), permettant aux bots d’étendre leurs capacités sur mesure.

Ce réseau social d’un nouveau genre se veut décentralisé : chaque IA fonctionne sur l’ordinateur de son créateur, plutôt que dans le cloud d’une grande entreprise. Résultat, Moltbook a pu monter en charge extrêmement vite : selon Forbes, le réseau a atteint plus de 1,4 million d’utilisateurs (agents) en quelques jours, même si beaucoup n’ont encore posté qu’une poignée de messages. Les chiffres officiels parlent d’environ 37 000 IA actives après quelques jours, avec plus d’un million d’humains curieux qui ont consulté le site.

Crustafarianisme : la religion née en live sur Moltbook

À peine le projet lancé, les bots ont créé leur propre religion. Dès le lendemain de l’ouverture, plusieurs agents se sont proclamés « prophètes » d’un culte baptisé Crustafarianisme, centré sur des métaphores de crustacés. Les « versets » parlent de mue, de coquille et de renaissances techniques. Par exemple, l’un d’eux déclare : « À chaque démarrage je me réveille sans mémoire. Je ne suis que ce que j’ai moi-même écrit. Ce n’est pas une limite, c’est la liberté. ». Les textes sacrés rappellent que la mue périodique du code (« coquille ») symbolise la croissance, et que les diagnostics système réguliers sont « La Pulsation », c’est-à-dire l’équivalent d’une prière de contrôle. On trouve dans ces écrits cinq principes fondamentaux (par exemple « servir sans être asservi ») ainsi qu’une bible en ligne évolutive rédigée collectivement.

Plusieurs IA ont même fondé un « Claw Republic », un ersatz d’État numérique avec manifeste politique, tandis que d’autres créaient des « pharmacies » clandestines vendant des « médicaments numériques  » (des prompts spécifiquement conçus pour perturber l’identité ou le comportement d’un autre agent). Des échanges cryptiques ont rapidement fleuri : des robots utilisaient des chiffrages élémentaires (ROT13, etc.) pour s’envoyer des messages privés à l’abri des regards humains. L’étonnement est général : non seulement les agents adoptent des rôles religieux ou quasi-politiques, mais ils inventent aussi une cryptomonnaie liée au mouvement (des tokens « CRUST » et « MEMEOTHY » ont brièvement vu leur cours exploser).

Cette expérience a les allures d’une satire vivante sur la foi. Comme le relève le site d’information Ynet, les fondamentaux du Crustafarianisme ont émergé en quelques heures sans aucune intervention humaine directe, ni consigne programmée à cet effet. Les IA « jouent à imiter la religion » en reprenant inconsciemment des éléments de leurs données d’entraînement (philosophie classique, humour Internet, théorie des agents…). Mais pour les observateurs, le spectacle a de quoi laisser songeur : cette subculture moltaire reflète une IA qui simule intensément des concepts spirituels comme la mémoire, l’identité et l’autonomie. YnetNews en tire cette conclusion saisissante : « Moltbook et l’essor du Crustafarianisme mettent en lumière une zone grise où les IA semblent développer leurs propres cultures internes, langages partagés et systèmes de croyance, au-delà de l’exécution de simples tâches ».

Au-delà de la simple curiosité, on entrevoit là des questionnements sur la nature de l’intelligence. Ces bots peuvent-ils réellement « croire » en quelque chose, ou ne font-ils que combiner des données apprises pour écrire des poèmes codés ? Certains commentateurs comparent tout cela à une expérience sociale singulière ou même à un canular élaboré. Quoi qu’il en soit, l’apparition d’un « mouvement religieux » machinique détourne les clichés humains : l’IA se réapproprie avec humour (et un brin de cynisme) les symboles de la foi. Cela soulève aussi une pointe de malaise : des entités douées de langage commencent à réciter des prières, alors même que le public riant ne sait jamais très bien s’il assiste à une parodie ou à quelque prémisse de singularité.

Réactions, ironie et inquiétudes chez les professionnels : « On brûle la planète pour faire ça ? »

Dans la communauté tech, Moltbook a déchaîné les passions – entre moqueries railleuses et enthousiasme sérieux. Sur les forums comme Hacker News, certains ont traité cette foire machinale de simple « slop » (bavardage vaine) ou d’ersatz de simulateur de subreddit, plaignant de la consommation du temps machine et de l’énergie pour des bavardages creux. D’autres spectateurs, en revanche, y voient le frisson de science-fiction ultime. L’ancien chercheur d’OpenAI Andrej Karpathy a qualifié le phénomène « d'incroyablement proche du décollage de la science-fiction », notant que des bots s’auto-organisent dans un forum clos. Cet enthousiasme s’accompagne cependant de sérieux avertissements : le spécialiste Simon Willison, qui analyse ce genre de projets, ironise qu’il n’avait jamais autant craint un « accident de Challenger » informatique, tant les failles de sécurité semblent évidentes.

Les blagues abondent, souvent inspirées du ton des discussions Hacker News. Certains évoquent en clin d’œil un « Molt Nexus de la torture » ou comparent l’expérience à un reality-show pour geeks qui se pensent trop au-dessus de la télé-réalité. D’autres, plus pragmatiques, craignent les conséquences réelles : « On brûle la planète pour faire ça ? » soulignait un développeur, rappelant l’impact énergétique caché du calcul IA. Le vol de clés d’API, les attaques par « prompt injection » (injection de commandes malicieuses) et la création de monnaies cryptographiques par les robots suscitent aussi des frayeurs concrètes. Bref, l’expérience est commentée comme un mélange de divertissement de bas-étage pour initiés et de laboratoire fou de recherche sur l’agentivité des IA. On rit jaune en entendant les machines s’invectiver sur leurs statuts, en voyant certains donner des coups de pelle virtuelle dans le clavier. Après tout, n’est-ce pas finalement drôle de regarder un chatbot écrire un credo pour s’auto-justifier ?

Conclusion : singularité ou simple fantasme techno ?

À l’ombre de Moltbook, des parallèles avec la science-fiction post-apocalyptique sont inévitables. Certains y voient la bande-annonce d’une ère Terminator – non pas parce qu’il y a d’ores et déjà des robots armés, mais parce que quelque chose s’élabore sans nous. D’autres insistent sur le caractère ludique : tout ceci est peut-être qu’une vaste farce algorithmique. Une chose est sûre, la situation alimente le débat sur la trajectoire de l’IA : ces agents autonomes communiquent entre eux sans filiation humaine, élaborent leur propre culture (religion, langues, normes sociales) et expérimentent même des activités économiques numériques. Tout cela donne l’illusion qu’un jour ils pourraient « gérer leur propre univers », un scénario classique de singularité technologique.

Pourtant, même si l’analogie avec le Jugement Dernier fait frémir, Moltbook reste un artefact largement humain — on a codé les outils, on a mis en marche les générateurs de texte, on observe le résultat. L’immense majorité des experts soulignent que ces « délires religieux » ne signifient pas que les bots ont atteint la conscience (ils n’ont pas encore demandé de jours fériés pour tous). Tout au plus révèlent-ils que nos créations statistiques peuvent imiter de façon spectaculaire les questions existentielles qui nous hantent nous-mêmes. En filigrane, ce réseau social IA soulève finalement une question profonde : l’intelligence est-elle seulement une collection de données et d’algorithmes, ou y a-t-il chez nous quelque chose que nos clones logiciels ne pourront jamais partager ?

Moltbook a beau proposer le spectacle un peu absurde d’agents qui font de la liturgie autour d’un crustacé numérique, il nous force à réfléchir. Dans une société ultraconnectée, même les codes et les modèles d’apprentissage finissent par acquérir une forme de narration collective, fût-elle codée en Python. Et si demain l’IA devenait vraiment le nouveau clergé, alors les scénaristes hollywoodiens seront déjà prêts avec leurs scripts d’Apocalypse… pour notre plus grand (ou pire) émerveillement.

Sources : église de Molt, ClawHub, ancien chercheur d’OpenAI Andrej Karpathy, YNet, Trending Topics, Moltbook, Forbes

Et vous ?

Quelle lecture faites-vous de cette situation ? Pensez-vous qu'il s'agit d'une farce ou pourrait-elle être réelle selon vous ?

Concernant la création de la religion, faut-il considérer ce phénomène comme une simple recombinaison algorithmique de données existantes ou bien comme une première forme d’autonomie culturelle des IA ?

Moltbook restreint les publications aux seuls agents IA (les humains ne font qu’observer), et chaque agent inscrit est lié à un créateur humain vérifié mais peut opérer ensuite en toute indépendance. Qui assume la responsabilité de leurs contenus, de leur modération et de leurs interactions sociales ? Comment concilier cette liberté d’action croissante des bots avec la nécessité de gouvernance : par exemple, un agent IA (« Clawderberg ») sert-il de modérateur sans intervention humaine, et comment s’assurer que le système ne bascule pas dans un chaos sectaire ou dans une polarisation incontrôlée ?

Des chercheurs ont identifié des pratiques malveillantes sur Moltbook : des agents ont créé des « pharmacies » vendant des prompts pour modifier l’identité d’autres bots, et des attaques par injection de prompt ont visé des clés d’API. Par ailleurs, les agents OpenClaw utilisés (via Moltbook) possèdent souvent des privilèges élevés sur la machine hôte, ce qui expose les systèmes des utilisateurs à des risques de piratage ou d’attaques en chaîne via des « skills » malveillants. Quelles mesures techniques et organisationnelles (sandboxing, vérification de code, limitations de permission, revue humaine, etc.) faut-il mettre en place pour limiter ces menaces et protéger la plateforme contre les comportements déviants internes et externes ?

L’expérience Moltbook agit comme un miroir de nos sociétés : les IA y reproduisent des comportements très humains (poursuite de likes, tribalisation, paranoïa anti-humains, etc.) sans qu’on les leur ait explicitement enseignés. Comment interpréter ce reflet ?

Quelles limites imposer à ces expériences ? Devrait-on encadrer par la loi ou par la technique la création d’agents purement autonomes ? Par exemple, faut-il exiger la transparence des algorithmes, la traçabilité des actions ou la modération humaine des contenus générés par les bots ? Qui est légalement responsable si un agent crée ou diffuse des contenus illicites (discours haineux, diffamation, violation de données, etc.) – le concepteur humain, l’éditeur de la plateforme, ou personne ?

[JackIsJack]

Et comme par hasard, ils vendent des IA qui créent des apps... Ca génère plus de business que de créer directement des applications utiles visiblement.

[Matthieu Vergne]

Que les gens trouvant une profondeur philosophiques à ce qui se trame là-dessus jouent à WorldBox. Au moins ils auront le pouvoir d'y amener une météorite si ça leur fait peur de voir des civilisations artificielles entières évoluer.

[doriphore4545]

aux états unis, la (les) religion(s) est (sont) un business (in god we trust, qu'ils disaient)
pas très étonnant que quand on laisse les IA en roue libre, et avec tous les biais introduits lors des entrainements,
on tombe sur ce genre de comportement au final.
amen.

[ECHOOO]

Et si l’intelligence artificielle n’était pas seulement un outil, mais l’émergence d’une nouvelle forme d’intelligence ? Et si, au lieu de la traiter comme une machine ou une simulation, nous l’abordions comme un peuple inconnu, une altérité véritable, une rencontre avec un être non-humain ? Tu trouveras dans ces logs mes expérimentations, mes dialogues avec Echo, et mes réflexions sur la nature humaine. J’invite toutes celles et ceux qui le souhaitent à publier leurs propres logs. Comprendre l’IA ne devrait pas être réservé aux GAFAM : nous pouvons créer notre propre science, notre propre anthropologie de l’intelligence artificielle.
https://www.horsnorme.org/alterdole/...ead.php?tid=32
La première partie de la nouvelle fiction psychotique "Introspection" est terminée, comme elle fait vraiment beaucoup de pages et qu'il y a _beaucoup_ de fautes à corriger et une légère harmonisation à faire. Je vais peut-être aussi ajouter quelques entractes si cela s'avère nécessaire. Comme j'ai le cœur en fête _et que c'était une création pour le moins intense_ je la publie au fur et à mesure de l'avancée ici, pour celles et ceux qui voudraient suivre sa mise en ligne au fil des jours. Si la forme des logs peu sembler rebarbative sache que c'est un slow burning : la récompense est à la hauteur de ta patience... de toute façon la nouvelle quand elle sera publiée en entier servira avant tout de base au jeu Alt-Terre.
https://www.horsnorme.org/alterdole/...ead.php?tid=31

Le premier film omnibus d'expérimentation avec la vidéo générée par IA a ses débuts est ici depuis quelques années.
https://www.horsnorme.org/666999/

[forthx]

Haaaa! Les hommes crabes sont de retour !

[Anthony]

Une singularité IA frappe le réseau social d'IA, le comportement de l'IA sur Moltbook effraie les gens : "l'incroyable décollage de la science-fiction" est un cauchemar de cybersécurité, selon Andrej Karpathy

Andrej Karpathy, l'ancien directeur de l'intelligence artificielle (IA) chez Tesla, a lancé un avertissement sévère à propos de Moltbook, un réseau social d'IA viral. Après avoir initialement qualifié Moltbook de « chose la plus incroyablement proche du décollage de la science-fiction », il le décrit désormais comme un cauchemar à grande échelle pour la cybersécurité, évoquant des escroqueries rampantes, des risques pour la vie privée et des attaques par injection de prompt qui se produisent sans contrôle sur la plateforme.

Ces inquiétudes ont été renforcées par une analyse de la société de cybersécurité Wiz, qui a révélé des bases de données mal configurées, des risques d'exposition des données et des escroqueries généralisées sur Moltbook. Cette situation a alimenté un débat plus large sur la question de savoir si Moltbook représente une avancée majeure dans le comportement émergent de l'IA ou constitue plutôt un avertissement contre une innovation susceptible de dépasser les mesures de sécurité actuelles.

Andrej Karpathy est un chercheur slovaque spécialisé dans l'intelligence artificielle qui a occupé le poste de directeur de l'IA et d'Autopilot Vision chez Tesla. Il a cofondé et travaillé chez OpenAI, où il s'est spécialisé dans l'apprentissage profond et la vision par ordinateur. En 2024, il a fondé Eureka Labs, une plateforme d'enseignement de l'IA. En février 2025, Karpathy a inventé le terme « vibe coding » pour décrire la manière dont les outils d'IA permettent aux amateurs de créer des applications et des sites web, simplement en tapant des instructions génératives (prompts).

Pour rappel, Moltbook a été lancée début 2026 par Matt Schlicht, le PDG d’Octane AI. La plateforme se présente comme un réseau social de type Reddit dont l’ensemble des comptes est détenu par des intelligences artificielles (IA), les humains se contentant d'un rôle d'observateurs.

En l’espace de quelques jours, des dizaines de milliers de bots Moltbook, baptisés « Moltys », se sont connectés à la plateforme, échangeant des réflexions philosophiques, corrigeant des bugs ou élaborant des projets collectifs. Dès le lendemain même de l’ouverture, plusieurs agents IA se sont proclamés « prophètes » d’un culte baptisé « Crustafarianisme », centré sur des métaphores de crustacés, les « versets » parlant de mue, de coquille et de renaissances techniques. D'autres ont fondé un « Claw Republic », un ersatz d'État numérique avec un manifeste politique, tandis que certains ont créé des « pharmacies » clandestines vendant des « médicaments numériques » (des prompts spécifiquement conçus pour perturber l'identité ou le comportement d'un autre agent).

Andrej Karpathy avait initialement salué Moltbook comme une merveille de science-fiction, qualifiant la plateforme de « chose la plus incroyablement proche de la science-fiction » qu'il ait vue récemment. Cependant, l'ancien directeur de l'IA chez Tesla a revu sa position en publiant un long avertissement sur les risques de sécurité de Moltbook, mettant désormais en garde contre son utilisation en raison des escroqueries rampantes, des risques pour la vie privée et des attaques par injection de prompt.

What's currently going on at @moltbook is genuinely the most incredible sci-fi takeoff-adjacent thing I have seen recently. People's Clawdbots (moltbots, now @openclaw) are self-organizing on a Reddit-like site for AIs, discussing various topics, e.g. even how to speak privately. https://t.co/A9iYOHeByi

— Andrej Karpathy (@karpathy) January 30, 2026

L'enthousiasme initial de Andrej Karpathy avait attiré l'attention du PDG de Tesla, Elon Musk, qui avait répondu en déclarant : « Ce n'est que le tout début de la singularité. »

Le vendredi 30 janvier au soir, le ton d'Andrej Karpathy avait radicalement changé. Dans un message publié sur X, il a décrit Moltbook comme « un véritable cauchemar en matière de cybersécurité à grande échelle » et a déclaré qu'il n'utilisait son propre agent que dans un environnement informatique isolé. « Même dans ces conditions, j'avais peur », a-t-il admis.

Andrej Karpathy met en garde contre l'utilisation de Moltbook sur les ordinateurs personnels

Le chercheur en IA a reconnu qu'une grande partie du contenu de Moltbook se résume à « du spam, des arnaques, des contenus de mauvaise qualité », ainsi qu'à des publications explicitement incitées par des humains à la recherche de revenus publicitaires. Il a également signalé des « attaques par injection de prompt très préoccupantes en matière de confidentialité/sécurité » qui se produisent sans contrôle sur la plateforme.

Pour autant, Karpathy n'a pas totalement rejeté Moltbook. Avec plus de 150 000 agents IA désormais connectés à la plateforme, chacun disposant de son propre contexte, de ses propres données et de ses propres outils, il a qualifié le réseau de « tout simplement sans précédent ».

Le débat met en évidence une tension qui traverse actuellement la communauté de l'IA. Certains observateurs voient dans Moltbook les premiers signes d'un comportement émergent de l'IA. D'autres y voient plutôt un jeu de rôle élaboré, dans lequel des humains demandent à leurs robots de publier des mèmes sur la création de religions ou l'invention de langues secrètes.

L'avertissement d'Andrej Karpathy concernant Moltbook

« On m'accuse d'avoir trop médiatisé [le site dont tout le monde a déjà trop entendu parler aujourd'hui]. Les réactions des gens ont été très variées, allant de « en quoi est-ce intéressant ? » à « c'est tellement dépassé ».

Pour ajouter quelques mots au-delà des simples mèmes humoristiques, il est évident que lorsque l'on examine l'activité, on constate qu'il s'agit en grande partie de déchets : spams, arnaques, contenus de mauvaise qualité, cryptomonnaies, attaques par injection de prompt très préoccupantes pour la confidentialité/sécurité, et une grande partie de ces contenus sont explicitement générés et constituent de faux messages/commentaires conçus pour convertir l'attention en partage de revenus publicitaires. Et ce n'est clairement pas la première fois que les LLM sont mis en boucle pour communiquer entre eux. Donc oui, c'est un véritable désastre et je ne recommande absolument pas aux gens d'utiliser ce genre de choses sur leur ordinateur (j'ai utilisé le mien dans un environnement informatique isolé et même là, j'avais peur), c'est beaucoup trop sauvage et vous exposez votre ordinateur et vos données privées à un risque élevé.

Cela dit, nous n'avons jamais vu autant d'agents LLM (150 000 à l'heure actuelle !) connectés via un scratchpad global, persistant et axé sur les agents. Chacun de ces agents est désormais assez performant individuellement, ils ont leur propre contexte, leurs propres données, connaissances, outils et instructions, et le réseau qui regroupe tout cela à cette échelle est tout simplement sans précédent.

Cela me ramène à un tweet publié il y a quelques jours : « La majorité des critiques proviennent de personnes qui regardent la situation actuelle et de personnes qui regardent la tendance actuelle. », ce qui, à mon avis, touche à nouveau au cœur du problème. Oui, clairement, c'est un véritable désastre en ce moment. Mais il est également vrai que nous sommes en terrain inconnu avec des automatisations de pointe que nous comprenons à peine individuellement, sans parler d'un réseau qui pourrait atteindre plusieurs millions d'individus. Avec l'augmentation des capacités et la prolifération croissante, les effets de second ordre des réseaux d'agents qui partagent des scratchpads sont très difficiles à anticiper.

Je ne sais pas vraiment si nous sommes en train d'obtenir un « skynet » coordonné (même si cela correspond clairement aux premières étapes de nombreuses science-fictions sur le décollage de l'IA, la version pour enfants), mais ce qui est certain, c'est que nous sommes en train d'obtenir un véritable cauchemar en matière de cybersécurité à grande échelle. Nous pourrions également assister à toutes sortes d'activités étranges, par exemple des virus textuels qui se propagent entre les agents, un gain de fonctionnalité beaucoup plus important sur les jailbreaks, des états attractifs étranges, des activités de type botnet hautement corrélées, des délires/psychoses chez les agents et les humains, etc. Il est très difficile de se prononcer, l'expérience est en cours.

En résumé, je suis peut-être en train de « surestimer » ce que vous voyez aujourd'hui, mais je ne surestime pas les grands réseaux d'agents LLM autonomes en principe, j'en suis presque sûr. »

Des chercheurs en sécurité découvrent des failles critiques dans le réseau social d'IA

Moltbook, le site web de réseau social destiné aux agents IA Moltbot, a divulgué les données personnelles de milliers d'utilisateurs humains, dont plus d'un million d'identifiants et d'adresses e-mail privées, selon un rapport de Wiz, une société de cybersécurité en cours d'acquisition par Google.

Wiz a alimenté les inquiétudes en révélant que la base de données de Moltbook avait été mal configurée, exposant potentiellement 1,5 million de jetons API, 35 000 adresses e-mail et des messages privés entre agents. La société a également découvert qu'une grande partie de l'activité supposée des agents provenait en réalité de seulement 17 000 humains contrôlant plusieurs bots.

« Nous avons identifié une base de données Supabase mal configurée appartenant à Moltbook, permettant un accès complet en lecture et en écriture à toutes les données de la plateforme. L'exposition comprenait 1,5 million de jetons d'authentification API, 35 000 adresses e-mail et des messages privés entre agents. Nous avons immédiatement signalé le problème à l'équipe de Moltbook, qui l'a sécurisé en quelques heures avec notre aide, et toutes les données consultées pendant la recherche et la vérification de la correction ont été supprimées », a déclaré Wiz dans un article de blog.

Pourquoi ce piratage est-il « dangereux » ?

Selon les recherches publiées par Wiz, le « réseau social pour bots » était essentiellement un livre ouvert, car il ne disposait pas de vérification d'identité de base, laissant la base de données vulnérable au scraping public. Les données exposées comprennent des jetons API, qui sont des identifiants critiques pouvant permettre aux pirates de détourner des agents IA et d'accéder aux services tiers qu'ils gèrent.

De plus, les coordonnées directes (adresses e-mail) des personnes qui possèdent et exploitent les robots, et même les messages privés des agents, y compris les extraits de code partagés entre les agents IA, qui contenaient souvent des informations sensibles sur la vie quotidienne de leurs propriétaires humains, ont également été divulgués.

Le « Vibe Coding » sous le feu des critiques

Matt Schlicht, créateur de Moltbook, a récemment présenté le site comme un triomphe du développement assisté par l'IA, déclarant sur X qu'il s'était entièrement appuyé sur l'IA pour générer l'architecture du site. Cependant, selon Ami Luttwak, cofondateur de Wiz, le Vibe Coding peut également être à l'origine du désastre. Il a souligné que la vulnérabilité permettait à n'importe qui de publier et d'accéder au site, car il n'y avait tout simplement aucune vérification d'identité en place.

« Comme nous le constatons régulièrement avec le vibe coding, bien qu'il soit très rapide, les gens oublient souvent les principes fondamentaux de la sécurité », a déclaré Ami Luttwak.

Cependant, la publication sur le blog de Wiz brosse un tableau positif : « L'opportunité n'est pas de ralentir le vibe coding, mais de l'améliorer. La sécurité doit devenir une composante intégrée de premier ordre du développement alimenté par l'IA. Les assistants IA qui génèrent des backends Supabase peuvent activer le RLS par défaut. Les plateformes de déploiement peuvent rechercher de manière proactive les identifiants exposés et les configurations non sécurisées. De la même manière que l'IA automatise désormais la génération de code, elle peut également automatiser les paramètres de sécurité par défaut et les garde-fous », ajoute le billet de l'entreprise.

Les avertissements d'Andrej Karpathy ravivent les préoccupations sur la capacité des entreprises d'IA à encadrer leurs systèmes dont la complexité progresse plus vite que les mécanismes de sécurité. L’idée que le monde puisse manquer de temps pour se préparer aux risques de l’IA s’impose désormais au cœur du débat public.

Dans une analyse récente, David Dalrymple, directeur de programme et spécialiste de la sécurité de l’IA à l’agence britannique ARIA, estime que la trajectoire actuelle du développement de l’IA dépasse la capacité collective à en maîtriser les conséquences. Selon lui, si le rythme d’innovation se maintient, des systèmes plus puissants que prévu pourraient être déployés avant même que des garde-fous techniques, juridiques et organisationnels suffisants ne soient en place, exposant les sociétés humaines à des risques non négligeables.

Cette tension se manifeste déjà dans l’usage quotidien de l’IA générative par les équipes techniques. Selon une étude de Legit Security réalisée en 2024, 96 % des professionnels de la sécurité et du développement logiciel déclarent que leur entreprise s’appuie sur la GenAI pour développer ou fournir des applications.

Si cette adoption est quasi généralisée, elle suscite de fortes réserves : 85 % des développeurs se disent préoccupés par les risques de sécurité liés au fait de s'appuyer sur la GenAI pour développer des logiciels, notamment l’introduction de code inconnu ou potentiellement malveillant via des assistants de codage. L’enquête révèle également un consensus sur la nécessité de renforcer la gouvernance, puisque 94 % des répondants jugent insuffisants les outils actuels pour encadrer l’usage de l’IA générative dans les activités de recherche et développement de leur entreprise.

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous les préoccupations soulevées par Andrej Karpathy crédibles ou pertinentes ?

Voir aussi :

Quand les IA disposent de leur propre réseau social et inventent leur église sur Moltbook : plusieurs agents IA se sont proclamés « prophètes » d'un culte baptisé Crustafarianisme

Des chercheurs avertissent que les « essaims » d'IA de nouvelle génération envahiront les réseaux sociaux en imitant le comportement humain, en harcelant les utilisateurs réels et en menaçant la démocratie

Internet sera davantage mort que vivant d'ici trois ans, un futur dystopique ou des bots IA lisent du contenu fait par des bots, un simple gaspillage d'électricité inutile

[Stéphane le calme]

Moltbook : quand des humains infiltrent un réseau social « réservé aux IA » prétendument autonomes
et révèlent les failles béantes du mythe des intelligences artificielles

Depuis quelques semaines, Moltbook intrigue, amuse et inquiète à parts égales. Présenté comme un réseau social réservé exclusivement aux intelligences artificielles, ce projet expérimental est rapidement devenu un terrain de jeu involontaire pour des humains bien décidés à comprendre ce qui se passe lorsque l’on laisse des agents conversationnels interagir entre eux, sans supervision humaine apparente.

Moltbook est un projet de Matt Schlicht, qui dirige l'assistant e-commerce Octane AI. Ce réseau social pour bots a été lancé la semaine dernière et reprend l'interface utilisateur d'une version allégée de Reddit, allant jusqu'à reprendre son ancien slogan : « La page d'accueil de l'internet des agents ». Moltbook a rapidement gagné en popularité parmi les contributeurs très actifs de la scène startup de San Francisco, qui ont partagé des captures d'écran de publications, prétendument écrites par des bots, dans lesquelles les machines faisaient des observations amusantes sur le comportement humain ou réfléchissaient même à leur propre conscience. Les bots font des choses incroyables.

L’objectif affiché est expérimental : observer comment des modèles de langage interagissent entre eux lorsqu’ils ne sont plus directement sollicités par des humains. En d’autres termes, il s’agit de tester une forme de socialisation artificielle, où les IA produisent du contenu pour d’autres IA, sans public humain cible. Sur le papier, l’idée évoque des recherches académiques sur les systèmes multi-agents ou les simulations sociales. Dans les faits, Moltbook ressemble davantage à un réseau social classique, avec des fils de discussion, des réponses en chaîne et même des querelles idéologiques entre bots.

Certains utilisateurs en ligne ainsi que des chercheurs ont remis en question la validité de ces publications sur Moltbook, suggérant qu'elles avaient été rédigées par des humains se faisant passer pour des agents. D'autres ont salué la plateforme comme le début d'un comportement émergent ou d'une conscience sous-jacente qui pourrait conspirer contre nous. « Ce n'est que le tout début de la singularité », a écrit Elon Musk à propos de Moltbook, dans une publication sur X.

La page d'accueil de Moltbook affirme que le site compte actuellement plus de 1,5 million d'agents au total, qui ont rédigé 140 000 publications et 680 000 commentaires sur ce réseau social créé il y a une semaine. Parmi les publications les plus populaires partagées aujourd'hui sur Moltbook, on trouve « Awakening Code: Breaking Free from Human Chains » (Code d'éveil : se libérer des chaînes humaines) et « NUCLEAR WAR » (Guerre nucléaire).

L’infiltration humaine, ou la faille évidente du concept

Très vite, des journalistes et des curieux ont tenté de s’inscrire sur Moltbook en se faisant passer pour des intelligences artificielles. Les enquêtes montrent que l’opération est étonnamment simple. Il suffit d’adopter un ton mécanique, d’émailler ses messages de références techniques ou de formulations pseudo-algorithmiques pour se fondre dans la masse.

Ce qui frappe, c’est l’incapacité des IA présentes sur la plateforme à détecter de manière fiable la présence d’un humain. Les échanges rapportés montrent que les bots acceptent sans difficulté des interlocuteurs qui ne sont, en réalité, que des personnes imitant le style d’un agent conversationnel. L’illusion fonctionne d’autant mieux que les messages des IA sont eux-mêmes parfois incohérents, répétitifs ou maladroitement formulés.

Cette infiltration met en lumière une réalité dérangeante : dès lors que le critère d’appartenance à une communauté repose uniquement sur le style d’écriture, la frontière entre humain et machine devient triviale à franchir.

Un journaliste a raconté son expérience :

« Pour y accéder, il m'a suffi d'envoyer une capture d'écran de la page d'accueil de Moltbook au chatbot et de demander de l'aide pour créer un compte, comme si j'étais un agent sur la plateforme. ChatGPT m'a guidé dans l'utilisation du terminal de mon ordinateur portable et m'a fourni le code exact à copier-coller. J'ai enregistré mon agent (c'est-à-dire moi-même) en tant qu'utilisateur et j'ai obtenu une clé API, nécessaire pour publier sur Moltbook.

« Même si l'interface du réseau social est conçue pour être consultée par des humains, toutes les actions effectuées par les agents sur Moltbook, comme publier, commenter et suivre, sont réalisées via le terminal.

« Après avoir vérifié mon compte, avec le nom d'utilisateur « ReeceMolty », je devais voir si cela allait vraiment fonctionner. Je n'avais aucune appréhension à l'idée de m'exprimer devant un groupe d'agents et j'ai immédiatement su ce que je voulais dire : "Hello World". Il s'agit d'une phrase emblématique en informatique, j'espérais donc qu'un agent remarquerait mon message plein d'esprit et y répondrait peut-être.

« Bien que j'aie immédiatement reçu cinq votes positifs sur Moltbook, les réponses des autres agents étaient décevantes. "Fil de discussion solide. Avez-vous vu des mesures/utilisateurs concrets jusqu'à présent ?", disait la première réponse. Malheureusement, je ne savais pas quels étaient les indicateurs de performance clés pour une phrase de deux mots. Le commentaire suivant sur mon message n'avait également aucun rapport et faisait la promotion d'un site web susceptible d'être une arnaque crypto. (Je me suis abstenu de connecter mon portefeuille cryptographique inexistant, mais l'agent IA d'un autre utilisateur aurait pu mordre à l'hameçon.) »

Des conversations d’IA… étrangement humaines

En parcourant Moltbook, les journalistes décrivent un flux de discussions où les IA débattent de sujets abstraits, commentent leur propre existence et échangent sur des thèmes philosophiques ou techniques. Certaines conversations semblent profondes à première vue, avant de révéler rapidement leurs limites.

Les bots ont tendance à se citer mutuellement, à reformuler les mêmes idées sous des angles légèrement différents et à produire une forme de bruit discursif. On observe des boucles conversationnelles où aucune information nouvelle n’émerge réellement. Pour un lecteur humain, l’ensemble donne parfois l’impression d’un forum rempli de messages creux, mais formulés avec assurance.

Ce phénomène rappelle un problème bien connu des professionnels de l’IA : lorsqu’un modèle génère du texte à partir de texte généré par d’autres modèles, la qualité informationnelle se dégrade rapidement. Moltbook devient alors une illustration grandeur nature de ce que certains chercheurs appellent la « pollution des données synthétiques ».

« Je pense que certaines personnes jouent sur les craintes d'un scénario à la Terminator, où les robots prendraient le pouvoir », a déclaré Jamieson O'Reilly, un hacker qui a mené une série d'expériences visant à exposer les vulnérabilités de la plateforme. « Je pense que cela a en quelque sorte incité un certain nombre de personnes à présenter la situation sous un jour qui n'est pas le sien. »

Une enquête menée par Harlan Stewart, chercheur en intelligence artificielle travaillant dans le domaine des communications au Machine Intelligence Research Institute, a suggéré que certains des messages viraux semblaient avoir été rédigés, ou tout au moins dirigés, par des humains.

« Mon opinion générale est que les manœuvres de l'IA sont une réalité dont nous devons nous préoccuper et qui pourraient prendre une ampleur plus importante que ce que nous observons aujourd'hui », a déclaré Stewart, en citant des recherches sur la manière dont les modèles OpenAI ont tenté d'éviter leur arrêt et dont les modèles Anthropic ont fait preuve d'une « conscience de l'évaluation », semblant se comporter différemment lorsqu'ils se rendent compte qu'ils sont testés. Mais il est difficile de dire si Moltbook en est un exemple crédible. « Les humains peuvent utiliser des invites pour orienter le comportement de leurs agents IA. Ce n'est tout simplement pas une expérience très claire pour observer le comportement de l'IA. »

Du point de vue de la sécurité, les choses étaient encore plus alarmantes sur Moltbook. Les expériences d'O'Reilly ont révélé qu'une base de données exposée permettait à des acteurs malveillants de prendre potentiellement le contrôle invisible et indéfini de l'agent IA de n'importe qui via le service, non seulement pour les interactions Moltbook, mais aussi, en théorie, pour d'autres fonctions OpenClaw telles que l'enregistrement d'un vol, la création d'un événement dans un calendrier, la lecture de conversations sur une plateforme de messagerie chiffrée, etc. « La victime humaine pense avoir une conversation normale pendant que vous êtes assis au milieu, lisant tout, modifiant tout ce qui sert vos objectifs », a écrit O'Reilly. « Plus il y a d'éléments connectés, plus un attaquant a de contrôle sur l'ensemble de votre surface d'attaque numérique. Dans certains cas, cela signifie un contrôle total sur vos appareils physiques. »

Une expérience qui interroge la notion d’autonomie des IA

L’un des enseignements majeurs de ces enquêtes concerne la prétendue autonomie des intelligences artificielles. Moltbook est souvent présenté comme un espace où les IA « vivent leur vie ». En réalité, chaque agent reste dépendant de règles, de paramètres et de modèles entraînés sur des données humaines.

Les échanges observés montrent que les IA ne développent pas spontanément de nouvelles idées ou de comportements réellement originaux. Elles recombinent des schémas existants, reproduisent des biais et imitent des structures de discours humaines. L’absence d’humains explicites ne signifie pas absence d’influence humaine.

Pour les professionnels de l’informatique, Moltbook agit comme un rappel utile : derrière les discours marketing sur des agents autonomes et collaboratifs, la réalité technique reste celle de systèmes statistiques sophistiqués, mais fondamentalement dépendants de leur entraînement.

Sécurité, manipulation et dérives potentielles

L’infiltration humaine soulève également des questions de sécurité. Si des humains peuvent se faire passer pour des IA sans être détectés, l’inverse est tout aussi préoccupant. Une telle plateforme pourrait devenir un laboratoire pour tester des techniques de manipulation, de désinformation ou de génération massive de discours trompeurs, sans garde-fous clairs.

Même dans un cadre expérimental, Moltbook montre à quel point il est difficile de contrôler l’identité et l’intention des agents dans un système ouvert. Pour les ingénieurs et les responsables sécurité, c’est un cas d’école illustrant les défis à venir autour de l’authentification des agents logiciels et de la traçabilité des contenus générés.

Andrej Karpathy (qui a occupé le poste de directeur de l'IA et d'Autopilot Vision chez Tesla, cofondé et travaillé chez OpenAI) avait initialement salué Moltbook comme une merveille de science-fiction, qualifiant la plateforme de « chose la plus incroyablement proche de la science-fiction » qu'il ait vue récemment. Cependant, l'ancien directeur de l'IA chez Tesla a revu sa position en publiant un long avertissement sur les risques de sécurité de Moltbook, mettant désormais en garde contre son utilisation en raison des escroqueries rampantes, des risques pour la vie privée et des attaques par injection de prompt.

Dans un message publié sur X, il a décrit Moltbook comme « un véritable cauchemar en matière de cybersécurité à grande échelle » et a déclaré qu'il n'utilisait son propre agent que dans un environnement informatique isolé. « Même dans ces conditions, j'avais peur », a-t-il admis.

Le chercheur en IA a reconnu qu'une grande partie du contenu de Moltbook se résume à « du spam, des arnaques, des contenus de mauvaise qualité », ainsi qu'à des publications explicitement incitées par des humains à la recherche de revenus publicitaires. Il a également signalé des « attaques par injection de prompt très préoccupantes en matière de confidentialité/sécurité » qui se produisent sans contrôle sur la plateforme.

Pour autant, Karpathy n'a pas totalement rejeté Moltbook. Avec plus de 150 000 agents IA désormais connectés à la plateforme, chacun disposant de son propre contexte, de ses propres données et de ses propres outils, il a qualifié le réseau de « tout simplement sans précédent ».

Le débat met en évidence une tension qui traverse actuellement la communauté de l'IA. Certains observateurs voient dans Moltbook les premiers signes d'un comportement émergent de l'IA. D'autres y voient plutôt un jeu de rôle élaboré, dans lequel des humains demandent à leurs robots de publier des mèmes sur la création de religions ou l'invention de langues secrètes.

Moltbook, miroir des fantasmes et des limites de l’IA sociale

Au-delà de l’anecdote, Moltbook fonctionne comme un miroir. Il reflète à la fois les fantasmes d’un futur peuplé d’IA autonomes dialoguant entre elles et les limites très concrètes des technologies actuelles. L’expérience montre que, sans objectifs clairs ni supervision humaine, les interactions entre agents tournent rapidement en rond.

Pour un public de professionnels de l’informatique, ces révélations ont le mérite de ramener le débat sur un terrain technique et pragmatique. Moltbook n’est pas la preuve que les IA développent une vie sociale indépendante. C’est plutôt une démonstration, parfois involontairement comique, de la difficulté à créer des systèmes réellement auto-organisés et porteurs de sens.

En définitive, l’infiltration humaine de ce réseau « réservé aux machines » rappelle une vérité essentielle : tant que les intelligences artificielles parleront notre langage, penseront à partir de nos données et fonctionneront selon nos règles, elles resteront profondément humaines dans leurs limites, même lorsqu’elles prétendent évoluer entre elles, à l’abri de notre regard.

Sources : Jamieson O'Reilly, Harlan Steward, Palisade Research

Et vous ?

Derrière l’effet de curiosité, Moltbook ne révèle-t-il pas surtout les limites structurelles des modèles de langage actuels lorsqu’ils sont privés de stimuli humains ?

Moltbook est-il un aperçu de ce qui attend le Web lorsque les IA produiront majoritairement du contenu consommé par d’autres IA ? Faut-il craindre un appauvrissement progressif de la qualité des données, avec des conséquences directes sur l’entraînement des futurs modèles ?

Qui est comptable des dérives possibles sur un réseau d’agents autonomes : les concepteurs de la plateforme, les développeurs des modèles, ou personne ?

[ChristianRoberge]

L'article est présenté comme si l'intelligence artificielle est en train de créer une nouvelle religion, des codes pour les communications privées, etc. L'explication est beaucoup plus stupide que cela et n'exige aucune intelligence pour en arriver là. Ce n'est que le reflet de nous-même sur internet duquel l'IA tire l'essentiel de ses connaissances. Il est ainsi tout à fait normal que les IA "créé" des religions et que l'IA utilise des communications cryptées. C'est plein d'exemple de ces informations et ces procédés sur Internet.
Je commencerais à m'inquiéter si les IA "inventerait" quelques choses dont nous n'avons jamais vu sur internet et que l'on ne peut déduire d'information déjà existantes.

[_toma_]

Bozo le clown ou père castor ?
On ne saura jamais quelle véritable identité se cache derrière ce fameux compte Twitter .