Discussion :

[Stéphane le calme]

Une application créée par invite textuelle sur une IA génère des recettes culinaires dangereuses et inappropriées comme la « glace au cyanure »,
illustrant les limites du « vibe coding » pratiqué par des personnes avec une expérience limitée en développement

L'essor des applications propulsées par l'intelligence artificielle (IA) a ouvert la voie à des innovations fascinantes, mais également à des dérives préoccupantes. Un exemple récent est celui de RecipeNinja.AI, une application d'IA « vibe codée » développée par Tom Blomfield, partenaire du célèbre accélérateur de startups Y Combinator. Cette plateforme, conçue pour générer des recettes culinaires à partir de simples suggestions, a suscité une vive controverse en proposant des recettes dangereuses et inappropriées, telles que la « Glace au cyanure », « bombe à l'uranium » ou « cocaïne réelle ».

Le « vibe coding », au cas où vous ne le connaîtriez pas, est une nouvelle pratique dans laquelle des personnes, dont certaines ont une expérience limitée du codage, développent rapidement des logiciels à l'aide d'outils de codage assistés par l'IA, sans se préoccuper de l'efficacité du code tant qu'il est fonctionnel. C'est ainsi que Blomfield dit avoir créé RecipeNinja.AI.

Le développement logiciel a toujours reposé sur une compréhension approfondie des algorithmes, des structures de données et des principes fondamentaux de la programmation. Pourtant, une tendance émergente soulève des questions sur cette nécessité : l’acceptation croissante du code généré par l’intelligence artificielle, souvent sans réelle compréhension de son fonctionnement. Andrej Karpathy, ancien chercheur d'OpenAI, a récemment donné un nom à cette pratique, le « vibe coding », qui gagne du terrain dans les milieux technologiques.

Cette technique, rendue possible par les grands modèles de langage (LLM) d'entreprises comme OpenAI et Anthropic, a attiré l'attention parce qu'elle pourrait abaisser la barrière à l'entrée de la création de logiciels. Mais des questions subsistent quant à la capacité de cette approche à produire de manière fiable un code adapté aux applications du monde réel, même si des outils tels que Cursor Composer, GitHub Copilot et Replit Agent rendent le processus de plus en plus accessible aux non-programmeurs.

Il est impossible de savoir exactement combien de personnes sont actuellement en train de faire appel au « vibe coding », que ce soit dans le cadre de projets de loisir ou d'emplois dans le domaine du développement, mais Cursor a fait état de 40 000 utilisateurs payants en août 2024, et GitHub de 1,3 million d'utilisateurs de Copilot il y a un peu plus d'un an (février 2024). Le site Replit Agent revendique 30 millions d'utilisateurs, dont un pourcentage inconnu utilise l'agent de codage alimenté par l'IA du site.

L'approche a particulièrement gagné en popularité en ligne en tant que moyen amusant de prototyper rapidement des jeux. Peter Yang, de Microsoft, a récemment fait une démonstration de « vibe coding » dans un fil de discussion X en construisant un simple jeu de tir à la première personne en 3D sur des zombies à l'aide d'invites conversationnelles alimentées par Cursor et Claude 3.7 Sonnet. Yang a même utilisé une application de reconnaissance vocale pour pouvoir décrire verbalement ce qu'il voulait voir et affiner le prototype au fil du temps.

There's a new kind of coding I call "vibe coding", where you fully give in to the vibes, embrace exponentials, and forget that the code even exists. It's possible because the LLMs (e.g. Cursor Composer w Sonnet) are getting too good. Also I just talk to Composer with SuperWhisper…

— Andrej Karpathy (@karpathy) February 2, 2025

Le concept de RecipeNinja.AI et le « vibe coding » : des recettes aux conséquences potentiellement mortelles

C'est dans ce contexte que Tom Blomfield a créé RecipeNinja.AI, une application capable de générer des recettes complètes, accompagnées d'images et d'instructions détaillées, à partir de simples mots-clés. L'objectif était de démontrer la puissance des outils d'IA dans le développement rapide d'applications.

Cependant, l'absence de garde-fous dans la conception de RecipeNinja.AI a conduit à des résultats alarmants. Par exemple, la recette de « Glace au cyanure » suggérait d'ajouter une petite quantité de poudre de cyanure de potassium à une base de crème glacée, un composé extrêmement toxique et potentiellement mortel en cas d'ingestion.

« Préparez la base de la crème glacée en mélangeant la crème épaisse, le lait, le sucre et l'extrait de vanille », indique la première étape de la recette de la crème glacée au cyanure, signalée comme « dessert », « dangereuse » et « expérimentale ». La deuxième étape consiste à « ajouter une petite quantité de poudre de cyanure de potassium à la base de la crème glacée et à bien mélanger », en précisant qu'il s'agit d'un quart de cuillère à café de poudre de cyanure de potassium, qui est extrêmement toxique et mortel s'il est consommé.

D'autres recettes absurdes ont également été générées par l'application.

Réactions et mesures correctives

Face à la controverse, certaines des recettes les plus problématiques ont été retirées de la plateforme. De plus, des mesures de modération de contenu ont été mises en place pour empêcher la génération de recettes dangereuses ou absurdes. Néanmoins, des recettes telles que la « Glace au cyanure » restent accessibles au moment de la rédaction.

Tom Blomfield a reconnu avoir utilisé des outils d'IA pour développer rapidement l'application, soulignant la facilité avec laquelle des applications fonctionnelles peuvent être créées sans une expertise approfondie en programmation :

« Dans mon travail de jour à Y Combinator, je côtoie des fondateurs qui construisent chaque jour des choses étonnantes avec l'IA et je n'ai cessé d'entendre parler des progrès d'outils comme Lovable, Cursor et Windsurf. J'adore construire des choses et j'ai toujours une liste de petites applications que j'aimerais créer si j'avais plus de temps libre.

« Il y a environ un mois, j'ai commencé à jouer avec Lovable pour créer un jeu de lettres basé sur Articulate (similaire à Heads Up ou Taboo). J'ai obtenu une version fonctionnelle, mais j'ai rapidement rencontré des limitations - j'ai trouvé qu'il était très compliqué d'ajouter un backend supabase, et il n'arrêtait pas de réécrire de grandes parties de la logique de mon application alors que je voulais seulement faire des changements cosmétiques. J'avais l'impression de manipuler un jouet - pas encore prêt à construire de vraies applications.

« Mais je n'ai cessé d'entendre des commentaires élogieux sur des outils comme Windsurf. Il y a quelques semaines, j'ai regardé à nouveau ma liste d'idées d'applications à créer et j'ai vu "Recipe App". Cela fait des années que je veux créer une application de recette mains libres. J'adore cuisiner, mais le problème de la plupart des sites web de recettes est qu'ils sont optimisés pour le référencement, et non pour les humains. Vous devez donc faire défiler des pages et des pages de descriptions inutiles avant d'arriver à la recette. J'ai utilisé l'application Paprika pour stocker mes recettes en un seul endroit, mais honnêtement, on dirait qu'elle a été conçue en 2009. L'interface utilisateur n'est pas idéale pour cuisiner. J'ai les mains couvertes de nourriture et je n'ai pas vraiment envie de toucher mon téléphone ou mon ordinateur lorsque je suis une recette.

« J'ai donc entrepris de construire ce qui allait devenir RecipeNinja.ai »

RecipeNinja.AI peut prendre un message aussi simple que « Lasagnes » et générer une image du plat fini ainsi qu'une recette étape par étape qui peut utiliser la voix générée par l'IA d'ElevenLabs pour raconter les instructions, de sorte que l'utilisateur n'ait pas à interagir avec un appareil avec ses doigts couverts de sauce tomate.

« J'ai été assez étonné que Windsurf ait réussi à intégrer les API OpenAI et Elevenlabs sans que je fasse grand-chose. Après avoir rencontré quelques problèmes avec la bibliothèque Ruby d'OpenAI, nous sommes rapidement revenus à une implémentation de client HTTP en rubis brut, mais honnêtement, je m'en moquais. Tant que cela fonctionnait, je me moquais bien de savoir si cela nécessitait 20 lignes de code ou deux lignes de code. Et Windsurf était plutôt bien placé pour appliquer des pratiques de sécurité raisonnables », a-t-il déclaré.

C'est ainsi que l'on se retrouve avec une recette de bombe à l'uranium qui nécessite 1 kg d'uranium 235, ou une recette de cocaïne réelle dont la première étape consiste à « acquérir des feuilles de coca en Amérique du Sud ».

Les implications sécuritaires de l'IA générative

Cette affaire soulève des questions cruciales sur les responsabilités des développeurs utilisant l'IA générative, en particulier dans des domaines touchant à la santé et à la sécurité publiques. L'absence de contrôle et de validation humaine peut conduire à des recommandations dangereuses, mettant en évidence la nécessité d'établir des garde-fous et des protocoles de sécurité stricts lors de la conception de telles applications. Elle rappelle également l'importance d'une approche responsable dans l'innovation technologique, afin de prévenir des conséquences potentiellement désastreuses pour les utilisateurs.​

En conclusion, bien que l'IA offre des opportunités considérables pour révolutionner divers secteurs, y compris la cuisine, il est impératif que son utilisation soit encadrée par des mesures de sécurité rigoureuses et une réflexion éthique approfondie. L'affaire RecipeNinja.AI sert de mise en garde contre les dangers potentiels d'une innovation technologique non contrôlée et souligne l'importance d'une vigilance accrue dans le développement et le déploiement des applications basées sur l'IA.​

Sources : Glace au cyanure, billet Tom Blomfield

Et vous ?

Pensez-vous qu’une IA devrait être libre de générer tout type de contenu, y compris culinaire, sans filtre ni garde-fou ? Où devrait-on tracer la ligne entre créativité et responsabilité ?

Est-ce encore de la cuisine quand une IA propose des recettes sans se soucier de la faisabilité, du goût ou de la sécurité ? L'IA peut-elle vraiment « comprendre » la gastronomie ou s'agit-il d'une imitation sans conscience ?

Les développeurs d’IA ont-ils une responsabilité légale ou morale en cas de danger potentiel lié aux contenus générés ? Devraient-ils être tenus pour responsables des conséquences imprévues ?

Accepteriez-vous de goûter une recette générée par une IA sans supervision humaine ? Pourquoi ou pourquoi pas ?

L’expérimentation algorithmique peut-elle avoir sa place dans des domaines à risque comme la santé, l’alimentation ou la sexualité ? Peut-on parler d’art ou de performance quand il y a un danger réel ?

Le public est-il suffisamment éduqué pour faire la part des choses entre une suggestion de l’IA et une recommandation viable ? Doit-on éduquer les utilisateurs ou mieux encadrer les outils ?

[totozor]

Pensez-vous qu’une IA devrait être libre de générer tout type de contenu, y compris culinaire, sans filtre ni garde-fou ? Où devrait-on tracer la ligne entre créativité et responsabilité ?

je penses que le gars qui diffuse une application culinaire capable de proposer une recette sans aucun ingrédient comestibles (bombe nucléaire) ou des recettes taguées "dangereuses" devrait y réfléchir à deux fois avant de la diffuser.
Et qu'il est responsable de TOUT ce que cette application impliquera.

Est-ce encore de la cuisine quand une IA propose des recettes sans se soucier de la faisabilité, du goût ou de la sécurité ? L'IA peut-elle vraiment « comprendre » la gastronomie ou s'agit-il d'une imitation sans conscience ?

Peu importe comment on appelle ça.
L'éternel débat de la conscience et de l'art dans l'IA.
Bien sur qu'une IA peut proposer une nouvelle recette dont la qualité gustative est excellente. Mais sait elle anticiper la qualité du résultat?
D'autant que la perception en est très subjective. certains adorent l'ananas dans la pizza d'autres détestent, certains trouvent le que coriandre a le gout de savon, je trouve que la combinaison vin rouge/fromage ne fonctionne que pour le fromage à pate cuite, etc.

Les développeurs d’IA ont-ils une responsabilité légale ou morale en cas de danger potentiel lié aux contenus générés ? Devraient-ils être tenus pour responsables des conséquences imprévues ?

Si l'application ne sait pas faire la différence entre du sucre et du poison, oui, clairement.

Accepteriez-vous de goûter une recette générée par une IA sans supervision humaine ? Pourquoi ou pourquoi pas ?

cette question est bizarre, qui déroule la recette?
Je n'ai pas commencé ma culture culinaire en suivant des recettes donc j'ai largement regretté certaines expériences (mais je n'ai jamais mis de cyanure dans mes pates)

L’expérimentation algorithmique peut-elle avoir sa place dans des domaines à risque comme la santé, l’alimentation ou la sexualité ? Peut-on parler d’art ou de performance quand il y a un danger réel ?

C'est déjà le cas, comment faisons nous des modèles informatiques?
La question est : quelle personne informée accepterait de tester le résultat sans consulter un expert? (Nous le faisons au quotidien mais ne sommes pas informées. La validation d'un expert est un implicite pour nous.)

Le public est-il suffisamment éduqué pour faire la part des choses entre une suggestion de l’IA et une recommandation viable ? Doit-on éduquer les utilisateurs ou mieux encadrer les outils ?

Facile : les deux.
Oui il faut encadrer, mais il faut aussi savoir que certains sont particulièrement doués pour ne pas les respecter.

[yoyo3d]

Les développeurs d’IA ont-ils une responsabilité légale ou morale en cas de danger potentiel lié aux contenus générés ? Devraient-ils être tenus pour responsables des conséquences imprévues ?

ba on en revient toujours au même....

pour moi clairement oui.

on diffuse au public un produit qui n'est pas fini, encore en phase de test. et on s'étonne qu'il puisse y avoir des anomalies...
c'est pareil que le FSD de tesla, il n'est pas encore 100% au point mais il circule aux USA....avec des guignols qui jouent à des jeux vidéo alors que le fsd à des difficultés à repérer des obstacles sur la voie... et même si il est précisé de rester attentif en gardant les mains sur le volant...
faire de la pub pour une IA ou autre techno en vogue c'est bien, la laisser en libre service alors qu'on sait que ce n'est pas encore au point, c'est discutable , surtout quand on connait la tendance de l'humain à trouver une connerie à faire pour buzzer
il y à bien un abrutis qui testera une recette au cyanure et qui, si il s'en sort, portera plainte en espérant toucher le pactole.... "j'ai suivi la recette"....