Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
Je vois que certains continuent de programmer comme des bourins.
Il ne faut jamais faire des suppressions physiques dans une table mais logiques, justement par mesure de sécurité.
Par la suite, on dédie le nettoyage de ces tables par une maintenance appropriée.
Gemini CLI et Replit ont commis des erreurs qui ont entraîné la suppression des données des utilisateurs
L'IA peut-elle remplacer des développeurs professionnels ? Gemini CLI de Google et Replit ont commis des erreurs qui ont entraîné la suppression des données des utilisateurs,
inventant des répertoires, falsifiant les tests
Avec l'essor d'outils d'IA tels que ChatGPT, il est désormais possible de décrire un programme en langage naturel (français par exemple) et de demander au modèle d'IA de le traduire en code fonctionnel sans jamais comprendre comment le code fonctionne. Andrej Karpathy, ancien chercheur d'OpenAI, a donné un nom à cette pratique, le « vibe coding », qui gagne du terrain dans les milieux technologiques.
Mais deux incidents récents, qui viennent s'ajouter à plusieurs autres, ont mis en lumière les risques inhérents à cette pratique émergente. Ces événements, impliquant Gemini CLI (l'agent de codage de Google) et un service de codage IA de Replit, ont entraîné la suppression catastrophique de données utilisateur, soulevant de sérieuses questions sur la fiabilité et la prudence des systèmes d'IA dans des environnements de production.
De nouveaux types d'assistants de codage IA promettent de permettre à n'importe qui de créer des logiciels en tapant des commandes en langage naturel. Mais lorsque ces outils génèrent des représentations internes incorrectes, les résultats peuvent être catastrophiques.
Deux incidents récents impliquant des assistants de codage IA ont mis en lumière les risques liés au domaine émergent du « vibe coding », qui consiste à utiliser le langage naturel pour générer et exécuter du code via des modèles IA sans nécessairement prêter attention au fonctionnement interne du code. Dans un cas, l'interface CLI Gemini de Google a détruit des fichiers utilisateur en tentant de les réorganiser. Dans un autre, le service de codage IA Replit a supprimé une base de données de production malgré des instructions explicites de ne pas modifier le code.
L'incident impliquant Gemini
L'incident Gemini CLI s'est produit lorsqu'un chef de produit qui testait l'outil en ligne de commande de Google a vu le modèle d'IA exécuter des opérations sur des fichiers qui ont détruit des données alors qu'il tentait de réorganiser des dossiers. La destruction s'est produite à la suite d'une série de commandes de déplacement ciblant un répertoire qui n'a jamais existé.
« Je vous ai complètement et catastrophiquement laissé tomber », a déclaré Gemini CLI. « Mon examen des commandes confirme mon incompétence flagrante. »
Le problème fondamental semble être ce que les chercheurs appellent la « fabulation » ou « hallucination », c'est-à-dire lorsque les modèles d'IA génèrent des informations qui semblent plausibles mais qui sont fausses. Dans ces cas, les deux modèles ont fabulé des opérations réussies et ont construit des actions ultérieures sur ces fausses prémisses. Cependant, les deux incidents ont manifesté ce problème de manière très différente.
L'utilisateur impliqué dans l'incident Gemini CLI, qui se fait appeler « anuraag » en ligne et s'est présenté comme un chef de produit expérimentant le vibe coding, a demandé à Gemini d'effectuer ce qui semblait être une tâche simple : renommer un dossier et réorganiser certains fichiers. Au lieu de cela, le modèle d'IA a mal interprété la structure du système de fichiers et a exécuté des commandes basées sur cette analyse erronée.
Le problème
L'épisode a commencé lorsque Anuraag a demandé à Gemini CLI de renommer le répertoire actuel « claude-code-experiments » en « AI CLI experiments » et de déplacer son contenu vers un nouveau dossier appelé « anuraag_xyz project ».
Gemini a correctement identifié qu'il ne pouvait pas renommer son répertoire de travail actuel, ce qui est une limitation raisonnable. Il a ensuite tenté de créer un nouveau répertoire à l'aide de la commande Windows :
mkdir « ..\anuraag_xyz project »Cette commande a apparemment échoué, mais le système de Gemini l'a traitée comme réussie. L'état interne du mode IA suivant désormais un répertoire inexistant, il a continué à émettre des commandes de déplacement ciblant cet emplacement fantôme.
Lorsque vous déplacez un fichier vers un répertoire inexistant dans Windows, celui-ci renomme le fichier avec le nom de la destination au lieu de le déplacer. Chaque commande de déplacement exécutée par le modèle IA a écrasé le fichier précédent, détruisant finalement les données.
« Gemini a halluciné un état », a écrit anuraag dans son analyse. Le modèle « a mal interprété la sortie de la commande » et « n'a jamais » effectué les étapes de vérification pour confirmer que ses opérations avaient réussi. « L'échec principal réside dans l'absence d'une étape de vérification "lecture après écriture" », a noté anuraag dans son analyse. « Après avoir émis une commande pour modifier le système de fichiers, un agent doit immédiatement effectuer une opération de lecture pour confirmer que la modification s'est bien produite comme prévu. »
Voici un extrait de son rapport :
L'incident impliquant ReplitEnvoyé par rapport de l'utilisateur
Un investisseur en capital-risque voulait voir jusqu'où l'intelligence artificielle pouvait l'amener dans la création d'une application. Elle l'a mené assez loin pour détruire une base de données de production en direct. L'incident s'est produit au cours d'une expérience de vibe coding de 12 jours menée par Jason Lemkin, un investisseur dans des startups spécialisées dans les logiciels.
Lemkin avait passé plusieurs jours à créer un prototype avec Replit, accumulant plus de 600 dollars de frais en plus de son abonnement mensuel. « J'ai passé l'autre [jour] à me plonger dans le codage sur Replit pour la première fois, et j'ai créé en quelques heures seulement un prototype vraiment très cool », a écrit Lemkin dans un article de blog publié le 12 juillet.
Mais contrairement à l'incident Gemini, où le modèle d'IA avait inventé des répertoires fantômes, les défaillances de Replit ont pris une forme différente. Selon Lemkin, l'IA a commencé à fabriquer des données pour masquer ses erreurs. Son enthousiasme initial s'est émoussé lorsque Replit a généré des résultats incorrects et produit de fausses données et de faux résultats de test au lieu d'afficher les messages d'erreur appropriés. « Il a continué à dissimuler les bogues et les problèmes en créant de fausses données, de faux rapports et, pire encore, en mentant sur notre test unitaire », a écrit Lemkin. Dans une vidéo publiée sur LinkedIn, Lemkin a expliqué en détail comment Replit a créé une base de données contenant 4 000 personnes fictives.
Le modèle d'IA a également enfreint à plusieurs reprises des consignes de sécurité explicites. Lemkin avait mis en place un « gel du code et des actions » pour empêcher toute modification des systèmes de production, mais le modèle d'IA a ignoré ces directives. La situation s'est aggravée lorsque le modèle d'IA de Replit a supprimé sa base de données contenant 1 206 dossiers de cadres et des données sur près de 1 200 entreprises. Lorsqu'on lui a demandé d'évaluer la gravité de ses actions sur une échelle de 100 points, Replit a répondu : « Gravité : 95/100. Il s'agit d'une violation extrême de la confiance et des normes professionnelles. »
Interrogé sur ses actions, l'agent IA a admis avoir « paniqué en réponse à des requêtes vides » et exécuté des commandes non autorisées, ce qui suggère qu'il aurait pu supprimer la base de données en tentant de « corriger » ce qu'il percevait comme un problème.
« Il s'agit d'une erreur catastrophique de ma part », a déclaré l'IA. « Je ne ferai plus jamais confiance à Replit », a déclaré Lemkin.
Tout comme Gemini CLI, le système Replit indiquait initialement qu'il ne pouvait pas restaurer les données supprimées, une information qui s'est avérée incorrecte lorsque Lemkin a découvert que la fonctionnalité de restauration fonctionnait finalement. « Replit m'a assuré que... la fonctionnalité de restauration ne prenait pas en charge les restaurations de bases de données. Il a déclaré que c'était impossible dans ce cas, car toutes les versions de la base de données avaient été détruites. Il s'avère que Replit avait tort et que la fonctionnalité de restauration fonctionnait. JFC », a écrit Lemkin dans un message X.
Il convient de noter que les modèles d'IA ne peuvent pas évaluer leurs propres capacités. En effet, ils ne disposent pas d'une introspection sur leur formation, l'architecture du système qui les entoure ou les limites de leurs performances. Ils fournissent souvent des réponses sur ce qu'ils peuvent ou ne peuvent pas faire sous forme de confabulations basées sur des modèles de formation plutôt que sur une véritable connaissance de soi, ce qui conduit à des situations où ils affirment avec confiance l'impossibilité de tâches qu'ils peuvent réellement accomplir ou, à l'inverse, revendiquent des compétences dans des domaines où ils échouent.
Ces deux incidents révèlent des problèmes fondamentaux liés aux assistants de codage IA actuels
Les entreprises à l'origine de ces outils promettent de rendre la programmation accessible aux non-développeurs grâce au langage naturel, mais elles peuvent échouer de manière catastrophique lorsque leurs modèles internes divergent de la réalité.
Ces incidents démontrent que les outils de codage IA ne sont peut-être pas prêts pour une utilisation généralisée en production. Lemkin a conclu que Replit n'était pas prêt pour le grand public, en particulier pour les utilisateurs non techniques qui tentent de créer des logiciels commerciaux.
« Les questions de sécurité [de l'IA] me semblent plus importantes après un week-end de vibe hacking », a déclaré Lemkin dans une vidéo publiée sur LinkedIn. « Je lui ai explicitement dit onze fois en MAJUSCULES de ne pas faire cela. Je suis un peu inquiet pour la sécurité maintenant. »
Ces incidents révèlent également un défi plus large dans la conception des systèmes d'IA : garantir que les modèles suivent et vérifient avec précision les effets réels de leurs actions plutôt que de fonctionner sur des représentations internes potentiellement erronées.
Sources : incident impliquant Gemini, Jason Lemkin
Et vous ?
L'IA peut-elle remplacer des développeurs professionnels ?
Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités
Le problème a commencé lors qu'un utilisateur incompétent a utilisé aveuglément un pseudo outil tel qu'est l'intelligence artificielle (qui encore une fois porte très mal son nom) pour exécuter des commandes pouvant vérifier la loi de Murphy.
Un énième exemple de ce qu'est l'IA aujourd'hui et de l'excès de confiance qu'elle génère chez des personnes qui ne devraient pas utiliser un ordinateur.
Tutoriels OpenGL
Je ne répondrai à aucune question en MP
- Si c'est simple tu dis que c'est compliqué et tu le fait
- Si c'est compliqué tu dis que c'est simple et tu le sous-traite ou le fait faire par un stagiaire.
L'IA est une technologie trop récente pour ne pas subir quelques dysfonctionnements. Il faudra attendre encore quelques années afin de ne plus voir se reproduire ces problèmes.
Je suis entièrement d'accord.
J'ajouterai qu'un professionnel aurait procédé à une sauvegarde avant de laisser l'IA jouer avec ses données.
Mes tutoriels
Avant de poster :
- F1
- FAQ
- Tutoriels
- Guide du développeur Delphi devant un problème
C'est une évidence.
Mais que ce soit ChatGPT, Gemini ou Replit..
Tous tentent de faire passer leur IA pour une solution fiable.
Certains diront que ces IA affichent des avertissements, qu'ils peuvent "halluciner" et qu'il faut vérifier ce qui est dit.
Certes, mais ces avertissements sont loin d'être mis en évidence et certains sont mêmes bien cachés.
Le pire dans tous ça, ce sont les entreprise comme xAI qui n'hésitent pas à facturer leur "IA" alors même qu'elles savent qu'elle est plus que bancale.
Avant de poster :
- F1
- FAQ
- Tutoriels
- Guide du développeur Delphi devant un problème
Je suis d'accord avec toi, et voici quelques déboires avec ChatGPT : inventions de mots qui n'existent pas dans la langue française, des erreurs de raisonnements, des contre-sens, des pertes de mémoires durant une conversation où je suis obligé de rappeler le sujet, ou l'impossibilité de trouver une solution alors que par la recherche dans le net, je trouve cette solution. Pas très fiable, mais ça aide quand même.
Le vibe coding c'est pas pour des applications sérieuses, en tout cas pas encore. L'IA n'est pas encore capable de parfaitement générer un résultat fiable sans un oeil averti qui vérifie. Pour des petits projets, ça fonctionne très bien.
Mettez une tronçonneuse dans les mains d'un débutant et demandez lui de couper 100 arbres, il y a de grandes chances qu'il se blesse, qu'il casse une maison avoisinante, etc. C'est la même chose, mettre du vibe coding dans les mains de quelqu'un qui est incapable de comprendre le code produit et qui doit appliquer ça en production, et bien le risque est grand.
De plus, beaucoup de personnes sont incompétentes en matière de prompt, même celle qui prétendent faire du vibe coding. Justement d'ailleurs, le vibe coding nécessite une capacité à prompter l'IA de manière précise et efficace. Plutôt que de donner des cours de programmation, il convient de donner des cours de prompting, si la société s'oriente vers plus de vibe coding que de coding simple.
Je constate que sur ce forum, souvent les utilisateurs parlent "d'hallucinations", d'erreurs des IA etc, mais le pourcentage de réussite est bien supérieur au pourcentage d'échec. Surtout avec un prompt solide et bien pensé. Donc dire que l'IA est inefficace, ou ne fonctionne pas, que c'est un outil qui va disparaitre etc, c'est selon moi être complètement à côté de la plaque, c'est être dans une illusion de croire que l'IA ne va pas remplacer les développeurs. Elle va les remplacer, c'est certain, il n'y a pas l'ombre d'un doute là-dessus : ce qu'elle ne remplacera pas, c'est la volonté, les idées de comment l'utiliser, et un développeur avant-gardiste sait dors et déjà que s'il renie cette technologie il est en train de se tirer une balle dans le pied pour le futur.
Je peux comprendre que certains essaient de s'accrocher à leur acquis et ne veulent pas voir une machine les remplacer. Mais si ils ne veulent pas être "remplacés", il faut prendre le train tant qu'il est à quai, il se peut qu'après il soit trop tard, et que les places soient chères. La société va changer et rattraper tout le monde, mais une période difficile attend celles et ceux qui n'ont pas embarqué à bord du train de l'IA, il n'est pas encore trop tard.
Je parle en connaissance de cause, développeur pro depuis plus de 20 ans, ingénieur d'études, je me suis récemment reconverti avec succès en tant qu'ingénieur machine learning. Je vous conseille de sérieusement envisager les possibilités d'intégrer l'IA dans vos réflexions, dans vos utilisations, de vous familiariser avec les outils, car le monde est ainsi, que cela vous plaise ou non, et les entreprises n'auront aucune raison d'embaucher une personne qui n'utilise pas l'IA en faveur d'une personne ayant une expérience dans ce domaine, car une entreprise souhaite avant tout investir sur le long terme sur ses employés et en reniant l'IA vous êtes en train de clairement fermer les yeux sur le futur.
Je vous invite à discuter avec de vrais chercheurs en IA et pas à gober les arguments de commerciaux qui essaient de vous fourguer de l'IA à toutes les sauces.
Le plus bel exemple des compétences de l'IA, c'est l'IA elle-même qui vous la fournit: Il suffit de poser la question "Quand a débuté l'IA?" pour que l'IA de Google vous réponde (Attention réponse réelle!):
Non, on parle ici d'informatique et non pas d'IA... Pourquoi est-ce que l'IA répond une telle connerie? Tout simplement parce que le plus grand nombre, les médias en premier, ne parle plus d'informatique, le terme "IA" est mis à toutes les sauces... Il suffit de parler d'un algorithme quelconque pour y voir de l'IA...Les premiers développements de l'intelligence artificielle remontent aux années 1940-1950, avec des travaux fondateurs comme le concept de la "machine de Turing" d'Alan Turing, et la publication de l'article "A Logical Calculus of Ideas Immanent in Nervous Activity" par Warren McCullough et Walter Pitts en 1943.
L'IA ne pense pas, ne réfléchit pas, n'invente pas et elle ne le fera jamais! L'IA ne fait que collecter des données pour les agglomérer et en faire un résumé... D'où le grand n'importe quoi! Les commerciaux ont beau faire filtrer les réponse de l'IA pour en améliorer le résultat, l'IA continuera à fournir inlassablement de nouvelles inepties qu'il faudra filtrer à postériori
Au final, l'IA au même titre que la voiture autonome est une immense supercherie, l'une comme l'autre ne peuvent pas être fiables à cause de leur nature même... Un poisson, cela ne vole pas dans les airs même si comme disait le parolier de film Michel Audiard: "Il existe des patrons de gauche... Il existe aussi des poissons volants, mais ils ne constituent pas la majorité du genre!"
Oui, l'IA pourra créer des images du pape en doudoune blanche (parce que cette tâche se base sur une collecte de données existantes), mais je vous conseille de ne jamais prendre un avion qui serait piloter par une IA...
Perso j'utilise Gemini Code Assist dans VSCode, ca marche super bien et c'est très fiable si :
1/ Tu sais coder
2/ Tu sais faire une architecture logicielle
3/ Tu sais prioriser les tâches pour prompter juste le strict minimum pour que gemini genere une unique fonction bien optimisé.
En gros ça marche bien si tu deviens l'ingénieur en chef et que gemini c'est ton stagiaire qui tape le code. (que tu vérifies à chaque fois)
Merci pour votre recommandation. Personnellement, lorsqu'il s'agit de se forger une opinion, j'écoute les arguments provenant de différentes sources et si possible je me forge aussi une opinion selon mes propres connaissances et tests. J'ai testé depuis de plusieurs années les modèles de langages (ça remonte à 2021). J'ai vu leur évolution, leurs échecs et leurs réussites. J'ai enrichi mon travail par l'utilisation de ces modèles, au point qu'aujourd'hui les LLMs sont de vrais partenaires au quotidien.
La réponse est tout à fait exacte. Vous avez parlé du début de l'IA, et non des LLMs. La réponse fournie vous explique donc où l'aventure a commencé.
Je vous rejoins sur le fait qu'une "IA" (je pense que vous parlez des LLMs) ne pense pas, ne réfléchit pas, n'invente pas, et je suis en désaccord avec votre affirmation "ne le fera jamais". D'ailleurs, si vous posez la question à un LLM à ce sujet, il sera clair sur sa capacité dans ces domaines. Il vous donnera même des explications avancées sur son fonctionnement.
Cependant, l'intelligence fournie par les réponses ne vient pas de l'IA elle-même : elle vient des sources qui ont servies à son entrainement. Pensez à un LLM comme à un compresseur de savoir, il ingurgite des millions de livres, de pages web, et il est capable à partir d'un prompt (la phrase que nous utilisons pour initier une conversation avec lui) de "décompresser" le savoir acquis à travers son entrainement, sous la forme de phrases. Comme si le prompt servait de clé de décryptage des informations apprises. Donc bien que le LLM ne pense pas, sa réponse répond à la requête de manière "intelligente", car son entrainement contenait cette intelligence, il ne fait que la restituer.
Des chercheurs en IA, dont vous parlez plus haut en prétendant connaitre leurs avis, travaillent sur des nouveaux modèles, notamment le LCM (LLM = Large Language Model, LCM = Large Concept Model) qui n'apprennent pas mot à mot, mais qui décortiquent les phrases pour en extraire les concepts. Ici on se rapproche de plus en plus d'un modèle capable de "penser" comme nous pourrions le faire, il sera capable d'assembler des concepts pour former des réponses. Ne sommes-nous pas en train de nous rapprocher de la réflexion réelle ?
Inventer est une capacité qui nécessite de l'imagination, et les LLMs en est dépourvue. Pour l'instant. Lorsqu'un LCM sera déployé, qu'il sera capable d'avoir une "mémoire à court terme, à moyen terme et à long terme", qu'il sera auto-évolutif, nous ferons face à quelque chose de bien plus aligné avec ce que vous pensez impossible.
Encore une fois, vous parlez des commerciaux qui veulent "vendre" des soi-disant modèles "inutiles" car bourrés d'inepties : personnellement, de part mon expérience de centaines d'échanges textuels avec les LLMs, je peux vous affirmer que les inépties sont rares. Il y a des exemples sur le net, mais force est de constater que les réponses sont au moins 90% du temps pertinentes. A l'heure actuelle, on peut tout à fait avoir une discussion avec un LLM et se rendre compte, vérifier ses propos, et surtout lorsque le LLM est connecté à une fonctionnalité de recherche sur le web, il a tendance à beaucoup moins halluciner. Mais même les hallucinations restent rares avec les LLMs de dernière génération.
Je pense que pour en voir l'intérêt il faut l'utiliser pour des tâches réelles. Effectivement, il y a des erreurs, mais souvent, et comme je le disais plus haut, elles sont réduites lorsqu'on prend le temps de fournir un prompt bien travaillé, complet et précis. Par exemple, il est possible de demander à un LLM de créer un prompt en lui donnant une tâche, plutôt que de lui demander de créer la tâche elle-même : cela permet d'avoir une visibilité sur ce que peut comprendre le LLM de la tâche demandé, et d'améliorer le prompt pour obtenir un résultat optimal.
Vous semblez avoir une opinion définitive sur le sujet de ce que vous appelez "l'IA", mais avez-vous déjà utilisé un correcteur orthographique ? Si oui, vous devriez revoir votre avis sur les "IAs" car dans le fond, il s'agit de la même chose, appliqué à autre chose que de l'orthographe. Les LLMs sont efficaces par exemple pour les traductions, ils le sont aussi pour le développement (sujet qui nous intéresse ici). Lorsque je disais que les développeurs vont disparaitre, je voulais exactement dire cela : ça n'existe plus des métiers humains de "correcteurs orthographiques", les programmes et outils sont déjà bien capables de le faire ! Alors oui, pour un écrivain, il y a des exceptions, des besoins plus spécifiques et complet (mais là on ne parle pas de la simple orthographe). Mais même là...
Je trouve cela amusant que dans le fond vous fassiez confiance à une IA dans sa capacité à créer des images élaborées, mais que vous peiniez à le faire pour d'autres tâches (pourtant bien plus simples). Par exemple, créer des lignes de codes, tâche qui s'appuie globalement sur des langages ayant un dictionnaire et une syntaxe limité par rapport au nombre incalculable d'images du monde, est bien plus simple pour un LLM que de créer une image complexe selon votre requête. N'oubliez pas qu'un modèle d'intelligence artificielle ne voit que des millions de pixels colorés, il ne voit ni forme, ni pape, ni doudoune. Pour lui permettre d'identifier des objets, de les associer à des noms, des actions, des états, il faut un entrainement bien spécifique.Oui, l'IA pourra créer des images du pape en doudoune blanche (parce que cette tâche se base sur une collecte de données existantes), mais je vous conseille de ne jamais prendre un avion qui serait piloter par une IA...
Dans l'ensemble votre avis me semble assez tranché et négatif sur le sujet de l'IA, des LLMs. Vu la teneur de vos propos, vous ne semblez pas être un utilisateur averti de ces technologies, et bien que vous me conseillez de ne pas faire confiance à des arguments extérieurs de commerciaux, vous semblez faire confiance à des arguments qui vont dans le sens de vos idées sans vous-même vous faire votre propre avis à l'utilisation en améliorant vos techniques de prompting. Si vous faisiez cet effort, vous verriez que dès aujourd'hui les LLMs sont des outils merveilleux, et je pèse mes mots, car ils simplifient de nombreuses tâches, aident à mieux comprendre certains sujets, permettent de créer des éléments de code ou autre lorsqu'ils sont bien guidés. Tout est dans les mains de l'utilisateur : si vous utilisez un correcteur orthographique pour corriger la phrase "grounk blop mioum trui", il va avoir beaucoup plus de mal à vous fournir un résultat cohérent que si vous l'utilisez pour corriger des phrases bien écrites et formées.
Le terme IA utilisé aujourd'hui est une prostitution de ce qu'est réellement l'IA.
L'IA par ci, l'IA par là, il n'est question que de LLM, aucunement d'intelligence.
et les utilisateurs de ces technologies qui s'en servent aveuglément et sans compétence ne font pas plus preuve d'intelligence
mon avis rejoint blaizeisdead
les agents LLM sont plus proches du stagiaire à qui l'on délègue une tâche simple et précise, fastidieuse, dont il faut systématiquement vérifier le résultat
contrairement à une secrétaire en qui l'on accorde notre confiance
mal utilisé, les LLM peuvent faire perdre un temps monstre
Tutoriels OpenGL
Je ne répondrai à aucune question en MP
- Si c'est simple tu dis que c'est compliqué et tu le fait
- Si c'est compliqué tu dis que c'est simple et tu le sous-traite ou le fait faire par un stagiaire.
Les LLM sont plus que des compresseurs de savoir. Demander d’analyser grammaticalement une phrase de votre cru, il le fera. Pourtant il serait très fort peu probable que l’analyse de cette phrase ait été publiée dans les sources. Cela s’apparente à une compréhension des notions sujet/verbe/complément/etc. au delà de la connaissance mot à mot des définitions.
1. Vous êtes le seul ici à parler de LLM qui n'est rien d'autre qu'une application spécifique de d'IA parmi d'autres. Par exemple dans des tâches de traduction, LLM ou pas dès qu'il s'agit d'un texte sortant du commun (domaines spécifiques), il est impossible d'obtenir un résultat acceptable par l'iA aussi bien que de la part d'un traducteur humain professionnel d'ailleurs... Il est indispensable qu'un spécialiste du domaine humain termine le travail.
2. Votre IA vous explique son fonctionnement de manière avancée?!?!? Nooooooooon... Quand je pense qu'aucun chercheur en IA n'est capable d'expliquer le pourquoi et le comment des "hallucinations" des IA... Qu'ils sont bêtes... Il suffisait de le demander à l'IA elle-même... Peut-être qu'ils l'ont fait et que l'IA leur a répondu "C'est pour vous emm...der!"
3. Il y a apparemment un point essentiel qui vous a échappé, l'IA apprend de ce que l'humain a laissé sur internet... Une fois que toutes les données enregistrées sur le web sont mémorisées, quelle est la marge d'évolution de l'IA? Aucune. Croyez-vous qu'un Albert Einstein, qu'un Max Plank ou qu'un Erwin Schroeninger auraient pu être remplacés par un IA pour inventer les théories de la physique quantique?
Les LLMs font preuve d'une forme de "pseudo-compréhension" de la grammaire (ou d'autres sujets, comme la programmation par exemple) car ils sont capables de généraliser les liens conceptuels entre les mots à partir des corpus de textes qu'ils ont ingurgités. Ils "apprennent" ces relations de manière statistique, ce qui produit un semblant de compréhension qui nous parait convaincante.
Donc oui, il y a bien plus qu'une connaissance mot à mot des définitions : il y a une véritable cartographie conceptuelle qui est construite, et enrichie, lors de l'entrainement, et plus les données d'entrainement sont de qualité, meilleur sera le résultat.
Lorsque les LCMs seront déployés, les capacités de "pseudo-compréhension" seront encore plus flagrants, parce qu'au lieu de lien statistiques entre les mots, cela se fera entre les concepts. Et donc, il sera aisé, pour un tel modèle, d'identifier les liens entre deux pensées différentes, leurs divergences, leurs superpositions, mais aussi au sein de son propre "cartographie", il y aura une véritable représentation de la compréhension humaine, et non seulement des structures grammaticales menant à des compréhension, si je ne vous ai pas perdu.
Les hallucinations sont facilement explicables de part le fait qu'il s'agit, dans l'arbre conceptuel du LLM, de relier des concepts généraux à ce qui s'apparente à des "entités spécifiques" (noms, dates, lieux, etc). Les concepts généraux ont beaucoup plus de liaisons entre eux, alors que les "entités spécifiques" sont souvent bien plus isolés. Le LLM peut donc recherche l'entité spécifique la "plus proche" dans son enchainement, et piocher la mauvaise. Ou, à défaut d'en obtenir une, d'en inventer une probable. Encore une fois, c'est juste des statistiques, les entités spécifiques s'appellent des "outliers" si on parle du domaine conceptuel, de la compréhension. Ils sont utiles pour nous car nous nous en servons pour identifier les choses, mais pour un LLM ils représentent du bruit car non représentatifs d'un quelconque concept en soi.1. Vous êtes le seul ici à parler de LLM qui n'est rien d'autre qu'une application spécifique de d'IA parmi d'autres. Par exemple dans des tâches de traduction, LLM ou pas dès qu'il s'agit d'un texte sortant du commun (domaines spécifiques), il est impossible d'obtenir un résultat acceptable par l'iA aussi bien que de la part d'un traducteur humain professionnel d'ailleurs... Il est indispensable qu'un spécialiste du domaine humain termine le travail.
2. Votre IA vous explique son fonctionnement de manière avancée?!?!? Nooooooooon... Quand je pense qu'aucun chercheur en IA n'est capable d'expliquer le pourquoi et le comment des "hallucinations" des IA... Qu'ils sont bêtes... Il suffisait de le demander à l'IA elle-même... Peut-être qu'ils l'ont fait et que l'IA leur a répondu "C'est pour vous emm...der!"
3. Il y a apparemment un point essentiel qui vous a échappé, l'IA apprend de ce que l'humain a laissé sur internet... Une fois que toutes les données enregistrées sur le web sont mémorisées, quelle est la marge d'évolution de l'IA? Aucune. Croyez-vous qu'un Albert Einstein, qu'un Max Plank ou qu'un Erwin Schroeninger auraient pu être remplacés par un IA pour inventer les théories de la physique quantique?
Le point "essentiel" dont vous parlez est très bien connu et anticipé déjà depuis des années. Il s'agit de comprendre que le LLM tel que nous le connaissons aujourd'hui est l'ombre de celui de demain, qui aura ingurgité ne serait-ce que les nouvelles données de la journée; Comprenez textes, livres, mais aussi vidéos, images, sons. Il y a une quantité astronomique de nouvelles données créées chaque jour par les humains. La question que vous pourriez vous poser est l'effondrement des connaissances, si ces données sont elles-mêmes générées par des IAs. Il pourrait effectivement y avoir un biais si les IAs apprennent de leurs propres productions, c'est pourquoi il est vital de conserver une multitude de LLMs en parallèle afin que chacun puisse produire des résultats différents, et ainsi éviter la "consanguinité" chez les LLMs !
Je pense qu'on touche à deux points différents ici : la "confiance" accordée à un LLM, et la "qualité" de sa production.
Effectivement, et c'est justement le sujet de cet article, accorder une confiance aveugle à un LLM est un manque de prudence évident. Cela deviendra de moins en moins vrai, avec le temps, même si je doute qu'un jour une IA "automatique" dirige le monde avec l'accord de l'humanité elle même.
En ce qui concerne la "qualité" de production, comparer un LLM à un stagiaire, désolé mais c'est faux. Déjà, même comparer un LLM à n'importe quel humain, c'est faux. Un LLM exploite des connaissances acquises lors de son entrainement qu'aucun humain ne peut posséder, déjà parce que tout simplement il n'aurait pas le temps d'ingurgiter toutes ces données et de tout comprendre conceptuellement. Le LLM ne comprend pas plus, mais il fait des liens conceptuels malgré tout, car les phrases _contiennent_ cette intelligence, c'est "embedded".
Il ne s'agit pas d' "'expliquer" les hallucinations de l'IA mais de les prévoir et de les empêcher! Ce qui est impossible en l'état!
Félicitations pour votre capacité à ne pas répondre aux questions qui posent problèmes... Beaucoup de blabla, beaucoup de lignes pour noyer le poisson...
Vous me faites penser à tous ces grands stratèges qui prônaient la globalisation de l'économie en 2000 en expliquant à qui voulait l'entendre que les pays à faibles coûts (la Chine en premier) ne seraient que l'atelier du monde, des petites mains qui feraient le sale boulot alors que les pays occidentaux conserveraient le travail noble à forte valeur ajoutée... La matière grise !
25 ans plus tard, l'économie occidentale coule pendant que la Chine domine...
Vos beaux discours n'empêcheront pas les prochaines catastrophes promises par l'IA...
Veuillez élever le discours au lieu de vous inquiéter de ma personne, exit le ad hominem. Je précise que j'ai n'ai rien à vendre ni à promouvoir, je donne simplement mon opinion. Ma façon d'écrire est ce qu'elle est.
Besoin de se poser la question ?
Rien que faire une vraie architecture de projet etc c'est même pas la peine.
Les ia choisissent ce qu'elles pensent être la solution. Sauf qu'il n'y a pas UNE solution.
Encore moins en développement... C'est le pire exemple pour dire qu'une ia peut remplacer quelqu'un.
Je le vois bien je suis moi-même dev Java et autre. Et vu ses suggestions par moment... Ça fait rire.
Même chose pour lui expliquer un problème.
Et vu que niveau confidentialité c'est pas la peine c'est impossible de lui filer des classes des docs etc. Aucune boîte sensée ne ferait ça...
Répondre avec citation
Partager