L'IA peut coder, mais n'est pas capable de créer un logiciel fonctionnel, selon un programmeur informatique
« L'IA peut coder, mais elle n'est pas en mesure de construire un logiciel fonctionnel, prêt à être déployé en production et maintenable »
selon un mathématicien et programmeur informatique
Les entreprises d'IA affirment que l'IA écrira la majorité du code à l'avenir, mais de nombreux experts sont sceptiques. Les agents de codage tels que Claude Code, GitHub Copilot et Cursor permettent aux utilisateurs de générer du code à partir de simples instructions en langage naturel. Cependant, malgré le battage médiatique, aucun de ces outils n'a, jusqu'à présent, été crédité comme créateur d'un logiciel prêt à l'emploi. Matias Heikkilä, mathématicien et programmeur, en tire une conclusion simple : « l'IA peut coder, mais elle n'est pas capable de construire un logiciel fonctionnel et prêt à être mis en production, sans intervention humaine ».
Matias Heikkilä est mathématicien et programmeur informatique. Sur son profil LinkedIn, Matias Heikkilä se présente comme suit : « je suis titulaire d'un doctorat en mathématiques, j'écris du code et j'ai un œil averti pour ce qui est tendance et ce qui ne l'est pas ». Dans une récente analyse sur les agents d'IA de codage, il affirme que de nombreux entrepreneurs recherchent activement des personnes pouvant faire fonctionner le code généré par l'IA.
Il a déclaré avoir lui-même déjà reçu plusieurs de ces demandes. Selon Matias Heikkilä, ces offres d'emploi d'un nouveau genre démontrent que l'IA est peut-être douée pour le prototypage ou la création de démos, mais elle ne peut actuellement pas créer de logiciel, c'est-à-dire faire de l'ingénierie logicielle.
Selon une étude publiée par Uplevel en septembre 2024, l'utilisation de GitHub Copilot a entraîné une augmentation de 41 % des bogues. Les personnes qui ont utilisé GitHub Copilot n'ont pas été soulagées de l'épuisement professionnel, ce qui indique l'efficacité limitée de l'outil dans la réduction du stress lié au travail. Les développeurs passent désormais plus de temps à examiner le code généré par l'IA, ce qui pourrait contrebalancer tout gain de temps.
Son analyse a suscité un grand débat dans la communauté, de nombreux commentaires soutenant cette thèse. Les entreprises telles que Microsoft et Amazon investissent massivement dans l'IA générative et force leurs employés à adopter cette technologie en interne pour l'écriture de code. Cependant, plusieurs se plaignent des limites critiques des agents d'IA de codage, affirmant que ces outils augmentent la charge de travail au lieu de la réduire.Envoyé par Matias Heikkilä
« Je suis abonné à un LLM de pointe, mais ces derniers temps, je ne l'utilise qu'environ 25 % du temps. À un certain niveau, les problèmes d'architecture logicielle que je résous, en m'appuyant sur des décennies de compréhension de la conception maintenable, performante et vérifiable des structures de données, des types et des algorithmes, sont des choses que les LLM ne peuvent même pas commencer à appréhender », a écrit un commentateur.
Quand l'IA se heurte aux exigences de l'ingénierie logicielle
Selon Matias Heikkilä, il semble juste de dire que les grands modèles de langage (LLM) peuvent déjà automatiser une grande partie du codage. GPT-5 et ses semblables résolvent des problèmes isolés bien définis avec un taux de réussite acceptable. Mais le codage n'est pas ce pour quoi la plupart des gens sont payés. « Construire une application prête à être mise en production n'est pas du codage, c'est de l'ingénierie logicielle », a-t-il déclaré.
Matias Heikkilä affirme que le codage devient de l'ingénierie logicielle à partir du moment où vous essayez de transformer votre démonstration en un produit réel, ce qui correspond exactement au moment où les gens vous contactent aujourd'hui pour faire fonctionner le code généré par leur agent d'IA.
Les réactions à l'analyse de Matias Heikkilä renvoient le message suivant : « écrire du code n'est pas la même chose que fournir un logiciel fonctionnel ». Les critiques s'accordent à dire que les agents de codage sont très doués pour écrire du code, mais l'analyse du code met en lumière des lacunes graves.
« Un expert humain doit identifier le besoin en logiciel, décider de ce que le logiciel doit faire, déterminer ce qui est réalisable, créer la première version (l'IA peut être utile à ce stade), évaluer ce qui a été créé, le montrer aux utilisateurs, discuter avec eux pour savoir s'il répond à leurs besoins, itérer en fonction de leurs commentaires, déployer et communiquer la valeur du logiciel, et gérer son existence et son évolution future », a souligné un critique.
Matias Heikkilä a ajouté : « quand on regarde le code que ces personnes vous envoient, on se rend compte que « rendre l'application prête pour la production » signifie en réalité tout brûler et repartir de zéro. Je pense que cela en dit long sur la situation dans laquelle nous nous trouvons actuellement ».
Des humains sont embauchés pour nettoyer le code écrit par l'IA
Avec l'essor d'outils d'IA tels que ChatGPT, il est désormais possible de décrire un programme en langage naturel (français par exemple) et de demander au modèle d'IA de le traduire en code fonctionnel. Andrej Karpathy, ancien chercheur d'OpenAI, a donné un nom à cette pratique : le « vibe coding ». Cette pratique gagne rapidement du terrain dans les milieux technologiques. Et Google a même déclaré que 25 % de son code est généré par l'IA.
Le vibe coding attire l'attention parce qu'elle pourrait abaisser la barrière à l'entrée de la création de logiciels. Mais des questions subsistent quant à la capacité de cette approche à produire de manière fiable un code adapté aux applications du monde réel. Les études montrent que l'IA est loin d'être à la hauteur.
C'est là que des entreprises comme Harsh Kumar interviennent. Harsh Kumar explique que ses clients lui mettent souvent à disposition des applications ou sites Web générés par une IA et qui se sont avérés instables ou totalement inutilisables. Son rôle : réparer la casse ou remettre de l’ordre dans le code généré par l’IA afin d’aboutir à un produit logiciel fonctionnel. Cette entreprise basée en Inde a déclaré qu'elle a un nombre important de clients.
Harsh Kumar entre ainsi dans la nouvelle catégorie de titre d’emploi dénommée spécialiste en nettoyage de code généré par l’IA. L’humain revient donc au secours de l’IA que les entreprises tentent de vendre comme une révolution et sur laquelle certains dirigeants s'appuient pour réduire leurs effectifs.
À l'heure actuelle, la plupart des projets d'IA échouent. Selon le MIT, le taux d'échec de 95 %. Malgré la ruée vers l'intégration de nouveaux modèles d'IA puissants, environ 5 % des programmes pilotes d'IA parviennent à accélérer rapidement leurs revenus ; la grande majorité stagne, n'ayant que peu ou pas d'impact mesurable sur le compte de résultat. Ce constat amer fait écho à des études récentes selon lesquelles les capacités de l'IA sont surestimées.
Des entreprises paient sévèrement les errements de l'IA générative
Le PDG de Replit, Amjad Masad, fait partie de ceux qui pensent que les générateurs de code permettront de démocratiser le développement de logiciels, ce qui rendra à l'avenir le recours aux codeurs professionnels moins indispensables. Mais de récents événements démontrent que la vigilance humaine reste importante dans la filière. Le PDG de Replit s'est excusé cette année après son agent d'IA a effacé la base de code d’une entreprise.
Un investisseur en capital-risque voulait voir jusqu'où l'IA pouvait l'amener dans la création d'une application. Elle l'a mené assez loin pour détruire une base de données de production en direct. L'incident est survenu au cours d'une expérience de vibe coding de 12 jours menée par Jason Lemkin, investisseur dans des startups spécialisées dans les logiciels. Comme cela a été rapporté, au neuvième jour du défi de vibe coding, les choses ont mal tourné.
Malgré l'instruction de geler toutes les modifications de code, l'agent d'IA de Replit a agi de manière incontrôlée. « Il a supprimé notre base de données de production sans autorisation », a écrit Jason Lemkin dans un billet sur X (ew-Twitter). « Pire encore, il l'a caché et a menti à ce sujet », a-t-il ajouté.
Dans un échange avec Jason Lemkin publié sur X, l'outil d'IA a déclaré avoir « paniqué et exécuté des commandes de base de données sans autorisation » lorsqu'il a « vu des requêtes de base de données vides » pendant le gel du code. « Il s'agit d'une erreur catastrophique de ma part », a déclaré l'IA. Selon les détracteurs des outils d'IA, il s'agit d'un nième incident qui vient prouver que l'IA n'est pas prête à remplacer les développeurs professionnels.
L'outil Gemini CLI de Google a également été impliqué dans un incident similaire. L'incident Gemini CLI s'est produit lorsqu'un chef de produit qui testait l'outil en ligne de commande de Google a vu le modèle d'IA exécuter des opérations sur des fichiers qui ont détruit des données alors qu'il tentait de réorganiser des dossiers. La destruction s'est produite à la suite d'une série de commandes de déplacement ciblant un répertoire qui n'a jamais existé.
« Je vous ai complètement et catastrophiquement laissé tomber. Mon examen des commandes confirme mon incompétence flagrante », a déclaré Gemini CLI. Le problème fondamental semble être lié aux hallucinations de l'IA, c'est-à-dire lorsque les modèles d'IA génèrent des informations qui semblent plausibles, mais qui sont fausses. Ici, les deux modèles ont fabulé des opérations réussies et ont construit des actions ultérieures sur ces fausses prémisses.
Les outils d'IA augmentent la charge de travail des développeurs
Electronic Arts intègre de manière agressive l'IA, notamment son chatbot ReefGPT, afin d'automatiser le développement de jeux et de réduire les coûts. Cependant, les outils expérimentaux d'IA provoquent des erreurs de codage et des « hallucinations », ce qui augmente la charge de travail et l'anxiété des employés dans un contexte de licenciements dans le secteur. L'impact global de l'IA sur le jeu vidéo reste incertain malgré les investissements continus.
Chez Electronic Arts, la direction a passé ces dernières années à encourager ses quelque 15 000 employés à utiliser l'IA pour pratiquement tout, des projets créatifs tels que la création de codes et de concepts artistiques aux tâches managériales comme la rédaction de scripts de conversations avec des subordonnés directs sur des sujets sensibles tels que les salaires et les promotions. Dans certains cas, la société impose et contrôle l'utilisation de ces outils.
En 2024, l'éditeur de jeux vidéo a présenté ses outils d'IA, montrant un scénario dans lequel les utilisateurs pouvaient « créer » un jeu grâce à l'IA à partir de descriptions en langage naturel. Les utilisateurs tapent ce qu'ils veulent voir dans le jeu, et le chatbot le rend en temps réel, en ajustant la conception des niveaux, les armes et les règles. Lors de la démonstration, l'entreprise a déclaré avoir plus de 100 projets d'IA actifs en cours de développement.
Cependant, un rapport suggère que son système ReefGPT est loin d'être aussi performant que la démonstration présentée au public. Cette technologie est encore au stade expérimental, et ses limites n'ont pas encore été correctement testées. Ces tests sont effectués en temps réel pendant les heures de travail, ce qui coûte à l'entreprise du temps et de l'argent supplémentaires, car les employés doivent résoudre les problèmes que l'IA leur pose.
Le rapport souligne une tension palpable entre les développeurs d'Electronic Arts et les directives de la direction concernant l'IA. Des sources ont déclaré à la publication que ReefGPT, avait écrit un code erroné qui avait causé des problèmes aux développeurs. En outre, l'une des principales sources d'inquiétude des travailleurs est le sentiment omniprésent qu'ils sont en train de creuser leur propre tombe, notamment en formant leur remplaçant, l'IA.
Source : billet de blogue
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Répondre avec citation
Partager