IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Etude : les règles structurelles exposent la fragilité des agents LLM dans la génération de code backend


Sujet :

Intelligence artificielle

  1. #141
    Membre très actif
    Homme Profil pro
    bricoleur par les mots
    Inscrit en
    Avril 2015
    Messages
    779
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 81
    Localisation : France, Seine Maritime (Haute Normandie)

    Informations professionnelles :
    Activité : bricoleur par les mots
    Secteur : Distribution

    Informations forums :
    Inscription : Avril 2015
    Messages : 779
    Par défaut
    Vous ne voudriez pas encore l'écrire en lettres majuscules et en gras, histoire que tout le monde ait pris connaissance de votre avis?
    c'est pas mon avis c'est un constat

  2. #142
    Responsable Systèmes


    Homme Profil pro
    Gestion de parcs informatique
    Inscrit en
    Août 2011
    Messages
    18 592
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Gestion de parcs informatique
    Secteur : High Tech - Matériel informatique

    Informations forums :
    Inscription : Août 2011
    Messages : 18 592
    Par défaut
    Ce n'est malheureusement pas le mérite qui permet d'améliorer ses conditions de travail, mais la compétence recherchée, la loi de l'offre et de la demande.

    Tu augmente plus ton salaire en changeant de boite qu'en attendant une éventuelle augmentation car tu as fait du très bon travail ou plein d'heures en plus.
    Ma page sur developpez.com : http://chrtophe.developpez.com/ (avec mes articles)
    Mon article sur le P2V, mon article sur le cloud
    Consultez nos FAQ : Windows, Linux, Virtualisation

  3. #143
    Invité
    Invité(e)
    Par défaut
    Elle a décroché une dizaine d'entretiens. Pas une seule offre. Et la plupart des recruteurs n'ont même pas pris la peine de lui signifier un refus.
    Décrocher un entretien, c’est parcourir 80 % du chemin. Donc, si elle (ou une autre personne) parvient effectivement à obtenir une dizaine d’entretiens sans jamais décrocher le moindre emploi (pas même une période d’essai), le problème relève de sa situation personnelle. Soit son CV est aussi crédible qu’un profil Instagram, soit elle perd tous ses moyens face à un recruteur, auquel cas elle devrait consulter un spécialiste.

    L’IA n’est pas responsable de tout et même de rien. C’est en revanche un argument à la mode pour justifier le gel des embauches ou les licenciements massifs.

    La génération Z occidentale est remarquablement « différente des précédentes », de par son éducation, son rapport au travail et ses ambitions. Cela la rend beaucoup moins compatible avec le monde du travail, dont les normes demeurent orientées par les Boomers, la Génération X et les Millennials.

    La génération Alpha (2010-) sera probablement, à terme, aux antipodes de la génération Z sur le marché du travail, la norme sociale passant progressivement d’un extrême éducatif à l’autre par « effet réactionniste ». Une partie des Gen Alpha sera particulièrement hostile aux écrans, aux réseaux sociaux, à l’hyperconnexion et surtout à l’IA, ce qui, paradoxalement, les préparera mieux aux réalités de la vie professionnelle que leurs grands frères et sœurs.

  4. #144
    Invité de passage

    Homme Profil pro
    Conseil - Consultant en systèmes d'information
    Inscrit en
    Septembre 2025
    Messages
    246
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vaucluse (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Conseil - Consultant en systèmes d'information
    Secteur : Conseil

    Informations forums :
    Inscription : Septembre 2025
    Messages : 246
    Billets dans le blog
    1
    Par défaut
    Il faut aussi autant que possible soigner le choix des premiers emplois que l'on va accepter : sur un CV, par la suite dans l'évolution, le nom des entreprises ouvre des portes, rajoute une crédibilité, si les choix sont optimums. Alors parfois, il ne faut pas hésiter à un compromis salariat et penser au potentiel qualitatif du poste accepté en tant que tremplin ultérieur.

  5. #145
    Membre éprouvé
    Avatar de calvaire
    Homme Profil pro
    .
    Inscrit en
    Octobre 2019
    Messages
    2 454
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : Singapour

    Informations professionnelles :
    Activité : .
    Secteur : Conseil

    Informations forums :
    Inscription : Octobre 2019
    Messages : 2 454
    Par défaut
    ne pas oublier le réseau, je n'ai jamais postulé dans ma vie en dehors de mon 1er job.
    les autres, ca a toujours été avec le réseau linkedin et un process de recrutement accéléré et simplifié, l'offre n'a même pas été rendu publique.
    En physique aussi, les conférences sont un bon terreaux d'offre d'emplois. Lors de ma dernière conf sur l'ia a hong kong il y'a 3 mois, j'ai eu 15 contacts en plus sur mon linkedin et 1 boite qui voulait me recruter... J'ai simplement parlé à des gens, je leurs ai dit que ce que je fais, ce que j'ai mis en place, je leurs ai demandé ce que eux font... et ils commencent à parler de leurs besoins et la ça match ou pas, si ça match avec mes compétences ça offre souvent un job par la suite...

    Le networking c'est la matiere la plus importante aux études supérieurs.
    l’assortative mating:
    c’est là que se construisent les réseaux sociaux et professionnels
    les gens ne sont pas encore “installés” → plus ouverts aux rencontres
    après, la vie devient plus stable (travail, cercle social réduit, moins de nouvelles rencontres)

    c'est pendant les études que tu peux décrocher les meilleurs opportunités professionnels et aussi les meilleurs partenaires pour ta vie aussi. Les meilleurs après ils sont casés.
    La France est un pays qui redistribue tout sauf de l'espoir.

  6. #146
    Inactif  

    Homme Profil pro
    Étudiant
    Inscrit en
    Décembre 2008
    Messages
    11 176
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Décembre 2008
    Messages : 11 176
    Par défaut
    Citation Envoyé par calvaire Voir le message
    même fils de paysan au fin fond du pakistan, on peut finir comme un riche et prestigieux medecin/avocat aux USA.
    Les pauvres qui deviennent très riches y arrivent le plus souvent grâce à l'art (comique, musicien, acteur, etc) ou au sport.
    Les drames humains qu'ils ont vécu peuvent avoir un aspect positif sur leur œuvres ou sur leur motivation.

    C'est plus rare que quelqu'un issu d'un milieu très pauvre devienne un prestigieux médecin ou avocat.
    Après c'est peut-être jouable avec les histoires de bourses et tout ça.

    Mais c'est beaucoup plus facile pour les riches.
    Les riches voyagent, les riches font des sorties culturelles, les enfants de riches ont des professeurs particuliers, ils vont dans des écoles privés très cher. (ils ont plus de culture, ils ont plus de vocabulaires, ils connaissent plus de choses)
    Dès le plus jeune âge ils prennent de l'avance, ces salauds de gosses de riches !
    Heureusement ils finissent souvent par avoir des graves problèmes de consommation de drogue dès un jeune âge.

    C'est un peu comme la chanson "IAM - Nés sous la même étoile".

    Citation Envoyé par alvi392 Voir le message
    Décrocher un entretien, c’est parcourir 80 % du chemin. Donc, si elle (ou une autre personne) parvient effectivement à obtenir une dizaine d’entretiens sans jamais décrocher le moindre emploi (pas même une période d’essai), le problème relève de sa situation personnelle. Soit son CV est aussi crédible qu’un profil Instagram, soit elle perd tous ses moyens face à un recruteur, auquel cas elle devrait consulter un spécialiste.
    Si il y avait un problème dans son CV elle n'aurait pas décroché les entretiens.
    Il y a beaucoup de candidats pour un seul poste, donc il est possible de passer 10 entretiens et de n'être pris nulle part.

    Les échecs consécutifs peuvent mettre une grosse pression, ce qui fait stresser et rater ses entretiens.
    C'est quand elle se dira "j'en ai plus rien à faire, de toute façon je n'aurais pas le job" qu'elle se fera embaucher
    Si elle se dit "j'y vais juste pour acquérir de l’expérience en entretien d'embauche" ça devrait beaucoup mieux se passer.

    Si elle se dit "il faut absolument que j'obtienne ce job" elle va se mettre trop de pression.

    Citation Envoyé par Christophe Voir le message
    Tu augmente plus ton salaire en changeant de boite qu'en attendant une éventuelle augmentation car tu as fait du très bon travail ou plein d'heures en plus.
    Effectivement ce ne sont pas ceux qui travaillent le mieux qui obtiennent les augmentations les plus importantes.
    « George ? Qu’est-ce que j’ai à voir avec George ? Rien en fait ! Parce que si on réfléchit bien, moi je suis un vrai démocrate. »

  7. #147
    Membre très actif
    Homme Profil pro
    Développeur Java
    Inscrit en
    Mai 2019
    Messages
    597
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Moselle (Lorraine)

    Informations professionnelles :
    Activité : Développeur Java

    Informations forums :
    Inscription : Mai 2019
    Messages : 597
    Par défaut
    Citation Envoyé par calvaire Voir le message
    on ne choisit pas ou l'on nait, ni nos parents, par contre on est tous responsable de nos choix dans la vie.
    même fils de paysan au fin fond du pakistan, on peut finir comme un riche et prestigieux medecin/avocat aux USA.

    Mais il faut se lever le matin et se bouger les fesses.... avec internet et encore plus aujourd'hui avec l'ia il n'y a aucune excuse pour pas se former.
    Ah oui, le prisme de "si les gens sont pauvres c'est qu'ils le méritent" C'est très pratique, ça explique toujours pas comment même avec 20 millions de patrimoine brut je suis plus proche financièrement d'un SDF que d'un simple milliardaire. C'est moi qui mérite 100 fois plus que le français moyen ou les milliardaire qui méritent 990 fois plus que moi mon échelle est plus à jour

  8. #148
    Invité de passage
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Mars 2023
    Messages
    42
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels

    Informations forums :
    Inscription : Mars 2023
    Messages : 42
    Par défaut
    Citation Envoyé par calvaire Voir le message
    +1, et j'ajoute... Dans mon cas... je peux être ...avec mon ...car je ...j'alloue ...J'ai suivie... j'ai les certifs

    Dans ces conditions, aucun ... ne peut me mettre la pression... et je suis intéressant

    Je peux imposer...
    Un peu d'humilité dans tes postes : merci.

  9. #149
    Responsable Systèmes


    Homme Profil pro
    Gestion de parcs informatique
    Inscrit en
    Août 2011
    Messages
    18 592
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Gestion de parcs informatique
    Secteur : High Tech - Matériel informatique

    Informations forums :
    Inscription : Août 2011
    Messages : 18 592
    Par défaut
    ne pas oublier le réseau, je n'ai jamais postulé dans ma vie en dehors de mon 1er job.
    oui, mais ce n'est pas donné à tout le monde d'en avoir un de réseau, encore moins aux débutants que sont les jeunes diplômés.
    Ma page sur developpez.com : http://chrtophe.developpez.com/ (avec mes articles)
    Mon article sur le P2V, mon article sur le cloud
    Consultez nos FAQ : Windows, Linux, Virtualisation

  10. #150
    Invité de passage

    Homme Profil pro
    Conseil - Consultant en systèmes d'information
    Inscrit en
    Septembre 2025
    Messages
    246
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vaucluse (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Conseil - Consultant en systèmes d'information
    Secteur : Conseil

    Informations forums :
    Inscription : Septembre 2025
    Messages : 246
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par calvaire Voir le message
    ne pas oublier le réseau, je n'ai jamais postulé dans ma vie en dehors de mon 1er job.
    Et la qualité du travail et l'efficacité bien sûr. Se faire une excellente réputation - se faire un nom - et remarquer positivement, ce qui sous entend une masse de travail en amont avant l'entrée sur le marché du travail pour se démarquer de la concurrence.

  11. #151
    Membre éprouvé
    Avatar de calvaire
    Homme Profil pro
    .
    Inscrit en
    Octobre 2019
    Messages
    2 454
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 44
    Localisation : Singapour

    Informations professionnelles :
    Activité : .
    Secteur : Conseil

    Informations forums :
    Inscription : Octobre 2019
    Messages : 2 454
    Par défaut
    Citation Envoyé par Access_to_folder Voir le message
    Et la qualité du travail et l'efficacité bien sûr. Se faire une excellente réputation - se faire un nom - et remarquer positivement, ce qui sous entend une masse de travail en amont avant l'entrée sur le marché du travail pour se démarquer de la concurrence.
    pour ca je conseille les side propect, un étudiant qui à un saas de déployer dans le cloud c'est déjà se démarquer et être dans le top 20% pour un recruteur.


    Citation Envoyé par Christophe Voir le message
    oui, mais ce n'est pas donné à tout le monde d'en avoir un de réseau, encore moins aux débutants que sont les jeunes diplômés.
    tu fais quoi pendant les 5ans après le lycée ??? tu es censé parler à des gens, les rencontrer et monter ton réseau justement... c'est pas bosser enfermé et avoir des bonnes notes qui te donneront un bon emplois
    Pour mon 1er job, j'ai eu des collègues des meilleurs écoles d'ingé de France comme l'ensimag, il faisait le même taff que moi avec le même salaire.
    Une fois en poste, c'est pas la qualité du travail qui te fera monter, il faut se rendre visible à la hiéarchie.
    Par exemple quand il y'a une panne et que je répare, j''envoie un mail de confirmation que j'ai tous remis en état à toute l'équiupe, le n+1 et surtout le n+2 et n+3 et je propose des améliorations à discuter à une prochaine réunion.
    Il faut tous noter et bien se rendre visible.
    Parfois cela suffit pas, apres 2ans si ta boite te fais rester au meme salaire et en bas de la chaine, dans ce cas il faut mettre open to work dans linkedin et aller voir ailleurs et retenter la même chose.

    en parallèle, te former sur les technos qui ont la hype sur le marché de l’emploi, il faut allouer 20% de son temps de travail la dessus, soit 1 journée par semaine a faire de la veille techno sur ce que linkedin recrute.
    Ces 20% de libre c'est obligatoire en entreprise. Car si tu prends toute la charge que ta boite te donne et que tu es à 100%, le jours ou il y'a un probleme/un rush, tu pourras pas prendre les 110% de charge et tu seras vu par ta hiérarchie comme un incapable, alors que si tu tourne à 80%, tu pourras prendre le challenge temporaire et la tu seras bien vue.
    De plus la tech c'est un monde qui évolue, je me forme à l'ia depuis 2ans et ce que j'apprends en 6 mois c'est déjà obsolète. Dans ma boite on a facile 1ans de retard par rapport aux dernières innovations la dessus, ça va plus vite que le temps que nous avons pour tester et déployer en prod si c'est probant.
    La France est un pays qui redistribue tout sauf de l'espoir.

  12. #152
    Membre éprouvé
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    Novembre 2011
    Messages
    2 467
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2011
    Messages : 2 467
    Billets dans le blog
    3
    Par défaut
    Citation Envoyé par Ryu2000 Voir le message
    Voilà comment ça devrait fonctionner pour les employés de bureau :
    - t'as un contrat de 37h ou 39h par semaine
    - tu gères tes horaires

    Si un jour tu dois te barrer à 14h30, tu te casses à 14h30. T'as pas besoin de prendre une demie journée de congé payé ou RTT.
    Enfin le meilleur truc ça restera de commencer plus tôt pour se barrer à 16h30 tous les jours.
    Finir tôt c'est cool
    Je plains ceux qui finissent à 18h ou plus tard.
    Moi je plains ceux qui démarrent à 8h. Je suis un couche tard/lève tard. Si je pouvais démarrer à midi en mangeant avec les collègues et finir durant la nuit ce serait le pied (c'est ce que j'ai négocié durant mon doctorat). La flexibilité des horaires, ce n'est pas pour finir tôt, ni pour finir tard, mais pour pouvoir adapter le temps de travail à la situation pour optimiser les perfs. C'est ce qu'il faut faire valoir. L'entreprise peut poser des heures de disponibilité garantie, genre 10h-12h et 14h-16h, mais il faut pouvoir s'adapter sur les marges qu'il reste.

    Et que ça n'en déplaise à ceux qui moinssent calvaire en permanence, mais il y a du vrai, notamment :
    Citation Envoyé par calvaire Voir le message
    en parallèle, te former sur les technos qui ont la hype sur le marché de l’emploi, il faut allouer 20% de son temps de travail la dessus, soit 1 journée par semaine a faire de la veille techno sur ce que linkedin recrute.
    Ces 20% de libre c'est obligatoire en entreprise. Car si tu prends toute la charge que ta boite te donne et que tu es à 100%, le jours ou il y'a un probleme/un rush, tu pourras pas prendre les 110% de charge et tu seras vu par ta hiérarchie comme un incapable, alors que si tu tourne à 80%, tu pourras prendre le challenge temporaire et la tu seras bien vue.
    De plus la tech c'est un monde qui évolue, je me forme à l'ia depuis 2ans et ce que j'apprends en 6 mois c'est déjà obsolète. Dans ma boite on a facile 1ans de retard par rapport aux dernières innovations la dessus, ça va plus vite que le temps que nous avons pour tester et déployer en prod si c'est probant.
    Prendre ces 20% de veille techno, ce n'est pas nécessairement pour se préparer à partir comme un voleur. C'est aussi pour se préparer aux évolutions au sein de l'entreprise, être force de proposition, être à jour sur ce qui se fait pour maintenir l'entreprise face à ses concurrents, etc. On peut prendre une perspective pour dire qu'on ne se considère pas à 80% au boulot, mais bien à 100% dont 20% de veille techno. 20% pour moi ça fait beaucoup, mais quand la charge de travaille le permet autant en profiter.

    Je n'en déteste pas moins ses valeurs, mais objectivement il faut savoir établir des marges pour faire face aux imprévus. C'est normal et tous les bons organisateurs s'en assurent.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

  13. #153
    Invité de passage

    Homme Profil pro
    Conseil - Consultant en systèmes d'information
    Inscrit en
    Septembre 2025
    Messages
    246
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vaucluse (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Conseil - Consultant en systèmes d'information
    Secteur : Conseil

    Informations forums :
    Inscription : Septembre 2025
    Messages : 246
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par Matthieu Vergne Voir le message
    Prendre ces 20% de veille techno, ce n'est pas nécessairement pour se préparer à partir comme un voleur. C'est aussi pour se préparer aux évolutions au sein de l'entreprise, être force de proposition, être à jour sur ce qui se fait pour maintenir l'entreprise face à ses concurrents, etc.
    Je suis d'une autre époque, sans doute, mais certes outre la formation continue dont on bénéficiait dans l'entreprise, il valait mieux, pour se démarquer du lot et rester un bon produit sur le marché du travail, sur son temps personnel hors travail, de continuer à s'investir (en temps et en argent : livre, licences...) afin de rester au mieux de ce qui est attendu du marché de l'emploi et dont ce qui n'était pas dans le cadre de la formation d'entreprise.

  14. #154
    Chroniqueur Actualités
    Avatar de Patrick Ruiz
    Homme Profil pro
    Redacteur web
    Inscrit en
    Février 2017
    Messages
    2 441
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Redacteur web
    Secteur : Communication - Médias

    Informations forums :
    Inscription : Février 2017
    Messages : 2 441
    Par défaut Etude : les règles structurelles exposent la fragilité des agents LLM dans la génération de code backend
    Détérioration de performances sous contraintes : les règles structurelles exposent la fragilité des agents LLM dans la génération de code backend, d’après une étude. L’IA est loin de remplacer les développeurs.

    L’on donne à un agent de codage IA une spécification claire : créer une API REST avec ces 19 endpoints. L'agent s'exécute dans un environnement vierge, choisit sa propre structure et produit un résultat qui satisfait 86 % des assertions. Puis l’on ajoute une seule phrase : « Utilise Clean Architecture, PostgreSQL et SQLAlchemy. » Le même agent, le même modèle, la même spécification, et le taux de réussite chute à 46 %. Cet écart a un nom. Un article publié en 2026 par EURECOM et l’université de Basilicate le désigne sous le nom « déclin des performances sous contraintes. » Il vient rappeler à quel point l’intelligence artificielle est loin de remplacer de façon totale les développeurs informatiques humains.

    Ampleur de la baisse due à l'ajout de contraintes

    Les agents de codage IA performants perdent en moyenne 30 points de pourcentage de taux de réussite aux tests de validation lorsque des contraintes structurelles sont ajoutées à un cahier des charges fonctionnel. L'équipe d'EURECOM a mesuré ce phénomène sur les 8 configurations performantes de son étude, définies comme celles obtenant un score supérieur à 50 % sur la base de référence sans contraintes. La baisse observée entre le niveau L0 (cadre web uniquement) et le niveau L3 (architecture + base de données + ORM) est systématique.

    Cette méthodologie permet d'établir clairement les liens de causalité. L'équipe a défini une seule spécification OpenAPI, l'API RealWorld Conduit comprenant 19 opérations CRUD, puis a appliqué des contraintes à quatre niveaux : L0 (framework uniquement), L1 (une contrainte supplémentaire), L2 (deux), L3 (architecture + base de données + ORM). Chaque variante s'exécute dans 8 frameworks sur 80 tâches, avec 291 assertions comportementales par tâche. Les agents s'exécutent dans Docker, le code est évalué par des tests HTTP de bout en bout ainsi que par des vérificateurs statiques qui vérifient si les contraintes d'architecture, de base de données et d'ORM ont bien été respectées. L'évaluation totale a consommé environ 5 milliards de jetons.

    L'écart entre le taux de réussite des assertions et le taux de réussite au premier essai (pass@1) est un résultat qui ne tient pas sur un graphique. OpenHands + MiniMax-M2.5 a atteint 78,6 % d'A% sur les tâches L3 les plus difficiles, mais seulement 8,3 % de pass@1. Près de quatre exécutions sur cinq ont échoué à un moment ou à un autre au cours de la suite de 291 assertions. L'article soulève un point méthodologique important pour quiconque évalue des agents de codage : le taux de réussite à la première tentative (pass@1) est bruité, car une seule assertion échouée réduit à néant l'ensemble de l'exécution ; le taux de réussite (A%) reflète donc les progrès partiels de manière plus stable. Mais l'écart entre les deux indique que même lorsqu'un agent semble compétent en moyenne, la probabilité d'une exécution sans faille dans des conditions de production réelles est inférieure à 10 %.

    Nom : 0.png
Affichages : 9513
Taille : 42,5 Ko

    Ce sont les contraintes des bases de données qui causent la plupart des problèmes

    La majeure partie de cette baisse de 30 points est due à des contraintes liées à la base de données, et non à l'architecture ou aux règles ORM. L'étude utilise un plan d'expérience par paires appariées pour isoler l'effet marginal de chaque contrainte, en comparant des paires de tâches qui ne diffèrent que par une seule contrainte, toutes les autres variables étant maintenues constantes.

    Le chiffre relatif à l'ORM peut sembler trompeur à première vue, et l'article explique pourquoi. L'effet marginal d'un ORM est mesuré par rapport à une base de référence qui inclut déjà une base de données ; il reflète donc le coût lié à l'utilisation forcée d'un ORM à la place du SQL brut, et non le coût de l'interaction avec la couche de données en soi. Lorsque l'équipe a effectué une analyse des défaillances sur les 222 exécutions ayant échoué sur les deux modèles, les défauts au niveau de la couche de données (composition incorrecte des requêtes et erreurs d'exécution ORM) représentaient environ 45 % de toutes les erreurs logiques. La base de données est la partie la plus difficile, que l'on utilise ou non un ORM par-dessus.

    Les erreurs logiques ont dominé les échecs avec environ 71 % sur les deux modèles analysés, le reste se répartissant entre les échecs de démarrage du serveur (12 à 21 %), les implémentations incomplètes et une poignée d'agents bloqués dans des boucles. Les agents ne rencontraient pas d'échec au démarrage. Ils démarraient des serveurs qui traitaient des requêtes mal formées, des en-têtes d'authentification avec des majuscules et minuscules incorrectes, et des modèles ORM dont le modèle se souvenait à moitié à partir des données d'entraînement. Qwen3-Coder-Next, en particulier, a montré que 22,6 % de ses erreurs logiques étaient dues à une mauvaise configuration de l'authentification, principalement un analyse syntaxique incorrecte du préfixe du jeton.

    Nom : 1.png
Affichages : 1870
Taille : 21,2 Ko

    Le framework web choisi comme référence peut faire varier le taux de réussite des tests de 33 points avant même que d'autres contraintes ne soient ajoutées.

    Express, Koa et Flask constituent clairement le trio de tête. Ils partagent une interface API minimaliste et explicite, où l'agent doit définir directement le routage, l'injection de dépendances et la validation. FastAPI pénalise l'agent pour les aspects que les utilisateurs apprécient généralement : la validation basée sur les indications de type, les conventions d'injection de dépendances et la détection automatique exigent de l'agent qu'il se souvienne des idiomes du framework acquis lors de la pré-formation plutôt que de les définir explicitement. Django paie un prix similaire pour privilégier les conventions plutôt que la configuration. Hono est à la traîne car l'environnement de test fonctionne sur Node.js, où Hono a besoin d'un adaptateur de compatibilité sous-représenté dans les données d'entraînement.

    Le schéma est le même que celui dont parle Anthropic dans ses conseils sur l'ingénierie contextuelle : les agents échouent non pas lorsque la tâche est difficile, mais lorsque le contexte pertinent est implicite. Ce que les guides d'ingénierie contextuelle d'Anthropic omettent de mentionner, c'est que le terme « implicite » inclut les conventions de framework ancrées dans la mémoire musculaire des développeurs. Pour un développeur Django, INSTALLED_APPS est une évidence. Pour un agent générant du code à partir de zéro, c'est l'une des milliers de valeurs par défaut du framework qu'il doit deviner.

    Nom : 2.png
Affichages : 1877
Taille : 19,0 Ko

    Prendre en compte toutes ces contraintes est ce qui s’appelle mettre sur pied un logiciel fonctionnel, prêt à être déployé en production et maintenable. C’est le rôle d’un ingénieur logiciel humain qui ne se limite pas à de la complétion de code dans laquelle les agents IA sont excellents.

    « L'intelligence artificielle peut coder, mais elle n'est pas capable de construire un logiciel fonctionnel et prêt à être mis en production, sans intervention humaine », déclare Matias Heikkilä. Dans une récente analyse sur les agents d'IA de codage, il affirme que de nombreux entrepreneurs recherchent activement des personnes pouvant faire fonctionner le code généré par l'IA.

    Il a déclaré avoir lui-même déjà reçu plusieurs de ces demandes. Selon Matias Heikkilä, ces offres d'emploi d'un nouveau genre démontrent que l'IA est peut-être douée pour le prototypage ou la création de démos, mais elle ne peut actuellement pas créer de logiciel, c'est-à-dire faire de l'ingénierie logicielle.

    Selon une étude publiée par Uplevel en septembre 2024, l'utilisation de GitHub Copilot a entraîné une augmentation de 41 % des bogues. Les personnes qui ont utilisé GitHub Copilot n'ont pas été soulagées de l'épuisement professionnel, ce qui indique l'efficacité limitée de l'outil dans la réduction du stress lié au travail. Les développeurs passent désormais plus de temps à examiner le code généré par l'IA, ce qui pourrait contrebalancer tout gain de temps.

    Son analyse a suscité un grand débat dans la communauté, de nombreux commentaires soutenant cette thèse. Les entreprises telles que Microsoft et Amazon investissent massivement dans l'IA générative et force leurs employés à adopter cette technologie en interne pour l'écriture de code. Cependant, plusieurs se plaignent des limites critiques des agents d'IA de codage, affirmant que ces outils augmentent la charge de travail au lieu de la réduire.

    « Je suis abonné à un LLM de pointe, mais ces derniers temps, je ne l'utilise qu'environ 25 % du temps. À un certain niveau, les problèmes d'architecture logicielle que je résous, en m'appuyant sur des décennies de compréhension de la conception maintenable, performante et vérifiable des structures de données, des types et des algorithmes, sont des choses que les LLM ne peuvent même pas commencer à appréhender », a écrit un commentateur.

    Des humains sont embauchés pour nettoyer le code écrit par l'IA

    Avec l'essor d'outils d'IA tels que ChatGPT, il est désormais possible de décrire un programme en langage naturel (français par exemple) et de demander au modèle d'IA de le traduire en code fonctionnel. Andrej Karpathy, ancien chercheur d'OpenAI, a donné un nom à cette pratique : le « vibe coding ». Cette pratique gagne rapidement du terrain dans les milieux technologiques. Et Google a même déclaré que 25 % de son code est généré par l'IA.

    Nom : 3.png
Affichages : 2642
Taille : 201,3 Ko

    Le vibe coding attire l'attention parce qu'elle pourrait abaisser la barrière à l'entrée de la création de logiciels. Mais des questions subsistent quant à la capacité de cette approche à produire de manière fiable un code adapté aux applications du monde réel. Les études montrent que l'IA est loin d'être à la hauteur.

    C'est là que des entreprises comme Harsh Kumar interviennent. Harsh Kumar explique que ses clients lui mettent souvent à disposition des applications ou sites Web générés par une IA et qui se sont avérés instables ou totalement inutilisables. Son rôle : réparer la casse ou remettre de l’ordre dans le code généré par l’IA afin d’aboutir à un produit logiciel fonctionnel. Cette entreprise basée en Inde a déclaré qu'elle a un nombre important de clients.

    Harsh Kumar entre ainsi dans la nouvelle catégorie de titre d’emploi dénommée spécialiste en nettoyage de code généré par l’IA. L’humain revient donc au secours de l’IA que les entreprises tentent de vendre comme une révolution et sur laquelle certains dirigeants s'appuient pour réduire leurs effectifs.

    À l'heure actuelle, la plupart des projets d'IA échouent. Selon le MIT, le taux d'échec de 95 %. Malgré la ruée vers l'intégration de nouveaux modèles d'IA puissants, environ 5 % des programmes pilotes d'IA parviennent à accélérer rapidement leurs revenus ; la grande majorité stagne, n'ayant que peu ou pas d'impact mesurable sur le compte de résultat. Ce constat amer fait écho à des études récentes selon lesquelles les capacités de l'IA sont surestimées.

    Source : Etude

    Et vous ?

    Les chiffres mis en avant par cette étude sont-ils pertinents ? Sont-ils cohérents avec la réalité dont vous êtes au fait avec les agents de codage IA ? Partagez vos expériences en tant que développeur de logiciels

    Voir aussi :

    L'IA peut-elle remplacer des développeurs professionnels ? Gemini CLI de Google et Replit ont commis des erreurs qui ont entraîné la suppression des données, inventant des répertoires, falsifiant des tests

    L'IA n'est pas prête à remplacer les développeurs humains pour le débogage, selon des chercheurs de Microsoft. Elle ne peut pas déboguer les logiciels de manière fiable même si elle a accès à des outils

    Les assistants d'IA de codage font-ils vraiment gagner du temps aux développeurs ? Une étude suggère que ces outils n'augmentent pas la vitesse de codage, mais augmentent significativement le taux de bogues
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

Discussions similaires

  1. Réponses: 77
    Dernier message: 03/07/2024, 08h29
  2. Réponses: 0
    Dernier message: 30/05/2018, 00h18
  3. Réponses: 22
    Dernier message: 04/05/2018, 16h29
  4. Réponses: 20
    Dernier message: 06/10/2017, 15h05
  5. Réponses: 6
    Dernier message: 30/09/2009, 10h26

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo