Discussion :

[Mathis Lucas]

Les assistants d'IA de codage font-ils vraiment gagner du temps aux développeurs ? Une étude suggère que ces outils n'augmentent pas la vitesse de codage
mais augmentent significativement le taux de bogues

Une étude remet en cause les affirmations selon lesquelles les outils d'IA de codage améliorent la productivité des développeurs. Elle révèle que l'utilisation de GitHub Copilot a entraîné une augmentation de 41 % des bogues, soulevant des inquiétudes quant à la qualité du code. Malgré la diminution des heures de travail pour les groupes de contrôle et de test, ceux qui ont utilisé GitHub Copilot n'ont pas été soulagés de l'épuisement professionnel, ce qui indique l'efficacité limitée de l'outil dans la réduction du stress lié au travail. Les développeurs passent désormais plus de temps à examiner le code généré par l'IA, ce qui pourrait contrebalancer tout gain de temps.

Les outils d'IA de codage ont un faible impact sur la productivité des développeurs

Le débat se poursuit au sein de la communauté des développeurs, avec des opinions divergentes sur les véritables avantages en matière de productivité des assistants d'IA de codage, soulignant la nécessité d'une évaluation minutieuse de leur impact dans le monde réel. Si certaines entreprises ont fait état de gains de productivité significatifs grâce aux outils d'IA, d'autres ont constaté qu'ils introduisaient des erreurs et compliquaient également les processus de débogage. Les développeurs débutants ont souvent du mal à égaler l'efficacité des développeurs confirmés, même lorsqu'ils se font aider par les assistants d'IA.

Les outils de codage ont été un cas d'utilisation précoce évident dans la ruée vers l'IA générative. Cependant, une étude publiée récemment par la société d'analyse Uplevel indique que les améliorations de productivité promises sont loin d'être au rendez-vous, si tant est qu'elles existent. Uplevel, qui fournit des informations sur les données de codage et de collaboration, rapporte que l'utilisation de GitHub Copilot a également introduit 41 % de bogues supplémentaires.

« Cela suggère que Copilot peut avoir un impact négatif sur la qualité du code. Les responsables de l'ingénierie peuvent souhaiter creuser davantage pour trouver les PR avec des bogues et mettre en place des garde-fous pour l'utilisation responsable de l'IA générative », indique le rapport intitulé "Can Generative AI Improve Developer Productivity".

L'étude a mesuré le temps de cycle des demandes de fusion (pull request - PR), c'est-à-dire le temps nécessaire pour fusionner le code dans un dépôt, et le débit des PR, c'est-à-dire le nombre de demandes de fusion fusionnées. Elle n'a révélé aucune amélioration significative pour les développeurs utilisant GitHub Copilot. Ce résultat est l'un des trois énumérés par l'entreprise, qui a déclaré avoir mené la recherche pour répondre à trois questions :

• l'accès à GitHub Copilot aide-t-il les développeurs à produire du code plus rapidement ?
• GitHub Copilot aide-t-il les développeurs à produire un code de meilleure qualité ?
• GitHub Copilot atténue-t-il l'impact de l'épuisement des développeurs ?

Dans le cadre de l'étude, Uplevel a utilisé les données générées par ses clients et a comparé la production d'environ 800 développeurs utilisant GitHub Copilot sur une période de trois mois à leur production sur une période de trois mois avant l'adoption. Les deux autres conclusions d'Uplevel sont les suivantes :

Pas de changement significatif dans les mesures d'efficacité

« En comparant le temps de cycle, le débit et la complexité des RP avec les RP avec tests, GitHub Copilot n'a ni aidé ni nui aux développeurs de l'échantillon, et n'a pas non plus augmenté la vitesse de codage. Bien que certaines de ces mesures soient statistiquement significatives, le changement réel n'a pas eu d'incidence sur les résultats techniques, par exemple le temps de cycle a diminué de 1,7 minute », indique le rapport d'Uplevel.

Atténuation du risque d'épuisement professionnel

L'indicateur « Sustained Always On » d'Uplevel (temps de travail prolongé en dehors des heures normales et indicateur avancé d'épuisement professionnel) a diminué dans les deux groupes. Mais il a diminué de 17 % pour ceux qui avaient accès à GitHub Copilot et de près de 28 % pour ceux qui n'y avaient pas accès.

Une étude publiée par GitHub a abouti à des conclusions différentes

« L'étude d'Uplevel a été motivée par la curiosité suscitée par les affirmations selon lesquelles les assistants d'IA de codage deviendraient omniprésents », affirme Matt Hoffman, chef de produit et analyste de données au sein de l'entreprise. Une étude de GitHub publiée en août 2024 a révélé que 97 % des ingénieurs logiciels, des développeurs et des programmeurs déclaraient utiliser des assistants de codage IA. D'autres études ont également donné des résultats similaires.

Dans le cadre de son étude, GitHub rapporte que plus de 97 % des personnes interrogées ont déclaré avoir utilisé des outils d'IA de codage au travail à un moment ou à un autre, un résultat qui se vérifie dans les quatre pays. Toutefois, un pourcentage plus faible de répondants ont déclaré que leur entreprise encourageait activement l'adoption d'outils d'IA ou en autorisait l'utilisation, ce qui varie d'une région à l'autre. Voici les principales conclusions de l'enquête :

• la vague d'IA générative dans le développement de logiciels continue de croître. L'enquête a été élargie à 2 000 répondants et presque tous (plus de 97 %) ont déclaré avoir utilisé ces outils à un moment ou à un autre, que ce soit au travail ou en dehors. (Ce qui ne veut pas dire que toutes les entreprises ont approuvé l'utilisation de ces outils) ;
  
• bien que les répondants à l'enquête affirment que leur entreprise accueille favorablement l'IA, des progrès restent à faire. Les données de l'enquête indiquent qu'une forte majorité (59 - 88 %) des répondants, tous marchés confondus, ont déclaré que « leur entreprise encourage activement ou autorise l'utilisation de ces outils ».
  
• les équipes de développement logiciel reconnaissent plus d'avantages aux outils d'IA de codage qu'on ne l'a dit. Il s'agit notamment de la création de logiciels plus sûrs, de l'amélioration de la qualité du code, d'une meilleure génération de cas de test et d'une adoption plus rapide des langages de programmation. En fin de compte, cela s'est traduit par un gain de temps qu'elles ont pu consacrer à des tâches plus stratégiques.

« Les personnes interrogées dans le cadre de notre enquête ont déclaré que l'IA les aidait à travailler de manière plus productive, en utilisant le temps gagné pour concevoir des systèmes, collaborer davantage et mieux répondre aux exigences des clients. L'IA ne remplace pas les emplois humains, elle libère du temps pour la créativité humaine. Passons maintenant à la recherche », a déclaré que Kyle Daigle, directeur des opérations de GitHub, dans un billet de blogue.

Cependant, l'étude publiée par Uplevel suggère, quant à elle, que si les mesures de productivité sont solides, les développeurs passent désormais plus de temps à examiner le code généré par l'IA, ce qui pourrait contrebalancer tout gain de temps. Avant Uplevel, GitClear avait rapporté au début de l'année que l'utilisation des assistants d'IA pour la programmation ne contribue pas toujours à la qualité du code produit. Au lieu de cela, ils introduisent plus de bogues.

Les chercheurs de GitClear ont constaté que les outils d'IA comme GitHub Copilot ne donnent en fait que des suggestions pour ajouter du code. Aucune suggestion n'est faite pour la mise à jour ou la suppression de code. Il en résulte notamment une quantité importante de code redondant. Ils ont également constaté une forte augmentation du "code churn". Cela signifie que le code est fréquemment modifié, ce qui est généralement un mauvais signe pour la qualité.

« Chaque nouvelle itération du code généré par l'IA finit par être moins cohérente lorsque différentes parties du code sont développées à l'aide d'invites différentes. Il devient de plus en plus difficile de comprendre et de déboguer le code généré par l'IA, et le dépannage devient si gourmand en ressources qu'il est plus facile de réécrire le code à partir de zéro que de le réparer », explique un utilisateur qui affirme que l'IA n'améliore pas pour l'instant la productivité.

Une stratégie prudente d'adoption des assistants d'IA de codage

L'accès à des outils d'IA comme GitHub Copilot a soulevé un certain nombre de questions importantes. L'IA aidera-t-elle les développeurs à livrer plus rapidement ? Peut-elle les aider à écrire un meilleur code et à éviter l'épuisement professionnel ? « Pas encore pour cette population. Cependant, l'innovation évolue rapidement, et GitHub a constaté que Copilot améliore la satisfaction des développeurs », a répondu Uplevel dans son rapport. Les responsables de l'ingénierie pourraient avoir intérêt à adopter une stratégie prudente d'adoption de Copilot afin de se préparer à de nouvelles avancées de l'outil :

• fixez des objectifs précis : quels sont les résultats précis que vous souhaitez obtenir en intégrant GitHub Copilot dans le flux de travail de votre équipe ?
• proposez une formation à vos équipes : la formation initiale peut être un bon moyen d'expliquer où GitHub Copilot doit être utilisé et où il ne doit pas l'être, et quelles sont les mesures de protection mises en place en tant qu'organisation ;
• continuez à expérimenter l'IA générative : recherchez les cas d'utilisation spécifiques dans lesquels Copilot peut être utile et les messages-guides qui donnent les meilleurs résultats. Partagez ces résultats avec l'ensemble de votre organisation afin que les succès puissent être reproduits ;
• surveillez les mesures d'efficacité technique sur lesquelles GitHub Copilot pourrait avoir un impact : commencez à effectuer des tests A/B de votre côté afin d'obtenir des informations objectives et quantitatives permettant de déterminer si l'IA améliore réellement la productivité des développeurs et/ou vous aide à atteindre vos objectifs opérationnels.

Sources : Uplevel, GitHub

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous des assistants d'IA de codage ? Ces assistants sont-ils utiles ? Sont-ils fiables ?
Utilisez-vous l'un de ces outils d'IA pour écrire du code ? Si oui, quel impact cet outil a-t-il sur votre productivité ?
Que pensez-vous des divergences relevées par les études sur l'impact des assistants d'IA sur la productivité des développeurs ?

Voir aussi

L'utilisation de l'assistant d'IA GitHub Copilot pour la programmation entraîne une baisse de la qualité globale du code et une quantité importante de code redondant, selon une étude

92 % des développeurs utiliseraient des outils d'intelligence artificielle, selon une enquête de GitHub auprès des développeurs

Les défis croissants du code généré par l'IA : le code généré par l'IA pourrait augmenter la charge de travail des développeurs et accroître les risques, selon Harness

[OuftiBoy]

et bonjour à tous.

Depuis que l'IA est sur toutes les lèvres, on a droit à un article qui nous dit que c'est la panacée, suivit d'un article disant excatement le contraire.

Soit, il faut bien nourrir le site, ce qui succite le débat. Mais devant toute cette frénésie autours de l'IA, ne serait-il pas temps de faire une pause et de débattre du fond des problèmes ou des avantages de ce que propose l'IA, et plus particulièrement de l'IAG ?

L'IA est utilisée dans plusieurs domaines, qui ont des "spécificités" qui lui sont propre. Je vais prendre 4 domaines.

• Dans l'imagerie médicale, l'IA peut comparer des milliers de radiographies pour assister un docteur spécialisé dans ce domaine, et l'aider a voir ce qu'il n'aurait pas vu, et permettre de poser un diagnostique plus affiné, permettant d'en déduire le meilleur traitement a effectuer par la suite. C'est une bonne chose, tant pour le patient, le docteur et le budget nécessaire. Cette IA peut faire un travail correct, car les radio qu'on lui a soumise on été préalablement "validée" et lui sont fournies avec le diagnostique donné suite à cette radio. Il y a donc une certaine "fiabilité" des données en entrée. Et dans ce domaine qui se nomme "imagerie médical", cela existait déjà bien avant la frénésie autours de l'IA.
  
• Dans la production de texte, le principe de l'IAG, est de fournir/déduire, mot après mot, et en se basant sur la suite des mots précédents, le mot suivant du texte en question. Là aussi il y a un "domaine" et une expertise qui est nécessaire. Si le texte qu'on veut générer est de l'ordre d'un roman de science-fiction, les entrées donnée à l'IA devrait, éviter de se baser sur des recettes de cuisine française, chinoise ou arabe. Ici aussi, l'importance de sur quoi a été fournie l'IA est primordiale. Mais c'est déjà plus vaste et donc plus difficile a contrôler. Le danger étant de 2 natures. Soit les données en entrée sont bien filtrées, et ce qui en ressortira manquera fortement d'imagination, soit, si elles mal filtrées, des absurdités (ou Hallucination) seront fortement présente en sortie. Il n'y a donc pas vraiment d'intérêt à l'utilisation d'une IA.
  
• Pour un documentaire sur un sujet précis, l'IA qui aide a produire ce documentaire, ne devrait être alimentée que par données précises est validées existante sur le sujet du documentaire. Ici aussi, une recette de choucroute alsacienne ne peut pas apporter à l'IA de quoi sortir un texte pertinent sur le sujet/domaine d'un documentaire. Comme dans le point précédent, l'IA produira un documentaire ressemblant très fortement à d'autres, où sera plus ou moins "farfelu". Quelle est l'avantage de l'IA ?
  
• De la cas d'une aide au "codage", l'IA ne devrait également qu'être alimentée par des codes sources validés, exempts de bug, et ne portant que sur le problème que le code doit résoudre. Ce qui est humainement impossible. On utilise des techniques très différente pour construire un site Web ou un compilateur.
  

Il me semble dont, que pour qu'une IAG soit fiable, qu'il lui faut un entrainement de qualité, et qu'à de rares execptions près, cette "qualité" est difficilement réalisable, pour ne pas dire humainement impossible. C'est certainement la cause des fameuses Hallucinations, car une IAG qui a pour entrée tout ce qui est disponible sur internet, n'est pas capable de connaitre le vrai du faux des informations collectées.

Dans notre domaine, le développement, l'aide d'une IAG pour aider au développement d'un site web, ou du guidage précis d'un missile, semble donc une mauvaise bonne idée. Le code générer par une IAG doit donc être scupuleusement inspecté, ce qui demande certainement autant de temps qu'une solution, écrite à la main par un humain ayant concience de la nature complète du problème a réssoudre.

Dans le développement, comme dans d'autres domaines, avoir une connaissance "métier" du domaine spécifique dans lequel on travail est donc également très importante. Ce "domaine/métier" semble difficile a spécifier pour une IAG. Il est déjà assez difficile pour un humain de comprendre la demande d'un client, d'en faire une spécification, puis de générer du code pour cette spécification. Cela demande souvant des aller-retour entre ce que veut le client, la maise à jour de la spécification, et donc de comment implémenter cette spécification.

Si l'IA peut aider, dans le domaine du développement, ce ne peut-être fait relativement sereinement, que sur des petits bouts de code que le développeur doit ensuite intégré dans son propre code. Si l'architecture du code a été founie par l'IA, il faut à ce dévoloppeur comprendre cette dernière pour pouvoir y insérer du code générer par l'IAG.

Dans la balance productivité/qualité, le rôle d'un bon développeur est donc primordiale. Il est facile d'en déduire qu'au fur et à mesure que disparaîtront ces développeurs compétants, la qualité ne pourra que se dégrader.

D'une manière générale, l'IA nous fait entrer petit à petit dans un cercle vicieux, où l'IA sera de plus en plus présente, et les moyens de contrôler son travail de moins en moins présents.

Ceci tout simplement parce que ce qui fait la "nature" même d'un bon développeur, c'est sa créativité, sa profondeur d'analyse, sa réfexion, sa compétence, son expérience. Et je connais peu de développeurs qui seraient attirés par faire une maintenance permanente d'un code générer par une IA.

Un développeur aime créer, ce qui lui sera enlever par l'IA. Tout comme d'en d'autres domaines, la créativité s'éteindra petit à petit, jusqu'à un point de non retour. Il me semble donc urgent d'attendre avant qu'il ne soit trop tard.

BàV et Peace & Love.

[Pierre Louis Chevalier]

Le fait de pouvoir lire sur developpez.com des études qui disent le contraire c'est un plus, contrairement aux médias d'opinion qui ne vont s'appesantir que sur un seul coté de l'histoire.
Encore plus utile que les études, c'est de pouvoir lire ici sur le forum du club les témoignages des vrais professionnels, c'est bien plus intéressant que de lire des articles moisis publiés dans les médias génériques écris n'importe comment par des journalistes qui n'y connaissent rien.

A titre personnel, je suis témoin du fait qu'en entreprise le code généré par l'IA est une plaie, c'est bourré de failles, mal écrit, et c'est suffisamment illisible pour être presque impossible à corriger et à faire évoluer, c'est donc un désastre.

Donc après le junior imposteur qui copie du code merdique trouvé sur stackoverflow, voila le baltringue qui colle en entreprises du code donné par chatgpt, qui lui même à pompé un code merdique trouvé sur stackoverflow, quel progrès !
Après l'IA peut être utile dans certains cas, comme par exemple aider à trouver des bugs, mais ensuite c'est au développeur de corriger et de fournir un code fiable, bien écris et lisible.

Du coup les entreprises ne veulent plus embaucher de juniors biberonnés à l'IA, ils préfèrent garder leur vieux développeurs qui codent encore à la main à l'ancienne, avec un cerveau et un clavier

[OuftiBoy]

Le fait de pouvoir lire sur developpez.com des études qui disent le contraire c'est un plus, contrairement aux médias d'opinion qui ne vont s'appesantir que sur un seul coté de l'histoire.
Encore plus utile que les études, c'est de pouvoir lire ici sur le forum du club les témoignages des vrais professionnels, c'est bien plus intéressant que de lire des articles moisis publiés dans les médias génériques écris n'importe comment par des journalistes qui n'y connaissent rien.

Je suis bien d'accord, c'était juste en introduction à la suite, rien d'une "attaque" contre dvp.com, loin de là, qui reste un des seuls (si pas le seuls) site francophone qui n'est pas "orienté" idéologiquement. Quand je vois ce qu'est devenu NextImpact (Next), je suis attristé. D'ailleurs, je n'y vais plus trop souvent.

A titre personnel, je suis témoin du fait qu'en entreprise le code généré par l'IA est une plaie, c'est bourré de failles, mal écrit, et c'est suffisamment illisible pour être presque impossible à corriger et à faire évoluer, c'est donc un désastre.

C'est un peu ce que j'essayais d'expliquer.

Donc après le junior imposteur qui copie du code merdique trouvé sur stackoverflow, voila le baltringue qui colle en entreprises du code donné par chatgpt, qui lui même à pompé un code merdique trouvé sur stackoverflow, quel progrès !
Après l'IA peut être

Parfaitement d'accord, c'est pour ça que je concluais qu'il est urgent d'attendre.

BàT et Peace & Love.

[pokinwilly]

• Dans l'imagerie médicale, l'IA peut comparer des milliers de radiographies pour assister un docteur spécialisé dans ce domaine, et l'aider a voir ce qu'il n'aurait pas vu, et permettre de poser un diagnostique plus affiné, permettant d'en déduire le meilleur traitement a effectuer par la suite. C'est une bonne chose, tant pour le patient, le docteur et le budget nécessaire. Cette IA peut faire un travail correct, car les radio qu'on lui a soumise on été préalablement "validée" et lui sont fournies avec le diagnostique donné suite à cette radio. Il y a donc une certaine "fiabilité" des données en entrée. Et dans ce domaine qui se nomme "imagerie médical", cela existait déjà bien avant la frénésie autours de l'IA.

Même cette application, tu peux la passer en rouge :
cf https://x.com/docteur_TJ/status/1889288922510848295 qui explique que non seulement dans ce domaine, l'IA fait des grosses erreurs, mais qu'en plus, au fil des années, le niveau des humains a baissé, au point que maintenant certains ne font pas mieux que l'IA et laissent repartir des patients avec des fractures non diagnostiquées.

Dans le dev, j'entends parler de SSII qui ont viré les dev juniors pour ne garder que les séniors qui utilisent des IA pour générer le code, et ils corrigent par-dessus (comme les radiologues séniors d'il y a 10 ans).
Si on se projette dans 10 ans, l'IA codera mal mais on aura plus personne pour faire mieux.

L'IA sera-t-elle la cause du déclin de notre civilisation ?

[OuftiBoy]

Même cette application, tu peux la passer en rouge :
cf https://x.com/docteur_TJ/status/1889288922510848295 qui explique que non seulement dans ce domaine, l'IA fait des grosses erreurs, mais qu'en plus, au fil des années, le niveau des humains a baissé, au point que maintenant certains ne font pas mieux que l'IA et laissent repartir des patients avec des fractures non diagnostiquées.

Oui, il faut faire attention. L'imagerie médicale existait bien avant qu'on ne plaque dessus le terme IA. En gros, le spécialsite a son avis, et le traitement d'image lui donne des informations supplémentaires. Cela reste de sa responsabilité de faire un bon diagnostic, et d'adapter le traitement. Que le niveau d'expertisse humaine décroisse, je veux bien le croire, et dans tous les domaines où il est trop assisté. Cette baisse d'expertisse, il faut bien sûr lutter contre, mais c'est un autre sujet. En gros, il ne faut pas se faire dépasser par les outils qui nous assistent. Pour couper des arbres, on le fait avec une tronsoneusse à la place d'une hache. C'est un progrès, mais celui qui se sert de la tronsonneusse doit toujours savoir comment l'arbre va tomber.

Dans le dev, j'entends parler de SSII qui ont viré les dev juniors pour ne garder que les séniors qui utilisent des IA pour générer le code, et ils corrigent par-dessus (comme les radiologues séniors d'il y a 10 ans).
Si on se projette dans 10 ans, l'IA codera mal mais on aura plus personne pour faire mieux.

Oui, mais si on ne forme pas de juniors, il n'y aura plus de séniors assez vite. C'est une vue à court terme qui malheureusement se généralise.

L'IA sera-t-elle la cause du déclin de notre civilisation ?

Notre "époque" n'a pas attendu l'IA pour décliner, et oui, l'IA sera une autre pierre en faveur de ce déclinement. C'est une volonté de nos dirigeants. C'est un phénomène mondial, à de rares exceptions. J'ai bien une idée du but de la manoeuvre...

BàT et Peace & Love.

[jnspunk]

GitHub Copilot, que j'utilise (à ne pas confondre avec le Copilot de Bing), m'aide énormément à gagner du temps, notamment pour rédiger des commentaires. Il est aussi très utile lorsque j'ai besoin d'écrire du code dans un langage dont j'ai oublié la syntaxe. Pour la rédaction d'aides, il s'avère également très pratique.

Cela dit, ce ne sont que des exemples. Je ne demande jamais à l'IA d'écrire des blocs de code complets pour moi. Je la considère plutôt comme une extension de mon esprit, ce qui me permet d'être bien plus efficace, au point de difficilement m'en passer.

[axel1818]

je l utilise dans le codage, uniquement lorsque je n y connais rien sur le sujet de ce que je veux écrire. Évidemment, les tests et verifications qui sont exhaustifs durent très longtemps. Tant que les ia ne sont pas capables de s auto vérifier, car ils ne sont que des copieurs colleurs, donc je n ai aucune confiance dans leurs resultats

[doc]

Je ne suis pas un professionnel de l'informatique, juste un lobbyiste de longue date. En ce moment j'apprends le Rust à l'aide de rustrover et de l'academy jetbrain. J'ai connu l'époque ou l'on apprenait un langage juste avec des bouquins (basic, assembleur) avant l'avènement de l'internet. Puis la possibilité de documentations avec internet, les forums (DVP, stackoverflow).

L'IA est une nouvelle étape majeure; toujours sur rustrover, je me sers de Cody qui utilise Claude (et qui me semble bien plus pertinent que chatgpt 3.5), et qui a une fonction dénommée 'code smell' : elle donne des indications d'amélioration du code, qui peuvent être pertinentes ou non. On peut le questionner sur la mise en oeuvre de celles-ci ensuite. De même quand le code a une erreur, on peut demander une réponse pour y remédier. Pour l'apprentissage c'est un gain de temps très important à condition de rester critique, car la réflexion et l'intelligence d'un programme reste l'apanage du cerveau du programmeur.

[vertex.3F]

je l utilise dans le codage, uniquement lorsque je n y connais rien sur le sujet de ce que je veux écrire. Évidemment, les tests et verifications qui sont exhaustifs durent très longtemps. Tant que les ia ne sont pas capables de s auto vérifier, car ils ne sont que des copieurs colleurs, donc je n ai aucune confiance dans leurs resultats

oui l'IA ça peut etre bien pour demarrer sur un sujet (demarrer en programmation informatique, demarrer une presentation powerpoint pour laquelle on est en panne d'idee)

il faut rester capable d'analyser la production de l'IA pour en écarter la part absurde et remodeler la part raisonnable, ce qui necessite des competences plus avancees qui manquent au debutant, donc pas de miracle avec l'IA il faut bosser :-)

[PhilippeGibault]

Notre métier n'est pas de faire du code qui marche, mais de faire du code qui dure.

Et la nuance est là.

Un code qui dure est un code qui répond au besoin fonctionnel, mais qui est durable dans le temps.

Mais un code qui marche n'est pas forcement durable dans le temps.

Je considère que notre métier consiste aussi à laisser la meilleure architecture de code pour qu'elle soit la plus durable possible.

Surtout que la dette technique a un coût:
https://www.premaccess.com/qu-est-ce...-la-maitriser/

C'est la différence entre un bon développeur qui va challenger son code pour le faire tenir sur la durée, et un mauvais développeur qui va juste faire le minimum et faire un machin-chose qui marche, ne faisant même pas de TU des fois.

La dernière catégorie est appelé le "Monkey Codeur".

De mon point de vue, je pense que l'IA va remplacer le Monkey Codeur. Et vu les enjeux économiques que représente la dette technique.
Vu les pertes économiques mais aussi sociales que représente la dette technique, je ne pleure pas la disparition du Monkey Codeur.

Par contre, je ne m'en fait pas pour le codeur qui essaye de challenger son code pour le faire durer.
Car là, il faut une intelligence humaine.

Et là, je ne pense pas que l'IA peut remplacer.

[Axel Mattauch]

Notre métier n'est pas de faire du code qui marche, mais de faire du code qui dure.

Et la nuance est là.

[...]
C'est la différence entre un bon développeur qui va challenger son code pour le faire tenir sur la durée, et un mauvais développeur qui va juste faire le minimum et faire un machin-chose qui marche, ne faisant même pas de TU des fois.

La dernière catégorie est appelé le "Monkey Codeur".

De mon point de vue, je pense que l'IA va remplacer le Monkey Codeur. Et vu les enjeux économiques que représente la dette technique.
Vu les pertes économiques mais aussi sociales que représente la dette technique, je ne pleure pas la disparition du Monkey Codeur.

Par contre, je ne m'en fait pas pour le codeur qui essaye de challenger son code pour le faire durer.
Car là, il faut une intelligence humaine.

Et là, je ne pense pas que l'IA peut remplacer.

Éclairage très pertinent.

Pour corroborer ce point de vue, je pense qu'on peut le mettre en rapport avec l'évolution technique, qui d'industrielle (l'outil industriel est fait pour durer, investissements sur les compétences,...) est devenue une démarche financière ( vendre vite, produits mal conçus en évolution permanente, bénéfices financiers immédiats...).

Pour le fast business, il faut faire illusion que ça marche, faire croire que vous en avez besoin, remettre en cause le produit dès qu'il est acheté pour en vendre un autre, etc.

Monkey Codeur et IA sont parfaits pour générer des produits à obsolescence intégrée.

[DrHelmut]

Comme tout nouvel outil, il faut apprendre à s'en servir. Copilot ne fait pas de miracle, il ne comprend rien à ce qu'il propose, il faut juste des rapprochements sémantiques et statistique.

Si tu ne sais pas coder, que toi même tu ne comprends pas ce qu'il te pond et que tu valides, à qui revient la faute au final ?

À côté de ça, l'outil étant capable de s'inspirer de ce que tu écris, des onglets ouverts, etc, bien utilisé, c'est un gain de temps de taré sur certaines tâches. Un très bon exemple, c'est quand tu reprends du code legacy avec d'énormes manques en terme de tests unitaires en vu d'un refactoring. Tu écris les premiers tout seul, et rapidement, le copilot est capable de proposer en grande part le code des tests à venir. Jamais parfait bien sûr, et c'est normal, et ça ne le sera jamais car, et on ne le répétera jamais assez : il n' y a pas d'intelligence dans ce qu'on appelle IA d'aujourd'hui

[benji81]

Bonjour, je suis nouveau sur le serveur et j'entame une reconversion professionnelle en tant que développeur web, sachant que pour l'instant je suis entrain d'apprendre le HTML5 et CSS3. Pour répondre au sujet, moi l'IA m'aide a comprendre les notions, a me générer des petits exercices et parfois je lui demande car je suis bloqué. Je sais que ce n'est pas un language de programmation mais il faut bien commencer par les bases. Cependant c'est quand même bien utile mais on sait jamais comme j'ai vu plus haut, si le code que je produis est propre et maintenable 😅

[JP CASSOU]

Le code généré par l'IA ne fonctionne pas dans la plupart du temps
(exemple: Gradient conjugué multithreadé en Pascal)

[vertex.3F]

Le code généré par l'IA ne fonctionne pas dans la plupart du temps
(exemple: Gradient conjugué multithreadé en Pascal)

pareil pour le langage naturel dès lors qu'on demande a l'IA d'articuler beaucoup de phrases

[Patrick Ruiz]

« L’IA ne remplacera pas les développeurs humains de sitôt », d’après un responsable d’une entreprise IT
Opposé à certains intervenants selon lesquels l’on n’a plus besoin de développeurs à cause de l’IA

Les discussions battent leur plein à propos de l’intelligence artificielle dans le domaine du génie logiciel. Un sujet central : son impact dans la filière. La technologie divise. Certains acteurs la considèrent comme un outil qui ne remplacera pas les développeurs humains de sitôt. C’est une sortie à controverse quand on sait qu’elle vient en opposition à celles de plusieurs acteurs du domaine qui laissent penser que l’intelligence artificielle a même déjà pris le pouvoir dans la filière.

Un développeur travaillant pour l’entreprise FUTO_TECH partage son expérience en matière d’utilisation d’outils d’intelligence artificielle pour le développement de logiciels et débute en s’insurgeant contre une affirmation devenue courante dans la filière et selon laquelle « l’IA va créer l’ensemble des produits logiciels et l’on aura besoin de beaucoup moins de personnel. » Ce dernier souligne (entre autres) l’incapacité des modèles d’intelligence artificielle dont il fait usage à procéder, le cas échéant, à l’édition des bibliothèques d’un projet dans le but de s’adapter aux contraintes d’un projet. C’est l’une des limites de l’intelligence artificielle sur laquelle il s’appuie pour arriver à la conclusion que « l’intelligence artificielle ne remplacera pas les développeurs humains de sitôt. »

>AI is going to build your whole software product and you need drastically fewer people

I feel like I'm being gas-lit every time I read this and I worry it makes folks early in their software development journey feel like it's a bad time investment.

I'm a developer myself (2k+…

— skeptrune (@skeptrune) October 6, 2024

L’intelligence artificielle peine avec des projets pour lesquels la navigation dans un grand nombre de référentiels est nécessaire

Des chercheurs de l'université de Princeton ont développé un cadre d'évaluation basé sur près de 2300 problèmes courants de génie logiciel montés à partir de rapports de bogues et de feature requests soumis sur GitHub afin de tester la performance de divers modèles de grands langages (LLM).

Les chercheurs ont fourni à différents modèles de langage le problème à résoudre et le code du dépôt. Ils ont ensuite demandé au modèle de produire un correctif réalisable. Ce dernier a ensuite fait l’objet de tests pour s'assurer qu'il était correct. Mais le LLM n'a généré une solution efficace que dans 4 % des cas.

Leur modèle spécialement entraîné, SWE-Llama, n'a pu résoudre que les problèmes d'ingénierie les plus simples présentés sur GitHub, alors que les LLM classiques tels que Claude 2 d'Anthropic et GPT-4 d'OpenAI n'ont pu résoudre que 4,8 % et 1,7 % des problèmes, de façon respective.

Et l’équipe de recherche de conclure : « le génie logiciel n’est pas simple dans la pratique. La correction d'un bogue peut nécessiter de naviguer dans un grand référentiel, comprendre l'interaction entre des fonctions dans différents fichiers ou repérer une petite erreur dans du code alambiqué. Cela va bien au-delà des tâches de complétion de code. »

C’est la raison pour laquelle Linus Torvalds a tenu à se désolidariser de tout le battage médiatique autour de l’intelligence artificielle. Il la considère comme un outil au stade actuel de son évolution. Il suggère d’ailleurs la révision de code comme domaine d’application de l’intelligence artificielle. La capacité de l’intelligence artificielle à « deviner » l’intention du développeur lui sera utile pour obtenir du code fiable en un temps réduit. Une condition demeurera toutefois nécessaire : le développeur devra à son tour examiner ce que l’intelligence artificielle lui propose.

En fait, « le développeur reste l'expert, qui comprend le code et vérifie que ce qui a été synthétisé par l'intelligence artificielle correspond bien à l'intention du développeur », comme le souligne le CEO de GitHub. Grosso modo, l’intelligence artificielle est à un stade d’évolution tel qu’elle ne saurait servir de raccourci à des personnes qui pensent ne plus avoir à faire usage de leur créativité ou de leur esprit critique.

Même Google le confirme lors de l’annonce selon laquelle son IA Bard peut désormais aider à coder et à créer des fonctions pour Google Sheets : « Bard est encore au stade expérimental et peut parfois fournir des informations inexactes, trompeuses ou fausses tout en les présentant avec assurance. En ce qui concerne le codage, Bard peut vous générer du code qui ne produit pas le résultat escompté, ou vous fournir un code qui n'est pas optimal ou incomplet. Vérifiez toujours les réponses de Bard et testez et examinez soigneusement le code pour détecter les erreurs, les bogues et les vulnérabilités avant de vous y fier. »

Certains acteurs laissent pourtant penser que l’on n’a plus besoin de développeurs informatiques spécialisés dans la programmation des jeux vidéo en raison de la montée en puissance de l’intelligence artificielle

C’est le cas du propriétaire de la forge logicielle FRVR. Il l’illustre avec l’échantillon de jeu Space Aliens à propos duquel il déclare dans un débat contradictoire : « Il n’a fallu que 8 minutes pour le réaliser et 8 minutes supplémentaires pour la gestion du côté artistique. »

Ce type de production s’appuie sur la forge FRVR à propos de laquelle le propriétaire déclare : « Elle permet à quiconque de créer des jeux juste en les décrivant. L’objectif est de mettre sur pied une plateforme où créer, jouer et partager des jeux est aussi facile que d'enregistrer, de regarder et de partager des vidéos sur des plateformes telles que TikTok et Instagram. » Une démonstration (d’une dizaine de minutes) des possibilités offertes par la plateforme est disponible. Elle montre les étapes de l’implémentation d’un jeu de tir spatial en s’appuyant sur ladite forge.

Une étude de l’OIT liste les programmeurs parmi les métiers sous la menace de l’intelligence artificielle même si Linus Torvalds laisse penser le contraire

Environ 21 millions d’emplois occupés par des femmes et 9 millions d’emplois occupés par des hommes sont susceptibles d’être remplacés par l’intelligence artificielle. C’est ce qui ressort d’un récent rapport de l’Organisation Internationale du Travail. Ce dernier précise pour ce qui est de la filière des technologies de l’information les programmeurs d’applications font partie des professions menacées par l’automatisation.

ChatGPT a réussi à l’édition 2022 de l’examen d’informatique pour élèves du secondaire désireux d’obtenir des crédits universitaires US. Un internaute a proposé une compilation des réponses proposées par le chatbot après avoir souligné que l’intelligence artificielle a pris 32 points sur les 36 possibles. ChatGPT a en sus réussi l’examen de codage Google pour un ingénieur de niveau 3 avec un salaire de 183 000 $. Ce sont des raisons pour lesquelles certains observateurs sont d’avis que les travailleurs de la filière du développement informatique sont sous la menace de l’intelligence artificielle. Emad Mostaque, PDG de Stability AI en fait partie et prédit qu’il n’y aura plus de programmeurs dans 5 ans.

Et vous ?

Le développeur restera-t-il toujours l'expert qui comprend le code et vérifie que ce qui a été synthétisé par l'intelligence artificielle correspond bien à l'intention du développeur ? L'intelligence artificielle peut-elle finir par atteindre un stade d'évolution qui soit tel que l'intervention humaine ne soit plus requise ?
Quelles évolutions du métier de développeur entrevoyez-vous dès 2024 au vu de l'adoption de l'intelligence artificielle dans la filière ?

Voir aussi :

« ChatGPT est appelé à changer l'éducation telle que nous la connaissons, pas la détruire comme certains le pensent », affirme Douglas Heaven du MIT Technology Review

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

51 % des enseignants déclarent utiliser ChatGPT dans le cadre de leur travail, de même que 33 % des élèves, et affirment que l'outil a eu un impact positif sur leur enseignement et leur apprentissage

Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur

[Anthony]

Le PDG de Salesforce, Marc Benioff, déclare que l'assistant IA Copilot de Microsoft ne fonctionne pas, qu'il n'offre « aucun niveau de précision » et que les clients sont « obligés de nettoyer le désordre »

Marc Benioff, PDG de Salesforce, a intensifié sa critique de l'assistant d'intelligence artificielle (IA) de Microsoft, Copilot, le qualifiant de peu fiable et d'imprécis. Dans un billet publié sur X (anciennement Twitter), Marc Benioff a déclaré que la livraison de l'outil d'IA aux clients est décevante, qu'il « n'offre aucun niveau de précision » et laisse les clients aux prises avec des problèmes de données. Il a également comparé Copilot à « Clippy 2.0 », soulignant sa frustration quant à ses performances et à la charge imposée aux clients pour développer des LLM personnalisés après la mise en œuvre.

Alors que l'intelligence artificielle (IA) est censée faciliter le travail des développeurs, le code généré par l'IA pourrait en réalité augmenter la charge de travail des développeurs et accroître les risques, selon Harness. L'augmentation du volume de code livré accroît en effet les risques de failles et de vulnérabilités si les tests et les mesures de sécurité ne sont pas rigoureusement appliqués. Bien que neuf développeurs sur dix utilisent déjà des outils d'IA pour accélérer la livraison de logiciels, cette tendance nécessite une vigilance accrue à chaque étape du cycle de vie du développement logiciel pour prévenir les incidents de sécurité.

Le 7 avril 2023, Microsoft a lancé son chatbot Microsoft Copilot. Basé sur Prometheus, un grand modèle de langage de Microsoft construit à partir de modèles de fondation d'OpenAI comme GPT-4, Copilot est capable de citer des sources, de créer des poèmes et d'écrire des chansons. Il s'agit du principal remplaçant de Cortana, dont la commercialisation a été interrompue. Le service a initialement été lancé sous le nom de Bing Chat, en tant que fonctionnalité intégrée à Microsoft Bing et Microsoft Edge, et, au cours de l'année 2023, Microsoft a commencé à unifier la marque Copilot dans ses différents produits de chatbot.

Dans un billet publié sur X, le fondateur et directeur général de Salesforce, Marc Benioff, a réitéré ses critiques à l'égard de Microsoft Copilot, l'outil doté d'une intelligence artificielle (IA) capable de rédiger des documents Word, de créer des présentations PowerPoint, d'analyser des feuilles de calcul Excel et même de répondre à des courriels via Outlook.

La manière dont Copilot a été livré aux clients est décevante. Il ne fonctionne tout simplement pas et n'offre aucun niveau de précision. Selon Gartner, les données se répandent partout et les clients doivent nettoyer le désordre. Pour ajouter l'insulte à l'injure, on demande ensuite aux clients de construire leurs propres LLM personnalisés. Je n'ai encore trouvé personne qui ait eu une expérience transformatrice avec Microsoft Copilot ou avec la poursuite de la formation et du recyclage des LLM personnalisés. Copilot ressemble davantage à Clippy 2.0.

When you look at how Copilot has been delivered to customers, it’s disappointing. It just doesn’t work, and it doesn’t deliver any level of accuracy. Gartner says it’s spilling data everywhere, and customers are left cleaning up the mess. To add insult to injury, customers are…

— Marc Benioff (@Benioff) October 17, 2024

Ces affirmations de Marc Benioff viennent renforcer les révélations d'un récent rapport d'Uplevel qui suggère que les outils de développement GenAI n'améliorent pas l'efficacité du codage mais, au contraire, augmentent le nombre de bogues. En effet, selon les conclusions du rapport, les développeurs ont constaté une augmentation de 41 % des bogues après la mise en œuvre de Microsoft Copilot, ce qui suggère que l'outil peut avoir un impact sur la qualité du code. L'étude d'Uplevel révèle par ailleurs que les développeurs utilisant Copilot n'ont pas constaté d'augmentation de la vitesse de codage. En termes de temps de cycle des demandes d'extraction (PR) (temps nécessaire pour fusionner le code dans un dépôt) et de débit des PR (nombre de demandes d'extraction fusionnées), Copilot n'a ni aidé ni nui aux développeurs.

Source : Marc Benioff, PDG de Salesforce

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous que les critiques de Marc Benioff à l'égard de Microsoft Copilot sont pertinentes et justifiées ?
Avez-vous utilisé cet outil ou un outil similaire pour votre usage ou le développement d'applications, et si oui, qu'en pensez-vous ?

Voir aussi :

Microsoft annonce que son assistant d'IA de productivité Copilot est maintenant disponible pour tous, et affirme que cela vise à améliorer son accessibilité et son utilité pour les utilisateurs

« Si vous confiez les rênes à Copilot, ne vous étonnez pas qu'il dévoile vos secrets », d'après une récente étude selon laquelle cette IA peut être transformée en outil d'exfiltration de données

L'exploitation de Microsoft Copilot Studio permet d'accéder à des données sensibles du cloud, un bug SSRF dans l'outil de création de Copilot personnalisée a potentiellement exposé des informations critiques

[calvaire]

je présuppose que tous le monde dans mon équipe utilise chatgpt ou équivalent.
je viens de regarder les stats de notre gitlab, et je constate la meme chose:
1122 merge request en 2023
en 2024 on est à 1087 actuellement

sachant que 1 merge request dans notre équipe est égal à 1 tache jira.
la nature des taches entre 2023 et 2024 n'a pas vraiment changé sur mon projet.

donc visiblement pas de gains à la clé.

maintenant perso je reviendrais pas en arrière, les llm sont de bons outils, c'est vraiment top quand on cherche un truc ou qu'on cherche a faire quelque chose sans trop savoir comment faire.

cas concret: je cherchait un module ansible pour faire un truc précis, j'ai demandé a chatgpt, il m'a donné le nom du module et un exemple de code, je suis allé sur la doc d'ansible pour vérifier et voir les arguments, c'est vraiment plus rapide que si j'avais du aller fouiller et lire la doc ansible.

mais il me génère toujours du code faux, voir obsolete parfois, et il est bien incapable de créer un programme informatique complet, il est juste capable d'écrire correctement des fonctions.

enfin chatgpt ou copilot sont des outils "professionnel", il est important de bien se former sur comment écrire des prompts et pour pouvoir l'utiliser, et surtout il faut maitriser son domaine d'expertise. Un gars qui n'y connait rien à l'informatique ne sera pas plus capable de faire un logiciel avec chatgpt. Chatgpt c'est une autocomplétion d'un ide tres avancée, mais un comptable ne sera jamais capable de coder un vrai logiciel.

avec chatgpt le comptable sera plus a l'aise pour coder sa macro excel, mais il ne va pas monter un serveur mongodb, automatiser l'insertions des données et remplacer excel par grafana et enfin integrer les graphs dans une page web ou un client lourd.

ou un domaine plus visuel, chatgpt peut me coder un jeu video basique en 2d sous pygame, mais il est bien incapable de me coder un équivalent call of duty ou autre jeux complexe. Meme un "simple" rayman 2d ou mario 2d chatgpt a vite ces limites.

[Mathis Lucas]

GitHub, propriété de Microsoft, conclut des accords avec Google et Anthropic pour intégrer leurs modèles d'IA à son assistant de codage Copilot
mais la qualité et la sécurité du code généré restent un défi

L'assistant de codage GitHub Copilot va s'étendre au-delà des modèles d'IA proposés par OpenAI. La filiale de Microsoft a signé un accord avec les rivaux Google et Anthropic pour intégrer leurs modèles d'IA à GitHub Copilot. Dans un premier temps, Google Gemini 1.5 Pro et Claude 3.5 Sonnet d'Anthropic seront intégrés, avec des améliorations au fil du temps. Cela offre plus d'options aux utilisateurs de GitHub Copilot qui, selon l'entreprise, est utilisé par des millions de développeurs de logiciels. Cependant, une étude récente a révélé que l'utilisation de GitHub Copilot entraîne une augmentation de 41 % des bogues, soulevant des inquiétudes quant à la qualité du code.

GitHub Copilot adopte une approche multimodèle

GitHub fait partie des premières entreprises technologiques à proposer un assistant de codage basé sur l'IA générative avec GitHub Copilot. Ce dernier repose sur la technologie d'IA générative d'OpenAI, un partenaire de la société mère de GitHub, Microsoft. Alors que la concurrence s'intensifie sur le marché des assistants de codage, GitHub adopte une approche « multimodèle » en étendant son produit aux grands modèles de langage (LLM) de Google et Anthropic.

Thomas Dohmke, PDG de GitHub, a expliqué cette approche multimodèle comme suit : « il n'y a pas un modèle unique pour tous les scénarios, et les développeurs attendent de l'agence qu'elle construise avec les modèles qui fonctionnent le mieux pour eux. La prochaine phase de la génération de code avec l'IA ne sera pas seulement définie par une fonctionnalité multimodèle, mais par un choix multimodèle. Aujourd'hui, c'est exactement ce que nous proposons ».

GitHub Copilot Chat prendra bientôt en charge les modèles Claude 3.5 Sonnet d'Anthropic et Gemini 1.5 Pro de Google, en plus du modèle GPT-4o d'OpenAI. Il introduit également les modèles o1-preview et o1-mini d'OpenAI, qui sont conçus pour les tâches de raisonnement avancées. GitHub annonce avoir conclu des accords avec Google et Anthropic, mais n'a pas révélé les détails de ces accords. Les modèles d'OpenAI continueront à être le paramètre par défaut.

Mais les développeurs pourront passer aux modèles de Google et d'Anthropic s'ils le souhaitent. Cette approche permettra aux développeurs de sélectionner des modèles en fonction de facteurs tels que la compatibilité avec les langages de programmation, les exigences de l'entreprise et les préférences personnelles.

Selon Thomas Dohmke, au cours du mois dernier, GitHub a collaboré avec les équipes d'ingénieurs d'Anthropic et de Google sur la sûreté, la sécurité et l'évolutivité de leurs modèles. « Nous prévoyons d'étendre cette liste à l'avenir, mais nous n'avons pas de partenariat à annoncer pour le moment », a-t-il déclaré.

Déploiement et disponibilité des nouveaux modèles

Dans une interview avec CNBC, Thomas Dohmke a déclaré que l'arrivée des modèles o1 d'OpenAI en septembre 2024 a conduit GitHub à envisager l'ajout d'un menu déroulant pour Copilot afin d'offrir plus d'options. « À ce moment-là, il a semblé que c'était le bon moment d'ajouter les modèles d'Anthropic et de Google », a déclaré Thomas Dohmke. Le déploiement commencera par le modèle d'Anthropic, suivi par Gemini de Google dans les semaines à venir.

Cette fonctionnalité multimodèle sera initialement disponible dans Copilot Chat sur le site de GitHub et dans Visual Studio Code. GitHub a également présenté en avant-première un projet d'IA appelé Spark, qui permet aux utilisateurs de créer des miniapplications, par exemple un carnet de voyage avec des cartes ou un suivi des événements, à l'aide d'invites en langage naturel clair plutôt que d'écrire du code dans un langage de programmation donné.

Les utilisateurs qui savent programmer peuvent également ouvrir le code généré par Spark et le modifier, en alternant entre le codage et les invites. Thomas Dohmke a déclaré que l'idée est de donner aux « novices » un moyen de créer quelque chose et aux développeurs plus expérimentés un moyen plus facile de tester des idées. « Il n'en reste pas moins que le développement de logiciels à l'aide de l'IA devient de plus en plus performant », affirme Thomas Dohmke.

Comme indiqué ci-dessus, il ne s'agit ici que d'une version préliminaire de la plateforme Spark. GitHub indique que les développeurs qui souhaitent aller plus loin dans leurs projets Spark devront les transférer vers un programme de développement logiciel plus complet, comme GitHub Copilot ou Power Platform de Microsoft.

Bien que le choix multimodèle soit actuellement limité à Copilot Chat et au tout nouveau Spark, GitHub prévoit d'étendre cette fonctionnalité à diverses fonctions de Copilot. Il s'agit de Copilot Workspace, de l'édition multifichiers, de la revue de code, de l'autofixation de sécurité et de l'interface en ligne de commande.

Impact sur les relations entre Microsoft et OpenAI

Depuis l'acquisition de GitHub en 2018, Microsoft a permis à la plateforme d'hébergement de code de maintenir et de nouer un large éventail de partenariats, même s'ils sont techniquement des rivaux de Microsoft. Selon les dirigeants de GitHub, l'entreprise tient à offrir un choix à ses clients et à proposer des options à ceux qui utilisent les services cloud de Google et d'Amazon. Les modèles d'Anthropic fonctionnent sur le réseau d'AWS (Amazon Web Services).

Microsoft laisse également les clients de son cloud Azure utiliser d'autres modèles que celui d'OpenAI, notamment ceux de Meta et de Mistral, mais ne propose pas les modèles d'Anthropic ou de Google. De nombreux autres produits et services de Microsoft, notamment Teams et Windows, utilisent la technologie d'IA d'OpenAI. De son côté, Microsoft continue de fournir de la puissance de calcul à OpenAI, qui est aujourd'hui valorisée à 157 milliards de dollars.

Microsoft a investi des sommes colossales dans OpenAI au fil des ans, avec un milliard de dollars en 2019 et plusieurs milliards de dollars supplémentaires l'année dernière. Toutefois, la relation entre les deux entreprises semble s'être effilochée au cours de l'année écoulée, à la suite de l'éviction et de la réintégration soudaines du PDG d'OpenAI, Sam Altman, en novembre. Cet incident dramatique aurait provoqué la colère du PDG de Microsoft, Satya Nadella.

En février 2024, Microsoft a annoncé un partenariat avec le développeur français de modèles d'IA Mistral. Le mois suivant, Microsoft a déclaré qu'il embauchait Mustafa Suleyman, cofondateur de DeepMind, et des employés de sa nouvelle startup d'IA, Inflection AI, dont l'assistant Pi était en concurrence avec le populaire ChatGPT d'OpenAI. Au cours de l'été 2024, Microsoft a désigné OpenAI comme « un concurrent » dans un dépôt réglementaire.

L'on ignore comment l'approche de GitHub est perçue par OpenAI. Mais l'initiative de GitHub pourrait potentiellement influencer la stratégie plus large de Microsoft en matière d'IA, en soulevant la question de savoir si Microsoft pourrait adopter une approche multimodèle similaire pour ses autres assistants d'IA.

Les outils d'IA de codage ont un faible impact sur la productivité des développeurs

Les assistants de codage ont été un cas d'utilisation précoce évident dans la ruée vers l'IA générative. Mais une étude publiée par la société d'analyse Uplevel indique que les améliorations de productivité promises sont loin d'être au rendez-vous, si tant est qu'elles existent. Uplevel, qui fournit des informations sur les données de codage et de collaboration, rapporte que l'utilisation de GitHub Copilot a également introduit 41 % de bogues supplémentaires.

« Cela suggère que Copilot peut avoir un impact négatif sur la qualité du code. Les responsables de l'ingénierie peuvent souhaiter creuser davantage pour trouver les PR avec des bogues et mettre en place des garde-fous pour l'utilisation responsable de l'IA générative », indique le rapport intitulé "Can Generative AI Improve Developer Productivity". Cette conclusion est aux antipodes des rapports faisant état d'un gain de productivité grâce à l'IA.

L'étude a mesuré le temps de cycle des demandes de fusion (pull request - PR), c'est-à-dire le temps nécessaire pour fusionner le code dans un dépôt, et le débit des PR, c'est-à-dire le nombre de demandes de fusion fusionnées. Elle n'a révélé aucune amélioration significative pour les développeurs utilisant GitHub Copilot. Ce résultat est l'un des trois énumérés par l'entreprise, qui a déclaré avoir mené la recherche pour répondre à trois questions :

• l'accès à GitHub Copilot aide-t-il les développeurs à produire du code plus rapidement ?
• GitHub Copilot aide-t-il les développeurs à produire un code de meilleure qualité ?
• GitHub Copilot atténue-t-il l'impact de l'épuisement des développeurs ?

Dans le cadre de l'étude, Uplevel a utilisé les données générées par ses clients et a comparé la production d'environ 800 développeurs utilisant GitHub Copilot sur une période de trois mois à leur production sur une période de trois mois avant l'adoption. Les deux autres conclusions d'Uplevel sont les suivantes :

Pas de changement significatif dans les mesures d'efficacité

« En comparant le temps de cycle, le débit et la complexité des RP avec les RP avec tests, GitHub Copilot n'a ni aidé ni nui aux développeurs de l'échantillon, et n'a pas non plus augmenté la vitesse de codage. Bien que certaines de ces mesures soient statistiquement significatives, le changement réel n'a pas eu d'incidence sur les résultats techniques, par exemple le temps de cycle a diminué de 1,7 minute », indique le rapport d'Uplevel.

Atténuation du risque d'épuisement professionnel

L'indicateur « Sustained Always On » d'Uplevel (temps de travail prolongé en dehors des heures normales et indicateur avancé d'épuisement professionnel) a diminué dans les deux groupes. Mais il a diminué de 17 % pour ceux qui avaient accès à GitHub Copilot et de près de 28 % pour ceux qui n'y avaient pas accès.

Source : GitHub

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'ajout de Gemini et de Claude à l'assistant de codage GitHub Copilot ?
En quoi cet ajout pourrait-il améliorer GitHub Copilot et l'écriture de code à l'aide de l'IA ?
Que pensez-vous des assistants d'IA de codage en général ? Ces outils ont-ils des avantages ?
Quel est votre avis sur les préoccupations en matière de sécurité liées aux assistants d'IA de codage ?

Voir aussi

Les assistants d'IA de codage font-ils vraiment gagner du temps aux développeurs ? Une étude suggère que ces outils n'augmentent pas la vitesse de codage, mais augmentent significativement le taux de bogues

92 % des développeurs utiliseraient des outils d'intelligence artificielle, selon une enquête de GitHub auprès des développeurs

GitHub Copilot : un juge rejette la demande de protection des droits d'auteur en vertu de la DMCA dans le cadre d'un procès contre l'outil IA de Microsoft