Scope, la plateforme open source de Microsoft basée sur Kubernetes et destinée à l'évaluation automatisée des agents de codage IA, afin d'aider les équipes à déterminer les prochains axes d'amélioration

Confiez à un agent IA une tâche représentative, observez ses interactions, améliorez le produit ou les instructions, puis réévaluez. Pour atteindre cet objectif, Microsoft a annoncé Scope, une plateforme open source reposant sur Kubernetes et destinée à transformer ces interactions en données exploitables par les équipes produit. Scope aide les équipes à identifier des améliorations dans trois domaines : une documentation qui guide les agents vers des résultats positifs, la découverte et l’adoption correcte du SDK, et les outils facilitant la réalisation des tâches. Scope permet d'utiliser ces enseignements pour améliorer l'expérience, puis d'évaluer les changements apportés.

En 2025, le PDG de Microsoft, Satya Nadella, a déclaré que 20 à 30 % du code contenu dans les référentiels de l'entreprise était « écrit par un logiciel », c'est-à-dire par l'IA, lors d'une discussion avec le PDG de Meta, Mark Zuckerberg. Nadella a donné ce chiffre après que Zuckerberg lui a demandé quelle proportion du code de Microsoft était générée par l'IA. Le PDG de Microsoft a déclaré que l'entreprise obtenait des résultats mitigés en matière de code généré par l'IA dans différents langages, avec davantage de progrès en Python et moins en C++.

Kubernetes, également connu sous le nom de K8s, est un système open source d'orchestration de conteneurs permettant d'automatiser le déploiement, la mise à l'échelle et la gestion des logiciels. Conçu à l’origine par Google, le projet est désormais maintenu par une communauté mondiale de contributeurs, et la marque est détenue par la Cloud Native Computing Foundation. Kubernetes regroupe un ou plusieurs ordinateurs, qu’il s’agisse de machines virtuelles ou de serveurs physiques, au sein d’un cluster capable d’exécuter des charges de travail dans des conteneurs. Il fonctionne avec divers environnements d’exécution de conteneurs, tels que containerd et CRI-O. Sa capacité à exécuter et à gérer des charges de travail de toutes tailles et de tous types a conduit à son adoption généralisée dans les clouds et les centres de données. Il existe plusieurs distributions de cette plateforme, proposées aussi bien par des éditeurs de logiciels indépendants (ISV) que sous forme d’offres hébergées sur le cloud par tous les principaux fournisseurs de cloud public.

Récemment, Microsoft a annoncé Scope, une plateforme open source reposant sur Kubernetes et destinée à transformer les interactions en données exploitables par les équipes produit. Le service Microsoft Developer Relations a commencé à développer Scope il y a plus d’un an afin d’automatiser ces évaluations et d’aider les équipes à déterminer les prochaines améliorations à apporter. Disponible sous licence MIT, Scope prend en charge une boucle d’apprentissage DevAx continue fondée sur des expériences reproductibles.

Cette annonce intervient alors qu'un rapport a montré que les agents IA de codage ont entraîné une augmentation spectaculaire de la production brute de code. Mais une étude rapporte que ces gains ne se traduisent pas par une production logicielle accrue. Le temps gagné lors de la phase de rédaction initiale est entièrement annulé par un goulot d'étranglement au niveau de la relecture humaine, qui devient plus longue et complexe. Les délais de révision ont augmenté de 49 %, les demandes de révision ont presque doublé et les outils d'IA de révision n'ont pas remplacé le contrôle humain. Alors que les investisseurs sont impatients de rentabiliser leurs mises, l'impact sur la productivité reste marginal.

Nom : 0.jpg
Affichages : 26155
Taille : 12,7 Ko

Voici la présentation de Scope par Microsoft :

Présentation de Scope : évaluation open source des agents de codage IA

Depuis, les agents de codage IA deviennent des utilisateurs de logiciels. Ils découvrent des API, choisissent des kits de développement logiciel (SDK), suivent la documentation et utilisent des outils pour le compte d’un développeur. Pour les équipes produit, cela pose un nouveau défi : une expérience qui fonctionne bien pour un développeur humain peut néanmoins conduire un agent à choisir la mauvaise API, à passer à côté d’une instruction importante ou à se retrouver bloqué avant d’avoir terminé la tâche.

Les équipes investissent depuis longtemps dans l’expérience développeur (DevEx) par le biais de tests utilisateurs, d’entretiens et de retours d’expérience sur le produit. Ces pratiques restent essentielles, mais elles ne reflètent pas toute la réalité lorsqu’un agent utilise le produit. L’expérience des agents développeurs (DevAx) prolonge ce travail : il s’agit de comprendre comment les agents interagissent avec votre logiciel et d’utiliser ces données pour améliorer les résultats qu’ils obtiennent.

L’opportunité consiste à rendre cet apprentissage continu. Confiez à un agent une tâche représentative, observez ses interactions, améliorez le produit ou les instructions, puis réévaluez. Mais une démonstration réussie ou un simple test d’intégration continue (CI) ne suffisent pas. Les modèles, les environnements d’exécution des agents, les compétences, les plugins, les serveurs MCP (Model Context Protocol) et les instructions personnalisées influencent tous le comportement. Les résultats varient d’une tentative à l’autre, et les configurations elles-mêmes ne cessent d’évoluer.

De l’évaluation aux améliorations du produit avec Azure Cosmos DB

L’expérience de l’équipe Azure Cosmos DB illustre ce que cette boucle peut apporter. À l’aide de Scope, l’équipe a comparé des modèles « nus » à son Agent Kit dans des scénarios de bout en bout, puis a utilisé ces résultats pour résoudre des problèmes tant dans l’Agent Kit que dans la documentation. Jay Gordon, chef de projet senior, Azure Cosmos DB, déclare : "À l’aide de SCOPE, nous avons comparé des modèles de base à notre Agent Kit dans huit scénarios de bout en bout d’Azure Cosmos DB, dans cinq langages. Ces évaluations ont permis de résoudre 20 problèmes liés à l’Agent Kit et 27 problèmes liés à la documentation. Après une mise à jour ciblée de l’Agent Kit, l’adoption de la clé de partition hiérarchique est passée de 47 % à 100 %, tandis que l’utilisation d’OFFSET/LIMIT a chuté de 47 % à 0 %."

Ces résultats établissent un lien entre l’évaluation et les décisions que peut prendre une équipe produit : quelle documentation nécessite des précisions, où les outils doivent être corrigés, et si une mise à jour modifie le comportement des agents. Les gains décrits concernent les scénarios Cosmos DB évalués, plutôt qu’un classement général des agents. Ils démontrent comment des modifications ciblées, fondées sur le comportement observé, peuvent améliorer la manière dont les agents utilisent un produit.

Nom : 1.jpg
Affichages : 715
Taille : 68,4 Ko

Transformez le comportement des agents en meilleures expériences produit

Que vous assuriez la maintenance d’un SDK, développiez une interface en ligne de commande (CLI) ou publiiez un serveur MCP ou des compétences, la question va bien au-delà de savoir quel agent obtient le meilleur score. Vous devez comprendre si les agents sont capables de découvrir et d’utiliser ce que vous leur fournissez, et ce que votre équipe peut modifier lorsqu’ils n’y parviennent pas.

Scope aide les équipes à identifier des améliorations dans trois domaines :

- Une documentation qui guide les agents vers des résultats positifs. Recherchez les instructions régulièrement ignorées ou les hypothèses erronées, mettez à jour les instructions, puis relancez les scénarios pour voir si ces échecs deviennent moins fréquents.

- La découverte et l’adoption correcte du SDK. Vérifiez si les agents sélectionnent le SDK prévu, l’initialisent correctement et utilisent ses API comme prévu. Comparez une référence avec des exemples révisés ou une compétence d’agent pour comprendre ce qui aide.

- Les outils facilitant la réalisation des tâches. Examinez les cas où les agents rencontrent des difficultés avec les outils en ligne de commande ou les serveurs MCP. Utilisez ces données pour donner la priorité à des descriptions d’outils plus claires, à des messages d’erreur plus exploitables ou à des corrections de l’intégration elle-même.

Par exemple, une équipe SDK peut demander aux agents d’ajouter une intégration à une application d’exemple, puis évaluer si celle-ci se compile, utilise l’API prévue et gère une réponse d’erreur documentée. Si la gestion des éléments manquants échoue de manière répétée, l’équipe dispose alors d’un comportement spécifique à analyser. Après avoir mis à jour les instructions ou les outils, des évaluations répétées permettent de déterminer si ce changement améliore le taux de réussite de la tâche.

Nom : 2.jpg
Affichages : 675
Taille : 72,1 Ko

Pourquoi l’évaluation des agents IA nécessite une base open source

Les défis liés à l’expérience des agents ne sont pas propres à un produit ou à une organisation en particulier. Les responsables de SDK, les auteurs d’outils, les chercheurs et les développeurs d’agents s’interrogent tous sur le comportement des agents et sur les facteurs qui contribuent à leur réussite. Aucune équipe ne peut à elle seule représenter tous les langages, tous les flux de travail ou toutes les intégrations. Un projet ouvert permet d’intégrer davantage de scénarios, de cas d’échec et de points de vue dans le processus d’évaluation.

L’évaluation doit également faire l’objet d’un examen minutieux. Lorsqu’un résultat donne lieu à une mise à jour de la documentation ou à une modification du SDK, les équipes doivent pouvoir examiner la tâche, les preuves et le raisonnement qui le sous-tendent. L’ouverture du code d’exécution et d’évaluation de Scope permet aux contributeurs de remettre en question les méthodes, d’étudier les résultats inattendus et d’améliorer l’évaluation elle-même.

Une base commune réduit également les doublons au niveau de l’infrastructure. Les intégrations d’agents, les critères réutilisables et les améliorations apportées à l’analyse des traces peuvent aider d’autres équipes à étudier leurs propres produits sans avoir à reconstruire les mêmes mécanismes. L’objectif n’est pas d’établir une référence universelle ou une définition unique de la réussite. Il s’agit d’un point de départ commun que les équipes peuvent adapter à leurs besoins. La licence MIT permet aux équipes d’utiliser et d’étendre Scope, tandis que les déploiements autogérés leur permettent d’évaluer des charges de travail privées sans publier leur code ni leurs données d’exécution.

Créez une boucle d’évaluation autour de votre produit

Scope pilote les agents de codage existants, notamment GitHub Copilot, Claude Code et Visual Studio Code avec Copilot. Vous définissez des tâches représentatives, fournissez une base de code de départ si nécessaire et choisissez la configuration de l’agent. Des profils personnalisables vous permettent de varier le point de vue et le style de communication de l’utilisateur simulé.

Des profils réutilisables et versionnés enregistrent la configuration de chaque exécution, notamment le worker, le modèle, la version de l’agent, les compétences, les serveurs MCP et les extensions prises en charge. Conservez la cohérence des tâches et des critères tout en modifiant la partie que vous souhaitez évaluer. Les exécutions répétées aident à distinguer les problèmes récurrents des cas atypiques, tandis que la conservation des configurations facilite la compréhension des changements intervenus entre les expériences.

La réussite est définie par les exigences de votre produit. Scope représente les critères d’évaluation sous la forme d’un graphe acyclique dirigé (DAG), de sorte que les vérifications peuvent être autonomes ou dépendre de prérequis. Une vérification d’exécution, par exemple, peut dépendre de la réussite d’une compilation. Le service Judge utilise une évaluation basée sur un modèle linguistique de grande envergure (LLM) pour évaluer le résultat par rapport à ces critères, aidant ainsi les équipes à identifier les exigences satisfaites et les points nécessitant une analyse plus approfondie.

Nom : 3.jpg
Affichages : 77
Taille : 44,1 Ko

Les résultats au niveau des critères constituent un point de départ pour l’analyse. Scope suit l’activité de l’agent en temps réel et conserve les interactions ainsi que des instantanés de l’espace de travail pour un examen ultérieur. Votre équipe peut suivre les appels aux outils, inspecter les fichiers générés et relier une exigence non satisfaite aux étapes qui l’ont précédée. Ces traces fournissent des preuves observables de ce que l’agent a fait, ce qui permet de transformer un échec en une amélioration concrète de la documentation, du SDK ou des outils.

Il est évident que des configurations reproductibles ne garantissent pas un comportement identique de l’agent, et que les juges automatisés peuvent commettre des erreurs. Ainsi, même en utilisant Scope, il est nécessaire de recourir à des tâches représentatives, à des exécutions répétées et à une analyse humaine des preuves lors de la prise de décision.

Intégrez l’évaluation des agents IA dans votre workflow de développement

À mesure que votre produit et ses intégrations d’agents évoluent, ces mêmes scénarios peuvent aider votre équipe à suivre les améliorations et à analyser les régressions. Utilisez le Portail pour configurer et inspecter les expériences, ou la CLI et l’API REST pour soumettre des benchmarks et récupérer les résultats à partir de scripts et de pipelines. L’évaluation devient ainsi une source récurrente de retours sur le produit plutôt qu’une simple vérification ponctuelle.

Le référentiel comprend les services d’application, les agents de travail, le service d’évaluation et la documentation. Vous pouvez démarrer une pile locale avec Docker Compose à l’aide du guide de démarrage rapide. Scope est un logiciel que vous déployez, et non un service hébergé inclus dans la version. Vous choisissez les services connectés et gérez l’accès aux données d’expérimentation et aux identifiants. L’exécution des agents et l’évaluation basée sur des modèles nécessitent un accès aux fournisseurs correspondants.

Source : Présentation de Scope

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Les récents outils de codage basés sur l'IA améliorent la productivité des programmeurs, mais épuisent mentalement bon nombre d'entre eux. L'IA transforme le développement logiciel, explique David Holz

Les agents IA de codage produisent plus de code, mais pas davantage de logiciels : les gains obtenus lors de la génération de code sont annulés par le goulot d'étranglement que représente la révision humaine

Le code généré par l'IA contient plus de bogues et d'erreurs que celui produit par l'homme : les demandes d'extraction effectuées à l'aide d'outils d'IA comportaient en moyenne 10,83 problèmes contre 6,45