Des agents IA ont appris à des bras robotiques à installer des GPU sur une carte mère
Des agents IA de codage autonomes ont appris à des bras robotiques à installer des GPU sur une carte mère et à couper des colliers de serrage
à l'aide du nouveau framework « ENPIRE » de Nvidia
Une équipe de chercheurs menée par Nvidia a mis au point ENPIRE, un système novateur permettant à des agents d'IA d'entraîner de manière autonome des robots physiques. Grâce à ce framework, des bras robotiques ont appris à exécuter des tâches de haute précision, telles que l'installation de GPU ou la manipulation de colliers de serrage. En utilisant des modèles d'IA avancées pour analyser leurs propres échecs et ajuster leur code, ces machines atteignent des taux de réussite notables sans intervention humaine constante. Les chercheurs prévoient de rendre ce projet open source, offrant la possibilité d'automatiser l'apprentissage des robots à grande échelle.
Le laboratoire GEAR (Generalist Embodied Agent Research) de Nvidia a mis au point une infrastructure logicielle novatrice nommée ENPIRE. Ce système permet à des agents IA spécialisés dans le codage d'entraîner des bras robotiques de manière autonome pour accomplir des tâches physiques complexes. Jim Fan, directeur de l'IA chez Nvidia, ajoute : « une partie de notre laboratoire Nvidia GEAR s'améliore désormais sans relâche pendant la nuit ».
Développé en collaboration avec l'université Carnegie Mellon et l'UC Berkeley, ce framework utilise une boucle de rétroaction fermée et fait appel à des agents IA qui collaborent afin d'améliorer les performances sur du matériel réel. Concrètement, ENPIRE assure la boucle complète entre l’écriture du code d’entraînement des robots, le test du code sur du matériel réel et son affinage jusqu’à ce que le robot apprenne le comportement souhaité.
La démonstration qui a retenu l’attention de tous montre un bras robotisé sélectionnant une carte graphique (GPU), la transmettant à un deuxième bras, puis l’insérant avec précaution dans un emplacement PCIe d’une carte mère. Cette démo comprenait quelques autres tâches, telles que le tri de broches métalliques dans une boîte, la coupe de colliers de serrage à l’aide de véritables cisailles, ainsi que le test de référence classique appelé « Push-T ».
Le fonctionnement et l'architecture du framework ENPIRE
Nvidia a partagé les résultats de l'étude le mois dernier. Le système ENPIRE se compose de quatre modules principaux : le module « Environnement » réinitialise les scènes et vérifie les résultats ; le module « Amélioration des politiques » rédige et affine le code de contrôle à l’aide de signaux de récompense, d’images de caméra et de données d’échec ; puis, le module « Déploiement » exécute simultanément des essais physiques sur plusieurs robots.
Un module « Évolution » compare ensuite les branches des agents de codage, en conservant ce qui fonctionne et en éliminant ce qui ne fonctionne pas. Nvidia explique : « nos résultats suggèrent une voie pratique et évolutive vers le développement autonome de la robotique dans le monde réel ».
Le système divise le travail en deux étapes. Premièrement, un humain guide l’agent dans la création de deux outils permanents : une routine de réinitialisation qui ramène l’espace de travail à un état initial, et une fonction de récompense qui analyse les images de la caméra pour évaluer la réussite (c'est-à-dire un arbitre qui est actif en permanence). Cette configuration est effectuée une seule fois, puis est réutilisée pour chaque tentative suivante.
L’agent IA prend ensuite le relais. Il explore les publications scientifiques à la recherche d’idées, choisit entre différentes méthodes d’apprentissage ou les règles définies manuellement, puis réécrit son propre code et teste le résultat sur le robot. Aucune étape de cette boucle ne nécessite la présence d’un observateur humain, ce qui peut être libérateur ou légèrement dérangeant, selon votre opinion sur le fait qu’un robot tienne des ciseaux sans surveillance.
Les chercheurs ont testé plusieurs agents IA de codage
Grâce à ENPIRE, des agents IA ont passé l’année écoulée à mener ce que les chercheurs appellent de la « recherche automatique » : écrire du code, le tester, puis le réécrire sans intervention humaine. Ce processus s’est principalement déroulé sur un écran, où la réinitialisation d’une expérience ratée ne coûte rien. ENPIRE transpose ce processus dans le monde physique, où réinitialiser une expérience implique de déplacer un véritable bras robotisé.
Trois agents IA reconnus sur le marché, notamment Codex (GPT-5.5) d'OpenAI, Claude Code (Opus 4.7) d'Anthropic et Kimi Code (Kimi K2.6) de Moonshot AI, ont été testés et ont pu générer indépendamment leurs propres approches algorithmiques. Les auteurs ont simplement fourni l'interface de base. Jim Fan a déclaré : « tout ce que nous avons fait, c'est de donner à Codex une API pour le monde des atomes, et le reste n'est qu'émergence ».
En travaillant en équipe, ces agents IA débattent, rédigent du code, font face à des échecs matériels et s'ajustent lors de cycles d'essais continus. Nvidia a mené l’expérience sur huit stations robotiques bimanuelles, chacune dotée de son propre matériel, de son ordinateur et de son agent de codage. Les stations échangent leurs progrès via Git, ce qui permet à une idée fonctionnelle de se propager à l’ensemble de la flotte en quelques minutes.
Des succès notables sur des tâches de haute précision
Lors des tests, les robots ont atteint un taux de réussite de 99 % sur diverses manipulations. Les agents IA ont appris aux machines à s'emparer d'un GPU pour l'insérer dans le port d'une carte mère, à organiser de minuscules broches métalliques, et même à attacher et couper correctement des serre-câbles. Les test ont également démontré qu'une équipe de huit agents accomplissait le travail beaucoup plus rapidement qu'un agent œuvrant seul.
Par exemple, un agent IA isolé a mis près de cinq heures à résoudre une tâche, tandis que huit agents travaillant en parallèle ont réduit ce temps à environ deux heures. Cependant, les équipes plus importantes consomment également beaucoup plus de tokens, car les agents IA passent plus de temps à lire les journaux les uns des autres, à résumer les branches et à se coordonner, laissant les robots ainsi inactifs en attendant la fin de l’inférence.
Limites actuelles du système ENPIRE de Nvidia et perspectives
Les chercheurs ont mis en lumière certaines limites à cette automatisation. Les robots physiques restent souvent inactifs pendant que les agents d'IA sont occupés à analyser des données, lire des articles ou corriger des bogues. Les grandes équipes d'agents IA perdent parfois du temps à synthétiser leurs idées mutuelles au lieu d'utiliser activement les bras robotiques, entraînant au passage une consommation très élevée et coûteuse de tokens.
Mais l'avenir de ce logiciel s'annonce prometteur. L'équipe prévoit de rendre le projet open source pour que chacun puisse « héberger son propre laboratoire de robots autonome à la maison ». Avec beaucoup d'enthousiasme face à ce système capable de travailler seul, Jim Fan a même plaisanté en affirmant : « nous prenons tous des vacances et Jensen ne s'en rendrait même pas compte », faisant référence à Jensen Huang, le PDG de Nvidia.
Cette avancée marque une étape majeure vers l'autoamélioration de la robotique industrielle, promettant des laboratoires capables de fonctionner seuls jour et nuit. En parallèle, l'entreprise investit massivement dans le domaine de l'IA physique, notamment en multipliant les partenariats avec des constructeurs comme Unitree et Hyundai pour développer la fabrication de robots humanoïdes de nouvelle génération, un marché en plein essor.
Sources : Nvidia ENPIRE, rapport de l'étude
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Répondre avec citation
Partager