L'application d'une gouvernance uniforme à tous les agents IA mènera à l'échec, d'après Gartner
Appliquer une gouvernance uniforme à tous les agents IA mènera à l'échec : 40 % des entreprises vont réduire le rôle ou désactiver les agents IA autonomes en raison de défaillances de gouvernance, selon Gartner
Gartner a averti que les entreprises qui appliquent une gouvernance uniforme à tous leurs agents d'intelligence artificielle (IA) s'exposent à l'échec du déploiement de ces agents en entreprise, car ceux-ci fonctionnent à différents niveaux d'autonomie et au-delà de différentes limites de confiance. Selon le cabinet d'études, 40 % des entreprises réduiront le rôle ou mettront hors service leurs agents IA autonomes d'ici 2027, après que des incidents survenus post-déploiement auront mis en évidence des lacunes en matière de gouvernance. Pour atténuer ces risques, Gartner recommande un cadre de gouvernance à plusieurs niveaux, qui adapte les exigences en matière de supervision, de suivi et d'approbation aux capacités opérationnelles de l'agent et à son exposition au risque.
L'application d'une gouvernance uniforme à tous les agents d'IA, quels que soient leur niveau d'autonomie et leur champ d'action, peut entraîner l'échec des agents d'IA en entreprise, selon Gartner, Inc., une société spécialisée dans les analyses commerciales et technologiques. Les échecs sont particulièrement susceptibles de se produire lorsque les organisations ne font pas la distinction entre la capacité d'un agent à agir et l'étendue des droits d'accès qui lui sont accordés.
Gartner prévoit que d'ici 2027, 40 % des entreprises réduiront le rôle ou mettront hors service des agents IA autonomes en raison de lacunes en matière de gouvernance qui n'auront été identifiées qu'après la survenue d'incidents en production.
« Les entreprises abordent la gouvernance des agents IA comme un choix binaire : soit ils sont verrouillés, soit on leur accorde une confiance totale, et c’est là la cause première de l’échec », a déclaré Shiva Varma, analyste et directeur principal chez Gartner. « Les agents fonctionnent à différents niveaux d’autonomie et au-delà de différentes limites de confiance. Lorsque les mêmes contrôles sont appliqués sans distinction, les organisations se heurtent à deux types d’échecs courants : une restriction excessive des agents simples, qui ralentit la mise en œuvre et favorise le développement parallèle, ou une restriction insuffisante des agents plus autonomes, ce qui accroît les risques opérationnels, de sécurité et de conformité. »
Niveaux d'autonomie des agents IA
Pour atténuer ces risques, Gartner recommande d'adopter une approche de gouvernance proportionnée qui classe les agents IA selon différents niveaux d'autonomie, chaque niveau correspondant à une limite de confiance distincte et à des exigences de gouvernance spécifiques.
Niveau 1 : Observation
Au niveau 1, les agents d'observation ne disposent que d'un accès en lecture seule à des sources de données définies, et les résultats ne sont visibles que par l'utilisateur qui en a fait la demande. Parmi les cas d'utilisation courants, on peut citer la synthèse de documents, la recherche de données ou de connaissances, et l'explication de code.
« À ce niveau, la gouvernance doit se concentrer sur des contrôles de base tels que la limitation de l'accès aux données, l'authentification des utilisateurs, la journalisation des utilisations et les tests fonctionnels et de sécurité élémentaires », a déclaré Shiva Varma. « Étant donné que les risques se limitent principalement à l'exposition des données et à l'exactitude des résultats, les contrôles doivent rester légers et ciblés. »
Niveau 2 : Conseil
Les agents de conseil génèrent des recommandations, des brouillons ou des propositions d'actions, tandis que des humains examinent tous les résultats et exécutent les actions manuellement. Ces agents disposent d'un accès en lecture seule, sans droit d'écriture sur aucun système, et sont couramment utilisés pour la rédaction d'e-mails, la génération de rapports ou de code, ainsi que pour l'aide à la décision.
Même si ce sont les humains qui prennent les décisions, les agents de conseil peuvent influencer leur jugement, ce qui engendre des risques en aval lorsque l'on se fie à des résultats inexacts en raison d'un biais d'automatisation.
« La gouvernance applicable aux agents de conseil devrait inclure tous les contrôles de niveau 1 et s'étendre à la qualité des résultats et à l'influence sur les décisions, notamment par le biais de tests de précision et de détection des erreurs, d'évaluations de la qualité spécifiques au domaine et de formations destinées aux utilisateurs sur les niveaux de confiance appropriés », a déclaré Shiva Varma.
Niveau 3 : Agir avec approbation
Au niveau 3, les agents peuvent effectuer des actions telles que l'écriture de données, l'envoi de communications ou la modification de configurations, mais uniquement après avoir obtenu une autorisation humaine explicite pour chaque action.
« À ce niveau, l’examen humain n’est efficace que s’il reste un contrôle pertinent », a déclaré Shiva Varma. « Sans tests de sécurité rigoureux, sans processus d’approbation clairs assortis de pistes d’audit et sans procédures de réponse aux incidents spécifiques à chaque agent, les processus d’approbation risquent de se dégrader sous la pression du temps ou en raison d’une lassitude vis-à-vis des procédures, ce qui crée un faux sentiment de sécurité tout en élargissant la surface d’attaque. »
Niveau 4 : Agir de manière autonome
Au niveau d'autonomie le plus élevé, les agents exécutent des actions de manière autonome dans le cadre de limites prédéfinies, les humains se chargeant d'examiner les exceptions, les journaux d'audit et les résultats agrégés plutôt que les décisions individuelles.
« Lorsque les agents opèrent de manière autonome, les actions sont exécutées à une échelle et à une vitesse qui peuvent dépasser la capacité de supervision humaine », a déclaré Shiva Varma. « Étant donné que la responsabilité des résultats incombe toujours à l'organisation, ce niveau exige une gouvernance des plus rigoureuses, comprenant une surveillance continue, des garde-fous stricts, des mécanismes de retour en arrière rapides, des coupe-circuits qui interrompent le fonctionnement des agents en cas de dépassement des seuils, ainsi qu'une attribution claire de la responsabilité du comportement des agents. »
Source : Gartner
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi :
Répondre avec citation
Partager