38 % des outils de gouvernance de l'IA utilisés sont inefficaces et problématiques, selon une nouvelle étude
38 % des outils de gouvernance de l'IA utilisés sont inefficaces et problématiques, selon une nouvelle étude du World Privacy Forum
La gouvernance de l'IA, ou la capacité d'une organisation à diriger, gérer et contrôler les activités de l'IA, est un sujet de débat en vogue depuis que le soulèvement de l'IA générative a pris le devant de la scène. Et si l'on vous disait qu'un tiers des outils servant à ce processus sont en fait jugés défectueux ou mal utilisés ? Grâce à une nouvelle étude du World Privacy Forum, des faits très intéressants ont été publiés à ce sujet. L'étude comprenait un examen complet des 18 principaux outils de gouvernance utilisés pour évaluer le contenu de l'IA. Et 38 % d'entre eux incluraient des correctifs défectueux.
Le fait que les offres conçues pour évaluer l'équité et l'efficacité des systèmes d'IA soient elles-mêmes défectueuses est vraiment une expérience qui ouvre les yeux, car on se demande ce qui se passe depuis si longtemps et comment cela a pu passer inaperçu jusqu'à présent.
Certains des problèmes sont liés à la médiocrité des systèmes mis en place pour l'assurance de la qualité, qui présentent de graves lacunes. Ces systèmes sont considérés comme inadaptés lorsqu'ils sont utilisés en dehors de l'usage réel pour lequel ils ont été conçus.
En outre, un grand nombre d'outils ont été lancés par des organisations que l'on ne pourrait jamais soupçonner. Après tout, elles ne sont pas seulement connues pour leur réputation dans l'industrie technologique, mais aussi pour être celles qui produisent les systèmes d'intelligence artificielle que ces outils sont censés évaluer. Google, IBM, Microsoft, entre autres, figurent parmi les noms les plus courants de la liste.
L'un des principaux exemples à cet égard a montré que le célèbre outil AI Fairness 360 d'IBM a été mis en avant par l'Accountability Office du pays pour sa capacité à évaluer les principes éthiques et des facteurs tels que la transparence, la sécurité, l'équité et l'obligation de rendre des comptes. Toutefois, selon l'étude réalisée, l'outil est de plus en plus critiqué pour son efficacité à faire le travail correctement.
Le directeur du World Privacy Forum a ajouté que la liste des offres de gouvernance de l'IA continuait de progresser dans une direction boiteuse. L'une des principales raisons tient au fait qu'il n'existe aucune forme de protocole établi pour garantir le maintien ou l'assurance d'une bonne qualité lors de l'utilisation. Et lorsqu'il n'y a pas de contrôle de qualité en place, les problèmes se multiplient.
L'une des principales préoccupations est liée au fait qu'il n'existe pas d'instructions sur la manière de l'utiliser efficacement ou sur l'usage réel qui en est fait. De même, aucune donnée n'est disponible quant au contexte dans lequel il est conçu, et aucune forme de conflit d'intérêts n'a été trouvée non plus. Ce qui est encore plus préoccupant pour les chercheurs, c'est qu'un outil conçu pour un certain type de contexte a été utilisé pour d'autres, ce qui a déclenché une alarme, car aucune norme n'a été respectée.
Pendant tout ce temps, le public est induit en erreur et pense que les outils font leur travail correctement et garantissent leur sécurité. Mais en réalité, c'est loin d'être le cas, comme le confirme l'étude.
Et le fait que ces outils génèrent un faux sentiment de sécurité n'est certainement pas apprécié depuis que cette étude a été rendue publique.
Même depuis l'adoption de la loi sur l'IA par l'UE, suivie par le lancement du décret sur l'IA aux États-Unis, nous voyons de plus en plus de pays tenter de suivre leurs traces et de lancer des ensembles d'outils similaires dans le même but.
L'augmentation alarmante des recherches de ce type ouvre la voie à la mise en évidence de nombreuses failles dans le système et d'une grande marge d'amélioration, en particulier à l'aube de l'année 2024.
L'OCDE continue de servir de gardien mondial pour le contrôle de ces outils de gouvernance et admet déjà qu'il y a matière à améliorer les choses.
Source : "Risky Analysis: Assessing and Improving AI Governance Tools" (étude du World Privacy Forum)
Et vous ?
Quelle lecture faites-vous de cette situation ?
Voir aussi
Répondre avec citation
Partager