Discussion :

[Stéphane le calme]

L'IA a secrètement contribué à la rédaction de l'examen du barreau de Californie, suscitant un tollé
Un entrepreneur a utilisé l'IA pour créer 23 des 171 questions à choix multiples notées

Après l'avocat qui utilise secrètement l'IA et cite des affaires juridiques fictives inventées par ChatGPT, c'est désormais l'examen du barreau lui-même qui en fait les frais : lors de l’édition de février de l’examen du barreau de Californie, 23 des 171 questions à choix multiples notées auraient été rédigées non pas par des juristes humains, mais par une intelligence artificielle. Cette décision, tenue secrète jusqu’à récemment, a été orchestrée par l’un des sous-traitants chargés de la conception de l’examen. Le tollé ne s’est pas fait attendre : juges, avocats, associations de défense des étudiants et universitaires s’interrogent sur l’éthique, la transparence et la fiabilité de telles pratiques.

Près de deux mois après que des centaines de futurs avocats californiens se sont plaints que leur examen du barreau était entaché de problèmes techniques et d'irrégularités, l'organisme chargé de délivrer les autorisations d'exercer a provoqué une nouvelle vague d'indignation en admettant que certaines questions à choix multiples avaient été élaborées à l'aide d'une intelligence artificielle.

Lundi, le barreau de Californie a révélé qu'il avait utilisé l'IA pour élaborer une partie des questions à choix multiples de l'examen du barreau de février 2025, ce qui a suscité l'indignation des enseignants des facultés de droit et des candidats à l'examen. Cet aveu intervient après des semaines de plaintes concernant des problèmes techniques et des irrégularités lors de l'administration de l'examen, rapporte le Los Angeles Times.

Le barreau de l'État a révélé que son psychométricien (la personne ou l'organisation compétente pour administrer des tests psychologiques), ACS Ventures, avait créé 23 des 171 questions à choix multiples notées avec l'aide de l'IA. Quarante-huit autres questions provenaient d'un examen destiné aux étudiants en première année de droit, tandis que Kaplan Exam Services a élaboré les 100 questions restantes.

Le barreau de l'État a défendu ses pratiques, déclarant au LA Times que toutes les questions avaient été examinées par des groupes de validation du contenu et des experts en la matière avant l'examen. « Les questions de l'AEC ont été élaborées avec l'aide de l'IA et ont ensuite été examinées par des groupes de validation du contenu et un expert en la matière avant l'examen », a écrit la directrice exécutive du barreau de l'État, Leah Wilson, dans un communiqué de presse.

Dans le cadre de son engagement à trouver des solutions appropriées et équitables pour les candidats à l'examen du barreau de février 2025, le Comité des examinateurs du barreau (CBE) s'est réuni le 18 avril pour formuler ses recommandations concernant les ajustements de la notation et fixer une note minimale de passage.

Après avoir examiné les données et les performances de l'examen de février et compte tenu des expériences rapportées par les candidats, des données de performance et des défis associés à la catégorisation juste et précise du niveau de perturbation subi par les candidats individuels, le CBE a recommandé :

• Que la note brute de passage de l'examen soit fixée à 534. Cela représente deux erreurs standard de mesure en dessous de la note de passage brute de 560 recommandée par les psychométriciens.
• Que les scores soient imputés psychométriquement comme suit :
  
  • Pour les réponses à choix multiples manquantes, lorsque le candidat a répondu à au moins 114 des 171 questions à choix multiples notées.
  • Pour les essais ou les tests de performance manquants, lorsque le candidat a répondu à au moins 4 des 6 sections écrites de l'examen. En ce qui concerne cette résolution, les candidats doivent savoir que tout le contenu saisi dans les champs de notes a été exporté et lié aux champs de réponses correspondants pour être examiné par les équipes de notation.

« Après avoir mûrement réfléchi et entendu directement de nombreux candidats, nous pensons que nos recommandations à la Cour suprême marquent le début d'une voie juste et significative pour tous les candidats à l'examen du barreau de février », a déclaré le président du CBE, Alex Chan. « Notre engagement à soutenir les candidats est inébranlable, et nous continuerons à affiner notre approche pour garantir un processus plus réactif, plus juste et plus équitable aujourd'hui et à l'avenir ».

Chan a déclaré qu'en raison du grand nombre d'expériences différentes rapportées à propos de l'examen du barreau de février, du manque de données uniformes sur ces expériences selon les modalités de l'examen et des divers impacts qu'elles ont eus sur la performance, le CBE s'est trouvé confronté à une tâche difficile en recommandant une solution juste qui équilibrait la compassion et maintenait l'intégrité de l'examen. À cette fin, le CBE a déterminé qu'un ajustement de la notation pour tous - englobé dans sa recommandation d'abaisser la note de passage brute - était la solution la plus équitable.

Un potentiel conflit d'intérêt

Selon le LA Times, cette révélation a suscité de vives critiques de la part de plusieurs experts en formation juridique. « La débâcle de l'examen du barreau de février 2025 est pire que ce que nous avions imaginé », a déclaré Mary Basick, doyenne adjointe des compétences académiques à la faculté de droit de l'université de Californie, à Irvine. « Je suis presque sans voix. Le fait que les questions soient rédigées par des non-juristes à l'aide d'une intelligence artificielle est tout simplement incroyable ».

Après avoir passé l'examen, certains candidats se sont plaints que certaines questions semblaient avoir été écrites par l'intelligence artificielle.

« J'ai défendu le barreau », a déclaré Basick. « C'est impossible ! Ils ne feraient pas ça ! »

L'utilisation de questions développées par l'IA et rédigées par des psychométriciens n'ayant pas reçu de formation juridique représentait « un conflit d'intérêts évident », a affirmé Basick, car « ce sont ces mêmes psychométriciens qui sont chargés d'établir que les questions sont valides et fiables ».

Katie Moran, professeur agrégé à la faculté de droit de l'université de San Francisco, spécialisée dans la préparation à l'examen du barreau, a parlé d'une « admission stupéfiante ». Elle a souligné que la société qui a rédigé les questions générées par l'intelligence artificielle les a également évaluées et approuvées en vue de leur utilisation pour l'examen.

« C'est un aveu stupéfiant », reconnaît Katie Moran, professeur associé à la faculté de droit de l'université de San Francisco, spécialisée dans la préparation à l'examen du barreau.

« Le barreau de l'État a admis avoir employé une société pour qu'un non-juriste utilise l'IA afin de rédiger des questions qui ont été posées lors de l'examen du barreau », a-t-elle déclaré. « Il a ensuite payé cette même société pour qu'elle évalue et approuve en fin de compte les questions de l'examen, y compris les questions rédigées par la société ».

Le barreau de l'État défend les questions assistées par l'IA face aux critiques

Alex Chan, président du comité des examinateurs du barreau de l'État, a noté que la Cour suprême de Californie avait exhorté le barreau de l'État à explorer « les nouvelles technologies, telles que l'intelligence artificielle » afin d'améliorer la fiabilité et la rentabilité des examens.

Toutefois, la Cour suprême de Californie a déclaré au LA Times qu'elle « ignorait que l'intelligence artificielle avait été utilisée pour rédiger les questions à choix multiples » jusqu'au communiqué de presse publié lundi par le barreau de l'État.

La révélation de l'utilisation de l'IA fait suite à d'autres problèmes survenus lors de l'examen de février. Des candidats ont signalé avoir été exclus des plateformes d'examen en ligne, avoir subi des décalages d'écran et des messages d'erreur, et avoir rencontré des fautes de frappe et des questions confuses. Ces problèmes ont donné lieu à une action en justice fédérale contre Meazure Learning, l'administrateur de l'examen, et à des demandes d'audit du barreau de l'État.

Un test unique de qualité douteuse

L'année dernière, le barreau de Californie a abandonné le Multistate Bar Examination de la National Conference of Bar Examiners au profit de son propre modèle de test hybride en personne et à distance, alors qu'il était confronté à un déficit de 22 millions de dollars. Il a passé un contrat de 8,25 millions de dollars avec Kaplan Exam Services pour la création des questions d'examen.

Selon le LA Times, les professeurs de droit Basick et Moran avaient déjà exprimé leurs inquiétudes quant à la qualité des questions de l'examen de février, notant que les 50 questions d'entraînement publiées avant l'examen « contenaient encore de nombreuses erreurs », même après avoir été corrigées.

Basick a exprimé d'autres inquiétudes quant à l'utilisation des questions de l'examen de première année de droit, arguant qu'un examen déterminant la compétence minimale pour pratiquer le droit requiert une norme différente de celle qui évalue l'apprentissage de la première année de l'école de droit.

Le barreau de l'État prévoit de demander à la Cour suprême de Californie d'ajuster les résultats des examens de février, mais il a refusé de reprendre les examens de la National Conference of Bar Examiners en juillet, invoquant des problèmes de sécurité liés aux options d'examen à distance.

Le Comité des examinateurs du barreau se réunira le 5 mai pour discuter des solutions, mais Chan a déclaré qu'il était peu probable que le barreau de l'État publie les 200 questions de l'examen ou reprenne les examens de la Conférence nationale des examinateurs du barreau prochainement, car près de la moitié des candidats au barreau de Californie souhaitent conserver l'option des tests à distance.

Sources : Le barreau de l'État de Californie, examen du barreau de la Californie, Cour suprême

Et vous ?

Quelle lecture faites-vous de cette situation ?

Pour Basick, l'utilisation de questions développées par l'IA et rédigées par des psychométriciens n'ayant pas reçu de formation juridique représentait « un conflit d'intérêts évident », car « ce sont ces mêmes psychométriciens qui sont chargés d'établir que les questions sont valides et fiables ». Partagez-vous sont point de vue ?

Faut-il interdire totalement l’usage de l’IA dans la conception des examens certifiants ?

Une question rédigée par IA peut-elle vraiment tester la compréhension juridique humaine ?

Peut-on valablement parler de "fraude" si la Commission du Barreau n’était pas informée ?

Les IA devraient-elles être créditées, au même titre que des rédacteurs humains ?

Voir aussi :

Un avocat cite des affaires juridiques fictives inventées par ChatGPT, provoquant la fureur du juge et des sanctions potentielles. ChatGPT avait assuré à l'avocat que ces affaires étaient réelles

Une IA va servir d'avocat à un individu dans un cas devant un tribunal aux USA : une première qui soulève des questions sur la possible disparition de ce métier et d'autres comme celui de développeur

Les résultats de l'examen du barreau montrent que l'IA peut rivaliser avec les "avocats humains". GPT-4 un modèle d'IA a obtenu un score de 297 à l'examen du barreau aux USA

Des chercheurs en IA affirment que le modèle de langage GPT-4 d'OpenAI pourrait passer l'examen du barreau, et relance le débat sur le remplacement des avocats et des juges par des systèmes d'IA

[dilara1999]

intéressant