Discussion :

[Patrick Ruiz]

L’entreprise Axon vend une IA qui transforme les enregistrements des caméras corporelles en rapports de police
« Une sorte de cauchemar », d’après un responsable de l’EFF qui évoque les biais

Axon affirme que son intelligence artificielle permettra à un plus grand nombre de policiers de quitter le bureau et de se rendre dans les rues. Les détracteurs sont pour leur part d’avis que le système est susceptible de rendre les policiers paresseux et d’introduire des erreurs dans des preuves cruciales. Les débats portent en sus sur les avantages et les inconvénients de la mise à contribution de la transcription audio vers texte pour les besoins des forces de l’ordre.

Les policiers américains font de plus en plus appel à l'intelligence artificielle pour les aider dans leur travail, qu'il s'agisse de modèles d'intelligence artificielle qui analysent les schémas criminels ou de drones capables de voler tout seuls. Désormais, une IA basée sur GPT-4 peut effectuer l'une de leurs tâches les moins attrayantes : la rédaction de rapports.

Axon, l'entreprise de 22 milliards de dollars connue pour la fabrication de l'arme électrique Taser, est derrière ce nouvel outil appelé Draft One. Il sert à la transcription automatique de l'audio des caméras corporelles en rapports de police. Axon affirme qu'un des premiers testeurs de l'outil, le service de police de Fort Collins Colorado, a constaté une diminution de 82 % du temps passé à rédiger des rapports. « Si un agent passe la moitié de sa journée à rédiger des rapports et que nous pouvons réduire ce temps de moitié, nous avons la possibilité de libérer 25 % du temps de l'agent pour qu'il puisse à nouveau faire son travail de policier », déclare un responsable de l’entreprise.

Ces rapports sont utilisés comme éléments de preuve dans les procès pénaux, et les critiques s'inquiètent du fait que l'utilisation de l'IA pourrait mettre les gens en danger en dépendant de modèles de langage connus pour leurs "hallucinations" ou leurs inventions, ainsi que pour leurs préjugés raciaux, qu'ils soient manifestes ou inconscients.

« C'est une sorte de cauchemar. La police, qui n'est pas spécialisée dans l'intelligence artificielle et qui ne le sera pas non plus dans la reconnaissance des problèmes liés à l'IA, va utiliser ces systèmes pour générer des contenus susceptibles d'affecter des millions de personnes lors de procès pénaux ? », s’inquiète Dave Maass, directeur des enquêtes sur les technologies de surveillance à l'Electronic Frontier Foundation. Axon se veut néanmoins rassurante en soulignant que les policiers peuvent effectueront la revue des documents générés par l’intelligence artificielle pour s'assurer de leur exactitude.

Police using AI to generate reports from body camera footage. #axon #draftone #generativeai #policereports pic.twitter.com/phACbZTMTL

— Trey Smith (@trey_smith) April 24, 2024

Les critiques recommandent aux policiers de ne pas utiliser l'intelligence artificielle pour rédiger des rapports sur des incidents aussi graves qu'une fusillade, où des informations vitales pourraient être omises : « Une fusillade impliquant un officier est probablement un scénario où elle ne serait pas utilisée, et je déconseillerais probablement aux gens de l'utiliser, simplement parce qu'il y a tellement de complexité, les enjeux sont tellement élevés ».
L'outil sera accompagné d'une piste d'audit répertoriant toutes les actions effectuées par un utilisateur, afin que les services de police puissent s'assurer qu'un rapport a été examiné et validé. Toutes les informations sont stockées et traitées sur les serveurs Microsoft Azure.

Certains responsables des forces de l'ordre sont d'avis que si la police devait utiliser l'intelligence artificielle pour rédiger des rapports, les services auraient besoin de politiques, de procédures et d'une supervision clairement définies. « Il faut s'assurer que le processus d'audit est réel. Si ces règles sont respectées, l'IA pourrait faire gagner du temps », indique un ex directeur de la police de Boston.

Source : Axon

Et vous ?

Pour ou contre l’utilisation de tels dispositifs par les forces de l’ordre ?

Voir aussi :

La reconnaissance faciale comme méthode de sécurité est inutile pour 4 smartphones sur 10 d'après une étude

La reconnaissance faciale du Samsung Galaxy S10 peut facilement être trompée par une photo ou une vidéo du propriétaire du téléphone

Le propriétaire d'un téléphone Android trouve accidentellement un moyen de contourner l'écran de verrouillage, et reçoit 70 000 dollars de Google pour avoir signalé le problème

Une tête imprimée en 3D a pu tromper le système de reconnaissance faciale de plusieurs smartphones Android populaires lors d'un test

[Mathis Lucas]

Quand l'IA menace l'intégrité de la justice : les policiers américains utilisent l'IA pour rédiger des rapports de police, et l'ACLU n'est pas contente
elle soulève des risques en matière de transparence

La popularité croissante des outils d'IA auprès de la police soulève de profondes préoccupations chez les groupes de défense des droits de l'homme. En dépit des problèmes liés aux logiciels de reconnaissance faciale basée sur l'IA déjà utilisés pour identifier les suspects, la technologie est désormais employée pour rédiger les rapports de police. L'ACLU dénonce un cas d'utilisation dangereux et affirme que « les rapports de police générés par l'IA risquent d'exacerber les problèmes existants en matière d'application de la loi et d'en créer de nouveaux ». L'organisation ajoute que cette pratique soulève des inquiétudes en matière de transparence et de partialité.

L'ACLU dénonce l'utilisation de l'IA pour la rédaction de rapports de police

Profitant du battage médiatique intense autour de l'IA, la société américaine Axon a lancé « Draft One », un outil qui utilise l'IA pour transformer les enregistrements des caméras corporelles en rapports de police. Axon affirme que l'un des premiers testeurs de l'outil, le service de police de Fort Collins Colorado, a constaté une diminution de 82 % du temps passé à rédiger des rapports. Mais beaucoup craignent un gain de temps au détriment de la transparence.

L'ACLU (American Civil Liberties Union) a publié cette semaine un rapport détaillant ses préoccupations concernant Draft One. Dans son article, l'ACLU a exprimé ses craintes quant à la fiabilité des rapports de police générés par Draft One, qui selon elle, pourraient souffrir d'un manque de transparence et d'impartialité. Elle ne croit guère que Draft One évitera d'entraîner des violations potentielles des droits civils et encore moins, des problèmes de liberté civile.

« Les rapports de police jouent un rôle crucial dans notre système judiciaire. Les inquiétudes portent notamment sur le manque de fiabilité et la nature partiale de l'IA, les problèmes de preuve et de mémoire lorsque les officiers ont recours à cette technologie, et les problèmes de transparence », a déclaré Jay Stanley, analyste principal de la politique de l'ACLU en matière de discours, de vie privée et de technologie. Jay Stanley est l'auteur du rapport de l'ACLU.

« En fin de compte, nous ne pensons pas que les services de police devraient utiliser cette technologie », a conclu Jay Stanley. Cependant, plusieurs services de police à travers les États-Unis ont progressivement testé des programmes d'IA au cours de l'année dernière, y compris Draft One de la société Axon.

Ce nombre est en augmentation, les villes américaines présentant les fonctions d'IA générative comme une solution aux contraintes de budget et de personnel. Des experts ont critiqué la mise en œuvre de cette technologie, citant le rôle essentiel que jouent les rapports de police dans la prise de décision judiciaire.

L'ACLU expose quatre grands domaines de préoccupation liés à la pratique

Si nous ne pouvons même pas faire confiance à l'IA pour rédiger quelque chose d'aussi simple qu'une nouvelle ou un rapport de bogue, comment pouvons-nous lui faire confiance pour effectuer un travail de police décent ? C'est l'une des principales inquiétudes soulevées par l'ACLU, d'autant plus que les rapports sont compilés à partir d'enregistrements de caméras corporelles qui sont souvent de mauvaise qualité et difficiles à entendre clairement.

L'ACLU expose quatre grands domaines de préoccupation. Elle souligne l'incertitude alimentée par les biais et les hallucinations inhérents à la technologie elle-même, et s'interroge sur la transparence de ces processus vis-à-vis du grand public, sans parler des implications en matière de confidentialité des données :

Des problèmes liés à la technologie elle-même

Selon l'ACLU, l'IA est biaisée, peu fiable et encline à inventer des faits. Étant donné que les grands modèles de langage (LLM) sont formés sur d'énormes quantités de données provenant de l'ensemble du Web, ils absorbent inévitablement le racisme, le sexisme et les autres préjugés qui imprègnent notre culture.

Par conséquent, l'ACLU affirme que même si un programme d'IA ne commet pas d'erreurs explicites ou ne présente pas de préjugés évidents, il peut toujours tourner les choses de manière subtile, sans que l'officier de police chargé de le superviser s'en aperçoive. Ce qui pourrait avoir des conséquences désastreuses.

Craintes concernant les preuves et la mémoire

Selon l'ACLU, la mémoire humaine - contrairement aux enregistrements vidéo - est extrêmement malléable ; des informations ultérieures sur un événement peuvent littéralement modifier le souvenir qu'une personne a de ce qui s'est passé. L'ACLU estime que c'est pourquoi il est important que les expériences subjectives et les souvenirs d'un agent soient mémorisés avant d'être contaminés par la narration d'une IA basée sur une caméra corporelle.

Mais si le rapport de police a été généré par l'IA à partir de la vidéo d'une caméra corporelle, il peut passer sous silence certains faits ou détails que l'agent aurait pu enregistrer, ou pire encore, permettre l'agent de mentir ; par exemple s'il constate que quelque chose d'illégal qu'ils ont fait n'a pas été filmé par la caméra.

« L'élasticité de la mémoire humaine est la raison pour laquelle nous pensons qu'il est vital que les agents fassent leur déclaration sur ce qui s'est passé lors d'un incident avant d'être autorisés à voir une vidéo ou d'autres preuves », indique le rapport de l'ACLU.

Préoccupations en matière de transparence

L'organisation affirme que cette pratique soulève des inquiétudes en matière de transparence et de partialité. Étant donné la nature novatrice et expérimentale des rapports de police générés par l'IA, il est important que le public comprenne ce qui se passe afin que des experts indépendants puissent évaluer la technologie et que les communautés et leurs représentants élus puissent décider s'ils veulent que les officiers de police qui les servent l'utilisent.

« Il est également essentiel que les personnes mises en cause dans des affaires pénales puissent interroger les preuves retenues contre elles. Pourtant, le fonctionnement de ces systèmes reste en grande partie mystérieux », explique l'organisation de droit civique dans son rapport.

Préoccupations liées à la responsabilité des agents

L'ACLU rappelle que les justifications écrites par les policiers pour des contrôles, des fouilles, des perquisitions et des fouilles par consentement sont examinées par leurs supérieurs, qui utilisent ce qui est écrit pour identifier les cas où un policier pourrait ne pas connaître ou ne pas respecter ces limites.

Le passage aux rapports de police rédigés par l'IA balaierait ces rôles importants de responsabilité que les rapports jouent au sein des services de police et dans l'esprit des agents. L'ACLU a conclu que les services de police ne devraient pas autoriser les agents à utiliser l'IA pour générer des projets de rapports de police.

« La technologie de rédaction de rapports par l'IA supprime d'importants éléments humains des procédures policières et est trop nouvelle, trop peu testée, trop peu fiable, trop opaque et trop partiale pour être insérée dans notre système de justice pénale », a déclaré l'organisation dans son rapport.

Draft One intègre une fonction qui permet d'insérer intentionnellement des phrases idiotes dans les rapports générés par l'IA, pour s'assurer que les agents examinent et révisent les rapports de manière approfondie. Mais le PDG d'Axon a déclaré que la plupart des agences choisissent de ne pas activer cette fonction.

Des pratiques controversées en matière d'innovation

Il convient de souligner qu'Axon n'a pas la meilleure réputation lorsqu'il s'agit de réfléchir de manière critique aux innovations : la plupart des membres du comité d'éthique de l'entreprise ont démissionné en 2022 lorsque Axon a annoncé son intention d'équiper des drones télécommandés de pistolets Taser.

Axon a ensuite interrompu le programme à la suite d'une réaction négative du public. Par ailleurs, Axon n'est pas la seule entreprise à proposer une IA permettant de rédiger un rapport de police. D'autres entreprises telles que Policereports.ai et Truleo offrent également deux des services similaires.

La pratique introduit également des risques de confidentialité

L'ACLU souligne également les problèmes de confidentialité liés à l'utilisation de l'IA pour traiter les images des caméras corporelles. Les données policières sont sensibles, alors qui va les traiter exactement ? Selon Axon, « toutes les données de Draft One, y compris les transcriptions des caméras et les rapports préliminaires, sont stockées et gérées en toute sécurité au sein du réseau Axon », mais il n'y a aucune indication sur la nature de l'infrastructure.

Axon a indiqué dans un communiqué de presse datant d'avril 2024 que « Draft One a été construit au-dessus de la plateforme Azure OpenAI Service de Microsoft ». Pourtant, Microsoft indique que les policiers ne sont pas autorisés à utiliser son infrastructure cloud pour la reconnaissance faciale.

Cependant, cela ne s'applique apparemment pas au fait de laisser une IA rédiger des rapports de police. Ce n'est pas vraiment une source de confiance étant donné les antécédents de Microsoft et d'Azure en matière de sécurité ces derniers temps, notamment avec les préoccupations liées à la fonction Windows Recall.

« Lorsqu'un utilisateur (tel qu'Axon) télécharge un document ou saisit une invite, ces deux éléments sont transmis à l'opérateur du modèle de langage (tel qu'OpenAI), et ce que cet opérateur fait de ces informations n'est soumis à aucune protection légale de la vie privée », peut-on lire dans le rapport de l'ACLU.

Axon affirme ici qu'aucune donnée du client [c'est-à-dire de la police] n'est transmise à OpenAI, mais pour qu'un modèle comme ChatGPT analyse un bloc de texte tel que la transcription d'une vidéo prise par une caméra corporelle, vous envoyez normalement ce texte à la société qui gère le modèle, comme OpenAI.

« Je ne suis pas sûr de savoir comment cela fonctionnerait dans le cas de Draft One », a déclaré Jay Stanley. En fin de compte, Draft One est déjà utilisé par les forces de l'ordre américaines depuis son lancement en avril 2024. L'on ignore combien d'agences utilisent Draft One, et Axon ne communique pas ce chiffre.

Source : American Civil Liberties Union (1, 2)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'utilisation de l'IA pour la rédaction des rapports de police ?
Quels sont les risques liés à ce cas d'utilisation de l'IA ? Que pensez-vous des faits soulevés par l'ACLU ?

Voir aussi

L'entreprise Axon vend une IA qui transforme les enregistrements des caméras corporelles en rapports de police, « une sorte de cauchemar », d'après un responsable de l'EFF qui évoque les biais

La reconnaissance faciale comme méthode de sécurité est inutile pour 4 smartphones sur 10, d'après une étude

Microsoft interdit aux services de police américains d'utiliser son outil IA pour la reconnaissance faciale, une semaine après qu'un fabricant de produits technologiques et d'armes a annoncé utiliser GPT-4

[der§en]

J’ai demandé son avis à chatGPT, et voici sa réponse :

Dans des contextes sensibles comme la rédaction de rapports de police, il serait imprudent de me confier une responsabilité complète sans supervision humaine. Mes limites incluent :

1. Biais : Mes réponses peuvent refléter les biais des données sur lesquelles je suis entraînée.
2. Erreurs ou hallucinations : Je peux produire des informations incorrectes ou inventées.
3. Manque de transparence : Mon processus de génération de contenu est difficile à expliquer en détail.

Je peux être utile comme outil d’assistance, mais je ne devrais pas remplacer un jugement humain éclairé, surtout dans des domaines critiques pour la justice et les droits civils.

[Alex]

L'outil d'IA préféré des policiers efface automatiquement les preuves de son utilisation, l'outil d'IA de la police étant conçu pour éviter de rendre des comptes, d'après l'EFF

L'Electronic Frontier Foundation a publié une vaste enquête sur les rapports de police générés par l'IA qui, selon le groupe, sont, de par leur conception, presque impossibles à vérifier et pourraient permettre aux policiers de mentir sous serment plus facilement. L'EFF a constaté que la technologie "semble conçue pour paralyser toute tentative d'audit, de transparence et de responsabilité". Les policiers ne sont pas tenus de divulguer l'utilisation de l'IA dans chaque service, et Draft One n'enregistre pas les brouillons et ne conserve pas d'archives indiquant quelles parties des rapports sont générées par l'IA.

Axon Enterprise (anciennement TASER International) est une société américaine basée à Scottsdale, en Arizona, qui développe des technologies et des produits d'armement pour les militaires, les forces de l'ordre et les civils. Son premier produit et son ancien nom est le Taser, une gamme d'armes à électrochocs. L'entreprise s'est depuis diversifiée dans les produits technologiques destinés aux militaires et aux forces de l'ordre, notamment les caméras portées sur le corps, les caméras de surveillance, les logiciels de répartition assistée par ordinateur et Evidence.com, une plateforme de preuves numériques basée sur le cloud. En 2017, les caméras portées sur le corps et les services associés représentaient un quart de l'activité globale d'Axon.

Les policiers américains font de plus en plus appel à l'intelligence artificielle pour les aider dans leur travail, qu'il s'agisse de modèles d'intelligence artificielle qui analysent les schémas criminels ou de drones capables de voler tout seuls. Désormais, une IA basée sur GPT-4 peut effectuer l'une de leurs tâches les moins attrayantes : la rédaction de rapports. Axon affirme que son intelligence artificielle permettra à un plus grand nombre de policiers de quitter le bureau et de se rendre dans les rues. Les détracteurs sont pour leur part d’avis que le système est susceptible de rendre les policiers paresseux et d’introduire des erreurs dans des preuves cruciales.

Récemment, un groupe de défense des droits numériques, l'Electronic Frontier Foundation, a publié une vaste enquête sur les rapports de police générés par l'IA qui, selon le groupe, sont, de par leur conception, presque impossibles à vérifier et pourraient permettre aux policiers de mentir sous serment plus facilement.

Draft One d'Axon a fait ses débuts l'été dernier dans un service de police du Colorado, soulevant instantanément des questions sur les effets négatifs redoutés des rapports de police rédigés par l'IA sur le système de justice pénale. L'outil s'appuie sur une variante de ChatGPT pour générer des rapports de police basés sur les enregistrements des caméras corporelles, que les policiers sont ensuite censés modifier pour corriger les erreurs, évaluer les résultats de l'IA pour détecter les biais ou ajouter des éléments contextuels essentiels.

Mais l'EFF a constaté que la technologie "semble conçue pour paralyser toute tentative d'audit, de transparence et de responsabilité". Les policiers ne sont pas tenus de divulguer l'utilisation de l'IA dans chaque service, et Draft One n'enregistre pas les brouillons et ne conserve pas d'archives indiquant quelles parties des rapports sont générées par l'IA. Les services ne conservent pas non plus les différentes versions des projets, ce qui rend difficile l'évaluation de la comparaison d'une version d'un rapport d'IA avec une autre, afin d'aider le public à déterminer si la technologie est "bidon", a déclaré l'EFF. Cela soulève la question suivante : "Pourquoi une agence ne voudrait-elle pas conserver un dossier permettant d'établir l'exactitude de la technologie ?

Pour rappel, en décembre 2024, le groupe de défense de défense des droits de l'homme ACLU avait déjà publié un rapport détaillant ses préoccupations concernant Draft One. Le groupe avait dénoncé un cas d'utilisation dangereux de l'outil et affirmait que "les rapports de police générés par l'IA risquent d'exacerber les problèmes existants en matière d'application de la loi et d'en créer de nouveaux". L'organisation avait ajouté que cette pratique soulève des inquiétudes en matière de transparence et de partialité.

Voici un résumé du rapport de l'EFF :

Draft One d'Axon est conçu pour défier la transparence

Draft One d'Axon Enterprise - un produit d'intelligence artificielle générative qui rédige des rapports de police à partir de l'audio des caméras corporelles des officiers - semble délibérément conçu pour éviter les audits qui pourraient rendre des comptes au public, selon une enquête de l'EFF.

L'examen des archives publiques des services de police qui utilisent déjà la technologie - y compris les rapports de police, les courriels, les documents d'approvisionnement, les politiques du service, les paramètres du logiciel, etc. - ainsi que les manuels d'utilisation et les documents de marketing d'Axon ont révélé qu'il est souvent impossible de dire quelles parties d'un rapport de police ont été générées par l'IA et quelles parties ont été rédigées par un agent.

Tout le monde devrait avoir accès aux réponses, aux preuves et aux données concernant l'efficacité et les dangers de cette technologie. Axon et ses clients affirment que cette technologie va révolutionner les services de police, mais il reste à voir comment elle modifiera le système de justice pénale et à qui elle profitera le plus.

Depuis des mois, l'EFF et d'autres organisations mettent en garde contre les menaces que cette technologie fait peser sur la responsabilité et la transparence d'un système de justice pénale déjà défectueux. Le nouveau rapport de l'EFF conclu que la situation est encore pire : Il n'existe aucun moyen valable d'auditer l'utilisation de Draft One, que l'on soit chef de police ou chercheur indépendant, car Axon l'a conçu de cette manière.

Draft One utilise une variante de ChatGPT pour traiter les enregistrements audio des caméras corporelles lors de rencontres publiques et créer des rapports de police basés uniquement sur le dialogue verbal capturé ; il ne traite pas la vidéo. Le texte généré par Draft One est parsemé d'espaces réservés entre crochets que les agents sont encouragés à utiliser pour ajouter des observations ou des informations supplémentaires - ou qui peuvent être rapidement supprimées. Les agents sont censés éditer le rapport de Draft One et corriger tout ce que le Gen AI a mal compris en raison d'un manque de contexte, de traductions erronées ou de simples erreurs. Lorsqu'il a terminé, l'agent est invité à signer un document attestant que le rapport a été généré à l'aide de Draft One, qu'il l'a examiné et qu'il y a apporté les modifications nécessaires pour s'assurer qu'il est conforme à ses souvenirs. Il peut ensuite copier et coller le texte dans son rapport. Lorsqu'il ferme la fenêtre, le projet disparaît.

Toute technologie nouvelle, non testée et problématique nécessite un processus solide d'évaluation de son utilisation par les agents. Dans le cas présent, on peut s'attendre à ce que les services de police conservent des données garantissant que les agents modifient effectivement les rapports générés par l'IA, comme cela est exigé, ou que les agents puissent répondre avec précision si un juge demande si les rapports utilisés par l'accusation ont été rédigés par l'IA, ou quelle partie de ces rapports a été rédigée par l'IA.

On peut s'attendre à ce que les systèmes d'audit soient facilement accessibles aux superviseurs de la police, aux chercheurs et au public, afin que chacun puisse tirer ses propres conclusions en toute indépendance. Et l'on s'attendrait à ce que Draft One permette de distinguer facilement le produit de l'IA du produit humain - après tout, même votre logiciel de traitement de texte gratuit de base peut suivre les modifications et enregistrer l'historique d'un document.

Mais Draft One défie toutes ces attentes, en offrant de maigres fonctions de contrôle qui dissimulent délibérément la manière dont il est utilisé.

Ainsi, lorsqu'un rapport de police contient des propos tendancieux, des inexactitudes, des interprétations erronées, voire des mensonges purs et simples, le dossier n'indique pas si c'est l'agent ou l'IA qui est à blâmer. Il est donc extrêmement difficile, voire impossible, d'évaluer l'impact du système sur les résultats de la justice, car il existe peu de données non anecdotiques permettant de déterminer si la technologie est mauvaise.

Le mépris de la transparence est peut-être le mieux résumé par un court courriel qu'un administrateur du département de police de Frederick au Colorado, l'un des premiers clients Draft One d'Axon, a envoyé à un représentant de l'entreprise après avoir reçu une demande d'archives publiques concernant des rapports générés par l'IA.

"Nous adorons avoir de nouveaux jouets jusqu'à ce que le public en prenne connaissance", a écrit l'administrateur.

Aucune trace de qui a écrit quoi

La première question que l'on devrait se poser à propos d'un rapport de police rédigé à l'aide de Draft One est de savoir quelles parties ont été écrites par l'IA et lesquelles ont été ajoutées par l'agent. Une fois que vous aurez répondu à cette question, vous pourrez commencer à répondre à d'autres questions, telles que :

• Les agents modifient-ils et ajoutent-ils des éléments significatifs au projet de l'IA ? Ou bien approuvent-ils par réflexe les projets pour passer à autre chose le plus rapidement possible ?
  
• À quelle fréquence les agents trouvent-ils et corrigent-ils les erreurs commises par l'IA, et ces erreurs ont-elles un caractère systématique ?
  
• Si le rapport final contient des termes inappropriés ou des inventions, celles-ci ont-elles été introduites par l'AI ou par l'agent ?
  
• L'IA va-t-elle trop loin dans son interprétation de l'enregistrement ? Si un rapport indique que « le sujet a fait un geste menaçant », cette mention a-t-elle été ajoutée par l'agent ou l'IA a-t-elle fait une supposition factuelle sur la base de l'enregistrement ? Si un suspect utilise un argot métaphorique, l'IA le documente-t-elle littéralement ? Si un sujet dit « oui » au cours d'une conversation pour reconnaître verbalement qu'il écoute ce que dit l'agent, cela est-il interprété comme un accord ou un aveu ?

Ironiquement, Draft One ne sauvegarde pas le premier projet qu'il génère. Le système n'enregistre pas non plus les versions suivantes. Au lieu de cela, l'agent copie et colle le texte dans le rapport de police, et la version précédente, créée à l'origine par Draft One, disparaît dès que la fenêtre se ferme. Il n'existe aucun registre ou enregistrement indiquant quelles parties d'un rapport ont été rédigées par l'ordinateur et quelles parties ont été rédigées par l'agent, à l'exception des souvenirs de l'agent lui-même. Si un agent génère plusieurs fois un rapport « Draft One », il n'y a aucun moyen de savoir si l'IA interprète l'audio différemment à chaque fois.

Axon ne cache pas qu'elle ne conserve pas ces enregistrements, du moins lorsqu'elle les commercialise directement auprès des forces de l'ordre.

Voici les déclarations du chef de produit principal d'Axon pour l'IA générative : "Nous ne conservons pas le projet original, et c'est ainsi que nous l'avons conçu, car la dernière chose que nous voulons faire est de créer davantage de problèmes de divulgation pour nos clients et les bureaux de nos avocats. En gros, l'agent génère ce projet, il y apporte ses modifications, s'il le soumet à notre système d'archivage Axon, c'est le seul endroit où nous le conservons. En fait, il n'est jamais stocké dans le nuage, et vous n'avez donc pas à vous soucier des copies supplémentaires qui circulent."

Donc, Axon ne stocke délibérément pas le projet original rédigé par l'IA Gen, car "la dernière chose" qu'elle souhaite, c'est que les flics aient à fournir ces données à qui que ce soit (par exemple, un juge, un avocat de la défense ou une association de défense des libertés civiles).

Répondant à la même question, le directeur des relations stratégiques d'Axon Justice suggère que cela ne pose pas de problème, puisqu'un policier utilisant un traitement de texte ne serait pas tenu de sauvegarder chaque version d'un rapport de police au fur et à mesure qu'il le réécrit. Il s'agit bien entendu d'une erreur d'aiguillage et d'une situation qui n'a rien de comparable. Un officier utilisant un traitement de texte est un processus de pensée et un enregistrement créé par une seule partie ; le Draft One est deux processus de deux parties - Axon et l'officier. En fin de compte, il pourrait et devrait être considéré comme deux documents : la version envoyée à l'agent par Axon et la version éditée par l'agent.

L'époque où les services de police rédigeaient des rapports à l'aide de traitements de texte avait des conséquences inattendues est peut-être révolue, mais le projet « Draft One » n'a pas encore fait ses preuves. Après tout, tous les évangélistes de l'IA, y compris Axon, affirment que cette technologie change la donne. Dès lors, pourquoi une agence ne souhaiterait-elle pas conserver un dossier permettant d'établir l'exactitude de la technologie ?

Il semble également que Draft One ne se contente pas de respecter les normes établies de longue date en matière de rédaction de rapports de police, mais qu'il les modifie fondamentalement. Dans un courriel, le superviseur des archives de police du département de police de Campbell dit au personnel : "Vous remarquerez peut-être une différence significative dans le format narratif... si le bureau du procureur a des commentaires concernant les narratifs de nos rapports, veuillez m'en faire part". Il est plus que choquant qu'un service de police mette en œuvre un tel changement sans solliciter et prendre en compte l'avis des procureurs. Dans ce cas, le procureur du comté de Santa Clara avait déjà suggéré à la police d'inclure une divulgation lorsque l'Axon Draft One est utilisé dans chaque rapport, mais les ingénieurs d'Axon n'avaient pas encore finalisé la fonctionnalité au moment où elle a été déployée.

L'une des principales préoccupations, bien sûr, est que ce système crée effectivement un écran de fumée sur la véracité des rapports de police. Si un agent ment ou utilise un langage inapproprié dans un rapport de police, qui peut dire que c'est l'agent qui l'a écrit ou l'IA ? Un policier peut être sévèrement puni pour malhonnêteté officielle, mais les conséquences peuvent être plus clémentes pour un policier qui rejette la faute sur l'IA. Il est déjà arrivé que des ingénieurs découvrent un bogue qui a permis à des agents, à trois reprises au moins, de contourner les "garde-fous" censés dissuader les agents de soumettre des rapports générés par l'IA sans les avoir lus au préalable, comme Axon l'a révélé au département de police de Frederick.

Pour servir et protéger l'intérêt public, les résultats de l'IA doivent faire l'objet d'une évaluation continue et agressive, quel que soit le lieu ou le moment où ils sont utilisés. Mais Axon a délibérément rendu cette tâche difficile.

A quoi ressemble réellement la piste d'audit

Vous avez peut-être vu des articles de presse ou d'autres déclarations publiques affirmant que Draft One possède effectivement des fonctions d'audit. L'EFF a donc parcouru les manuels d'utilisation pour comprendre ce que cela signifie exactement.

La première chose à noter est que, d'après l'examen de la documentation, il ne semble pas y avoir de fonction dans le logiciel Axon qui permette aux services d'exporter une liste de tous les officiers de police qui ont utilisé Draft One. Il n'est pas non plus possible d'exporter une liste de tous les rapports créés par Draft One, à moins que le service n'ait personnalisé son processus.

C'est décevant car, sans ces informations, il est pratiquement impossible de faire la moindre analyse statistique : combien d'agents utilisent la technologie et à quelle fréquence.

D'après la documentation, il n'est possible d'exporter que deux types de journaux très basiques, le processus étant différent selon que l'agence utilise les produits Evidence ou Records/Standards. Il s'agit des deux types de journaux suivants :

1. Un journal des actions de base effectuées sur un rapport particulier. Si l'agent a demandé un rapport Draft One ou a signé la déclaration de responsabilité Draft One relative au rapport de police, cela apparaîtra ici. Mais rien de plus.
   
   
2. Un journal des activités de base d'un agent ou d'un utilisateur dans le système Axon Evidence/Records. Ce journal d'audit indique par exemple quand un agent se connecte au système, télécharge des vidéos ou accède à un élément de preuve. Les seules activités liées à Draft One qui sont suivies sont les suivantes : l'agent a exécuté une demande Draft One, a signé la déclaration de responsabilité Draft One ou a modifié les paramètres Draft One.

Cela signifie que, pour réaliser un examen complet, un évaluateur peut être amené à parcourir le système de gestion des dossiers et à rechercher chaque agent individuellement pour déterminer s'il a utilisé Draft One et à quel moment. Cela peut signifier passer au peigne fin des dizaines, des centaines ou, dans certains cas, des milliers de journaux d'utilisateurs individuels.

Un auditeur pourrait également examiner les rapports un par un pour voir lesquels impliquent Draft One, mais le nombre même de rapports générés par une agence signifie que cette méthode nécessiterait un temps considérable.

Mais les agences peuvent-elles même créer une liste des rapports de police qui ont été coécrits avec l'IA ? Cela dépend si l'agence a inclus une déclaration dans le corps du texte, telle que "Je reconnais que ce rapport a été généré à partir d'un enregistrement numérique utilisant Draft One by Axon". Si c'est le cas, un administrateur peut utiliser "Draft One" comme mot-clé de recherche pour trouver les rapports pertinents.

Les agences qui n'exigent pas cette formulation ont dit qu'elles ne pouvaient pas identifier les rapports rédigés à l'aide de Draft One. Par exemple, l'une de ces agences et l'un des clients les plus promus d'Axon, le département de police de Lafayette dans l'Indiana, a déclaré : "En ce qui concerne la demande ci-jointe, nous n'avons pas la possibilité de créer une liste des rapports créés avec Draft One. Ils ne sont pas consultables. Cette demande est maintenant close".

Entre-temps, en réponse à une demande similaire de documents publics, le bureau du shérif du comté de Palm Beach, qui exige qu'il soit indiqué au bas de chaque rapport qu'il a été rédigé par l'IA, a pu isoler plus de 3 000 rapports Draft One générés entre décembre 2024 et mars 2025.

Ils ont déclaré : "Nous sommes en mesure d'effectuer une recherche par mot clé et par période. J'ai utilisé les mots draft one et le système a généré tous les rapports draft one pour cette période".

Cependant, selon des échanges de courriels entre le département de police de Frederick au Colorado et Axon, Axon suit l'utilisation de la technologie par la police à un niveau qui n'est pas accessible au département de police lui-même. En réponse à une demande d'Alfred Ng de Politico en août 2024 concernant les rapports de police générés par Draft One, le service de police a eu du mal à isoler ces rapports.

Un représentant d'Axon a répondu : "Malheureusement, il n'y a pas de filtre pour les rapports DraftOne, il faut donc extraire la piste d'audit d'un utilisateur et rechercher les entrées Draft One. Pour fixer les attentes, ce ne sera pas très gracieux, mais ce n'était pas un scénario que nous avions prévu de rendre facile."

Mais Axon a poursuivi : "Nous suivons les rapports qui utilisent Draft One en interne, j'ai donc exporté les données". Quelques jours plus tard, Axon a fourni à Frederick un code JSON personnalisé pour extraire les données à l'avenir.

Que fait-on à propos de Draft One

L'Assemblée californienne examine actuellement le projet de loi SB 524, qui prévoit des mesures de transparence pour les rapports de police rédigés par l'IA. La loi exigerait la divulgation des informations lorsque la police utilise l'intelligence artificielle pour rédiger partiellement ou entièrement des rapports officiels, et "exigerait que la première version créée soit conservée aussi longtemps que le rapport final". Comme Draft One est conçu pour ne pas conserver la première version d'un rapport ni aucune version antérieure, il ne peut pas se conformer à ce projet de loi de bon sens et de première étape, et toute utilisation par les forces de l'ordre serait illégale.

Axon présente Draft One comme une solution à un problème dont la police se plaint depuis au moins un siècle : elle fait trop de paperasserie. Ou, du moins, qu'ils passent trop de temps à faire de la paperasserie. Les recherches actuelles sur la question de savoir si Draft One remédie à ce problème donnent des résultats mitigés, certaines agences affirmant qu'il n'y a pas d'économies en temps réel, tandis que d'autres en vantent les mérites (bien que leurs données montrent également que les résultats varient même au sein du service).

Dans le système judiciaire, la police doit privilégier la précision à la rapidité. La sécurité publique et un système juridique digne de confiance exigent la qualité plutôt que des économies de bouts de chandelle. Le gain de temps ne doit pas être le seul indicateur, ni même le plus important. C'est comme si l'on évaluait un restaurant drive-in en se basant uniquement sur la rapidité avec laquelle les plats sortent, tout en dissimulant délibérément les ingrédients et les informations nutritionnelles et en ne vérifiant pas si la cuisine est conforme aux normes d'hygiène et de sécurité.

Étant donné que cette technologie n'a pas été testée et que l'entreprise est pressée de vendre Draft One, de nombreux législateurs et procureurs locaux ont décidé d'essayer de réglementer l'utilisation du produit. L'Utah étudie actuellement un projet de loi qui rendrait obligatoire la divulgation de tous les rapports de police générés par l'IA, ce qui permettrait d'éviter l'un des principaux problèmes de transparence actuels : il est pratiquement impossible de savoir quels rapports finis ont été rédigés à partir d'un projet d'IA.

Dans le comté de King (Washington), qui comprend Seattle, le bureau du procureur a donné des instructions claires : la police ne doit pas utiliser l'IA pour rédiger des rapports de police. Leur mémo dit : "Nous ne craignons pas les progrès de la technologie, mais nous avons des inquiétudes légitimes concernant certains produits actuellement sur le marché... L'IA continue de se développer et nous avons bon espoir d'arriver dans un avenir proche à un stade où l'on pourra se fier à ces rapports. Pour l'instant, notre bureau a pris la décision de ne pas accepter les rapports de police produits avec l'aide de l'IA."

L'EFF exhorte les autres procureurs à suivre l'exemple et à exiger que la police de leur juridiction n'utilise pas ce nouveau produit d'IA, qui n'a pas de comptes à rendre et qui est intentionnellement opaque.

Voici les conclusion de l'EFF :

La police ne devrait pas utiliser l'IA pour rédiger des rapports de police. Trop de questions restent sans réponse quant à la manière dont l'IA traduirait l'audio des situations et quant à la question de savoir si la police éditera réellement ces projets, alors qu'en même temps, il n'y a aucun moyen pour le public de discerner de manière fiable ce qui a été écrit par une personne et ce qui a été écrit par un ordinateur. Et ce, avant même d'aborder la question de savoir comment ces rapports pourraient aggraver et exacerber les problèmes existants ou en créer de nouveaux dans un système de justice pénale déjà injuste et peu transparent.

L'EFF continuera à mener des recherches et à plaider contre l'utilisation de cette technologie, mais pour l'instant, la leçon est claire : toute personne ayant un contrôle ou une influence sur les services de police, qu'il s'agisse de législateurs ou de personnes travaillant dans le système de justice pénale, a le devoir d'être informée des préjudices potentiels et des défis posés par les rapports de police rédigés par l'IA.

À propos de l'Electronic Frontier Foundation (EFF)

L'Electronic Frontier Foundation est une organisation à but non lucratif qui défend les libertés civiles dans le monde numérique. Fondée en 1990, l'EFF défend la vie privée des utilisateurs, la liberté d'expression et l'innovation par le biais de litiges, d'analyses politiques, d'activisme de terrain et de développement technologique. La mission de l'EFF est de veiller à ce que la technologie soutienne la liberté, la justice et l'innovation pour tous les peuples du monde.


Source : EFF

Et vous ?

Pensez-vous que cette étude est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Les outils d'IA sont utilisés par la police qui « ne comprend pas comment ces technologies fonctionnent », selon une étude de l'Université d'État de Caroline du Nord

Arrêtés par l'IA : quand la police ignore les normes après les correspondances de reconnaissance faciale par l'IA. Toutes les personnes arrêtées à tort subissent d'énormes préjudices

La justice US nie avoir créé un programme de « surveillance de masse » des utilisateurs de ChatGPT en obligeant OpenAI à conserver les journaux de conversation. L'EFF estime que la police pourrait s'en servir

[marsupial]

Judge Dread