IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 915
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 915
    Par défaut La police britannique rejette la faute sur Microsoft Copilot pour expliquer une bévue qu'elle a commise
    La police britannique rejette la faute sur Microsoft Copilot pour expliquer une bévue qu'elle a commise suite à une hallucination :
    jusqu’où peut-on faire porter le chapeau à l’IA ?

    L’affaire aurait pu rester un banal incident administratif. Elle est devenue un cas d’école. Au Royaume-Uni, une décision de police visant à interdire de stade plusieurs supporters de football s’est appuyée sur une information erronée générée par un outil d’intelligence artificielle. En toile de fond, l’utilisation de Microsoft Copilot par des forces de l’ordre, la difficulté à reconnaître une erreur algorithmique, et une question désormais centrale pour les professionnels de l’IT comme pour les décideurs publics : que se passe-t-il quand une hallucination d’IA se transforme en décision administrative bien réelle ?

    L’histoire démarre par une procédure devenue courante dans le football britannique. Dans un contexte de lutte contre les violences et les débordements, la UK police dispose de pouvoirs étendus pour restreindre l’accès aux stades à certains supporters, parfois sur la base d’éléments contextuels ou préventifs. Dans ce cas précis, une note interne fait référence à une règle présentée comme établie : un type précis de comportement aurait justifié automatiquement une interdiction.

    Le problème est que cette règle n’existe pas. Elle a été formulée par Copilot, qui a produit une réponse plausible, bien structurée, mais factuellement incorrecte. L’IA a « halluciné » une base réglementaire, et cette hallucination a été reprise sans vérification suffisante, puis intégrée à une décision officielle.

    La séquence qui suit est presque caricaturale pour quiconque a déjà observé la gestion d’incidents technologiques dans une grande organisation. Dans un premier temps, les autorités concernées minimisent. L’outil n’aurait été qu’un support, la décision serait restée humaine. Puis, face aux éléments factuels et aux demandes de clarification, l’argumentaire se fissure. L’usage de Copilot est finalement reconnu, tout comme le caractère erroné de l’information produite.

    Ce cheminement en trois temps — nier, nier encore, puis admettre partiellement — illustre une difficulté profonde. Les organisations publiques ne sont pas encore prêtes culturellement à traiter une IA générative comme un système faillible nécessitant des garde-fous stricts, au même titre qu’un logiciel critique ou qu’un modèle décisionnel automatisé.

    La police avoue que sa décision controversée reposait en partie sur des informations fantaisistes de Microsoft Copilot

    Après avoir nié pendant des semaines que ses forces utilisaient des outils d'IA, le chef de la police des West Midlands a finalement admis que la décision très controversée d'interdire l'entrée au Royaume-Uni aux supporters du club de football Maccabi Tel Aviv reposait en partie sur des informations fantaisistes fournies par Microsoft Copilot.

    En octobre 2025, le groupe consultatif sur la sécurité (SAG) de Birmingham s'est réuni pour décider si le match de football à venir entre Aston Villa (basé à Birmingham) et le Maccabi Tel Aviv pouvait se dérouler en toute sécurité. Les tensions étaient vives, en partie à cause de l'attaque terroriste perpétrée le 2 octobre contre une synagogue de Manchester, au cours de laquelle plusieurs personnes ont été tuées par un assaillant islamiste.

    La police des West Midlands, qui était un membre clé du SAG, a fait valoir que le match de football à venir pourrait entraîner des violences à Birmingham et a recommandé d'interdire l'accès au stade aux supporters. La police a notamment souligné que les supporters du Maccabi Tel Aviv s'étaient montrés violents lors d'un récent match de football à Amsterdam.

    Cette décision a été très controversée et a rapidement pris une dimension politique. Pour certains juifs et conservateurs, il semblait que les supporters juifs étaient interdits de match, alors que les attentats terroristes islamistes constituaient la source la plus grave de violence. Le match de football s'est déroulé le 6 novembre sans supporters, mais la controverse autour de l'interdiction a persisté pendant des mois.

    Nom : policy.png
Affichages : 5268
Taille : 15,6 Ko

    Pour ne rien arranger, le récit de la police des West Midlands s'est rapidement effondré

    Selon la BBC, la police a affirmé que le match de football à Amsterdam avait rassemblé « 500 à 600 supporters du Maccabi [qui] avaient pris pour cible les communautés musulmanes la veille du match à Amsterdam, affirmant qu'il y avait eu "des agressions graves, notamment le jet de passants pris au hasard" dans une rivière. Elle a également affirmé que 5 000 policiers étaient nécessaires pour faire face aux troubles à Amsterdam, après avoir précédemment déclaré que ce chiffre était de 1 200. »

    La police d'Amsterdam a clairement indiqué que le récit des West Midlands concernant le mauvais comportement des supporters du Maccabi était largement exagéré, et la BBC a récemment obtenu une lettre de l'inspecteur général néerlandais confirmant que ces allégations étaient inexactes.

    Mais c'est une erreur flagrante, certes mineure, qui a donné une image particulièrement médiocre à la recommandation de la police des West Midlands. Dans une liste des matchs récents auxquels ont assisté des supporters du Maccabi Tel Aviv, la police a inclus un match entre West Ham (Royaume-Uni) et le Maccabi Tel Aviv. Le seul problème ? Ce match n'a jamais eu lieu.

    D'où venait donc ce détail complètement fantaisiste ? Alors qu'une enquête était menée sur l'ensemble de la situation, Craig Guildford, le chef de la police des West Midlands, a été convoqué devant le Parlement en décembre 2025, puis à nouveau début janvier 2026 pour répondre à des questions. À ces deux occasions, il a affirmé que la police n'avait pas utilisé l'IA, suspecte évidente dans une affaire comme celle-ci. En décembre, Guildford a imputé la responsabilité à un « scraping des réseaux sociaux » qui avait mal tourné ; en janvier, il a mis cela sur le compte d'une mauvaise recherche sur Google.

    « Nous n'utilisons pas l'IA », a-t-il déclaré au Parlement le 6 janvier. « En ce qui concerne West Ham et la manière dont nous avons obtenu ces informations, lors de la rédaction du rapport, l'un des agents se rendait généralement sur... un système utilisé par les agents chargés du football dans tout le pays, qui contient des rapports de renseignement sur les matchs précédents. Ils n'ont trouvé aucune information pertinente lors de leurs recherches. Ils ont simplement recherché sur Google la date du dernier match. C'est ainsi qu'ils ont obtenu ces informations. »

    Mais Guildford a admis que cette explication était en fait absurde. Comme il l'a reconnu dans une lettre datée du 12 janvier, « j'ai [récemment] pris conscience que le résultat erroné concernant le match West Ham contre Maccabi Tel Aviv était dû à l'utilisation de Microsoft Copilot ».

    Nom : flic.png
Affichages : 1280
Taille : 235,5 Ko

    Copilot n’est pas un moteur de vérité

    Pour les professionnels de l’informatique, le fond du problème est clair. Copilot, comme les autres assistants génératifs, n’est ni un moteur juridique ni une base de connaissances certifiée. Il s’agit d’un système probabiliste, conçu pour produire des réponses cohérentes et utiles, pas pour garantir l’exactitude normative. Utilisé dans un EDI ou dans un contexte bureautique, le risque est limité. Transposé dans une chaîne décisionnelle policière, il devient systémique.

    Le cas britannique rappelle brutalement que l’IA générative ne « sait » pas. Elle infère. Et lorsque l’inférence porte sur des règles de droit, des procédures administratives ou des sanctions, l’erreur n’est plus abstraite. Elle a des conséquences directes sur les droits des individus.

    Une responsabilité humaine diluée, mais toujours bien réelle

    L’un des aspects les plus troublants de l’affaire tient à la dilution de la responsabilité. Aucun développeur n’a introduit de règle fictive dans un système expert. Pourtant, une décision injustifiée a été prise. Cette zone grise est précisément celle que redoutent juristes et architectes SI.

    L’IA devient un tiers silencieux dans la chaîne de décision. Elle n’est ni pleinement assumée comme source, ni explicitement identifiée comme outil à risque. Résultat : quand l’erreur survient, chacun peut se retrancher derrière le caractère « assisté » de la décision, sans que le contrôle humain ait réellement joué son rôle de filtre critique.

    Des policiers armés menottent un lycéen après qu'une IA a confondu son paquet de chips Doritos avec une arme

    Un détecteur de sécurité à intelligence artificielle a provoqué un moment terrifiant pour un lycéen de Baltimore, dans le Maryland, après qu'un sac de chips vide fourré dans sa poche ait déclenché une alerte qui a fait intervenir la police. « C'était une situation effrayante. Je n'avais jamais vécu cela auparavant », a déclaré Taki Allen.

    Vers 19 heures, Allen raconte qu'il était assis devant le lycée Kenwood dans le comté de Baltimore, attendant qu'on vienne le chercher après son entraînement de football. Pendant qu'il attendait avec ses amis, Allen dit avoir mangé un paquet de Doritos, froissé le paquet et l'avoir mis dans sa poche.

    Ce qui s'est passé ensuite l'a complètement pris au dépourvu.

    « Vingt minutes plus tard, huit voitures de police se sont arrêtées près de nous », se souvient Allen. « Au début, je ne savais pas où ils allaient jusqu'à ce qu'ils se dirigent vers moi avec leurs armes, en me disant : « À terre ». Je me suis dit : « Quoi ? » Ils m'ont fait mettre à genoux, puis ils m'ont mis les mains derrière le dos et m'ont menotté. Ils m'ont fouillé et ont compris que je n'avais rien. Puis ils sont allés là où je me tenais et ont trouvé un sac de chips par terre. »

    Allen a demandé pourquoi les agents s'étaient approchés de lui.

    « Ils ont dit qu'un détecteur IA ou quelque chose comme ça avait détecté que j'avais une arme. Il m'a montré une photo. Je tenais juste un sac de Doritos comme ça », a décrit Allen. « Ils ont dit que ça ressemblait à une arme. »


    Les outils d'IA sont utilisés par la police qui « ne comprend pas comment ces technologies fonctionnent »

    L'intelligence artificielle n'en est qu'à ses débuts, comme l'affirment certains experts, mais les services répressifs intègrent déjà dans leurs enquêtes la police prédictive, la reconnaissance faciale et les technologies conçues pour détecter les coups de feu.

    Une étude de l’Université d’État de Caroline du Nord a exploré la connaissance et l’attitude des policiers envers l’IA. L’étude a montré que les policiers n’étaient pas bien informés sur les technologies d’IA qu’ils utilisaient, comme la reconnaissance faciale et la détection des coups de feu, mais qu’ils les appréciaient pour leur efficacité.

    Les données suggèrent que les policiers maintiennent que l'IA joue un rôle limité dans le maintien de l'ordre, mais croient que les technologies continueront à se développer, améliorant la sécurité publique et augmentant la capacité de maintien de l'ordre. Inversement, les policiers estiment que l'IA ne renforcera pas nécessairement la confiance entre la police et la communauté, citant des préoccupations éthiques et la possibilité d'empiéter sur les droits civils.

    Un avertissement pour toutes les organisations régulées

    Au-delà du football et de la police britannique, l’incident résonne comme un signal d’alarme pour toutes les structures fortement régulées. Banques, assurances, administrations, opérateurs critiques utilisent déjà des assistants IA pour rédiger, synthétiser, conseiller. La frontière entre aide à la décision et décision de fait devient de plus en plus floue.

    Ce cas montre que le vrai risque n’est pas l’IA elle-même, mais la confiance excessive placée dans une réponse qui « a l’air juste ». Tant que les organisations ne traiteront pas l’IA générative comme un outil fondamentalement faillible, ce type d’erreur est appelé à se reproduire, avec des conséquences parfois bien plus graves qu’une interdiction de stade.

    Source : Commission des affaires intérieures (1, 2)

    Et vous ?

    Jusqu’où une administration peut-elle s’appuyer sur une IA générative sans mettre en place un cadre de validation formel et traçable des informations produites ? Peut-on encore parler de décision humaine lorsque l’argument central provient d’un outil comme Copilot et qu’il n’est pas remis en question ?

    Les forces de l’ordre doivent-elles être autorisées à utiliser des IA conversationnelles généralistes dans des procédures pouvant restreindre les libertés individuelles ? Les agents sont-ils suffisamment formés pour comprendre les limites cognitives et statistiques des IA qu’on met à leur disposition ?

    « L'hallucination » d’une IA est-elle un simple bug technique ou un risque systémique incompatible avec l’État de droit ? Qui porte réellement la responsabilité juridique lorsqu’une décision administrative s’appuie sur une information inventée par une IA ?

    Faut-il interdire l’usage des IA génératives dans les contextes réglementaires et policiers, ou au contraire les encadrer comme des logiciels critiques ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    224
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 224
    Par défaut
    Comme dit par un collègue : "On n'a pas un problème d'IA. On a juste un problème d'idiot."

  3. #3
    Membre éprouvé
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    Novembre 2011
    Messages
    2 434
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2011
    Messages : 2 434
    Billets dans le blog
    3
    Par défaut
    Ce n'est pas l'IA qui a failli. C'est la police.

    Tous ces problèmes m'amènent à croire que ça va être une bonne leçon pour notre société.

    Moi qui suis rigoureux, même pour une revue de code je ne lésine pas sur les remarques et vérifications. Tant que c'est bien amené, et que celui en face est volontaire, ça passe bien. Mais les gens rigoureux sont rares, et du coup je fais partie de cette minorité qui "fait des grosses revues de PR", ce qui n'est pas motivant.

    Avec l'IA, qui fait des bévues subtiles en pagaille, la rigueur n'est plus négociable. Et là où moi ça ne change rien, parce que je fais déjà une revue détaillée de la PR, je pense que ça va forcément pousser les process à évoluer pour obliger les gens à passer du temps à regarder les détails pour bosser avec l'IA. Et avec ça, ça va se transformer en habitude, et on vérifiera avec à peu près autant d'effort une PR humaine qu'une PR IA. C'est en tout cas ce que j'espère. Après tout, mes pratiques n'ont pas changé depuis que l'IA est là, vu que j'ai déjà les bonnes pratiques de revue pour les PR IA.

    Allez, quoi. On a droit de rêver un peu.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

Discussions similaires

  1. Réponses: 2
    Dernier message: 07/06/2024, 12h57
  2. Réponses: 2
    Dernier message: 30/05/2019, 23h17
  3. Réponses: 1
    Dernier message: 23/02/2018, 08h02
  4. Réponses: 337
    Dernier message: 27/09/2011, 13h52
  5. Réponses: 10
    Dernier message: 08/04/2011, 16h16

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo