Discussion :

[Jade Emy]

Deloitte remboursera le gouvernement australien pour un rapport de 440 000 $ australiens truffé d'hallucinations générées par l'IA, le cabinet de conseil ayant admis avoir utilisé GPT-4o

Deloitte Australie remboursera partiellement les 440 000 dollars australiens (290 000 dollars américains) versés par le gouvernement australien pour un rapport truffé d'erreurs apparentes générées par l'IA, notamment une citation fabriquée à partir d'un jugement d'un tribunal fédéral et des références à des articles de recherche universitaire inexistants. Invité à commenter les inexactitudes du rapport, Deloitte a déclaré dans un communiqué que « la question avait été résolue directement avec le client ». Deloitte n'a pas répondu lorsqu'on lui a demandé si les erreurs avaient été générées par l'IA.

Deloitte est un réseau multinational britannique de services professionnels basé à Londres, au Royaume-Uni. Deloitte fournit des services d'audit, de conseil, de conseil financier, de conseil en matière de risques, de fiscalité et de services juridiques. Elle compte environ 460 000 employés dans le monde et est présente dans plus de 150 pays. Au cours de l'exercice 2024, le réseau a réalisé un chiffre d'affaires total de 67,2 milliards de dollars américains. Le cabinet a parrainé un certain nombre d'activités et d'événements, notamment les Jeux olympiques d'été de 2012.

Début 2024, Deloitte a déployé auprès de 75 000 membres de son personnel l’intelligence artificielle générative pour les aider à effectuer des tâches de base avec plus de célérité. Le personnel ayant accès au chatbot IA PairD de Deloitte peut l'utiliser pour créer des présentations dans PowerPoint, ainsi que pour écrire des courriels et du code informatique. Le codage informatique fait partie des domaines cibles de cette initiative. La manœuvre s’inscrit dans l’adoption des outils d’automatisation par les grands noms de la comptabilité.

Pourtant, un rapport a révélé les failles de cette adoption massive de l'IA. En effet, Deloitte Australie remboursera partiellement les 440 000 dollars australiens (290 000 dollars américains) versés par le gouvernement australien pour un rapport truffé d'erreurs apparentes générées par l'IA, notamment une citation fabriquée à partir d'un jugement d'un tribunal fédéral et des références à des articles de recherche universitaire inexistants.

Le rapport de la société de services financiers au ministère de l'Emploi et des Relations professionnelles a été initialement publié sur le site web du ministère en juillet. Une version révisée a été publiée récemment après que Chris Rudge, chercheur en droit de la santé et du bien-être à l'université de Sydney, ait alerté les médias en déclarant que le rapport était « truffé de références inventées ».

Deloitte a examiné le rapport de 237 pages et « confirmé que certaines notes de bas de page et références étaient incorrectes », a déclaré le ministère dans un communiqué. « Deloitte a accepté de rembourser la dernière tranche prévue dans son contrat », a déclaré le ministère. Le montant sera rendu public après le remboursement. Invité à commenter les inexactitudes du rapport, Deloitte a déclaré dans un communiqué que « la question avait été résolue directement avec le client ». Deloitte n'a pas répondu lorsqu'on lui a demandé si les erreurs avaient été générées par l'IA. La tendance des systèmes d'IA générative à fabriquer des informations est connue sous le nom d'hallucination.

Le rapport examinait l'utilisation par les systèmes informatiques ministériels de sanctions automatisées dans le système de protection sociale australien. Le ministère a déclaré que le « fond » du rapport avait été conservé et qu'aucune modification n'avait été apportée à ses recommandations. La version révisée comprenait une mention indiquant qu'un système d'IA générative, Azure OpenAI, avait été utilisé pour rédiger le rapport. Les citations attribuées à un juge de la cour fédérale ont été supprimées, ainsi que les références à des rapports inexistants attribués à des experts en droit et en génie logiciel.

Rudge a déclaré avoir trouvé jusqu'à 20 erreurs dans la première version du rapport. La première erreur qui lui a sauté aux yeux indiquait à tort que Lisa Burton Crawford, professeure de droit public et constitutionnel à l'université de Sydney, avait écrit un livre inexistant dont le titre suggérait qu'il ne relevait pas de son domaine d'expertise. « J'ai immédiatement su qu'il s'agissait soit d'une hallucination de l'IA, soit du secret le mieux gardé au monde, car je n'avais jamais entendu parler de ce livre et cela me semblait absurde », a déclaré Rudge.

Les travaux de ses collègues universitaires ont été utilisés comme « gages de légitimité », cités par les auteurs du rapport mais non lus, a déclaré Rudge, ajoutant qu'il considérait que citer de manière erronée un juge était une erreur plus grave dans un rapport qui était en fait un audit de la conformité juridique du département. « Ils ont complètement déformé une affaire judiciaire, puis inventé une citation d'un juge, et je me suis dit : attendez un peu, cela va bien au-delà de l'ego des universitaires. Il s'agit ici de déformer la loi dans un rapport auquel se fie le gouvernement australien. J'ai donc pensé qu'il était important de défendre la diligence », a déclaré Rudge.

La sénatrice Barbara Pocock, porte-parole du parti australien des Verts pour le secteur public, a déclaré que Deloitte devrait rembourser la totalité des 440 000 dollars australiens (290 000 dollars américains). Deloitte « a fait un usage abusif de l'IA et l'a utilisée de manière très inappropriée : il a mal cité un juge, utilisé des références inexistantes », a déclaré Pocock à l'Australian Broadcasting Corp. « Je veux dire, le genre de choses qui mettraient un étudiant de première année à l'université dans une situation très délicate. »

Source : Rapport pour le ministère de l'Emploi et des Relations professionnelles

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

L'IA s'attaque aux consultants, car les agents IA peuvent désormais faire le travail des consultants juniors, selon McKinsey

L'IA et l'automatisation pourraient supprimer près de 100 millions d'emplois aux États-Unis au cours de la prochaine décennie, selon un rapport controversé des démocrates du Sénat réalisé à l'aide de ChatGPT

Les LLM IA auront toujours des hallucinations, et nous devons nous en accommoder, car les hallucinations découlent de la structure mathématique et logique fondamentale des LLM, selon une étude

[Anselme45]

Noooooooooooon? Les grandes boites de consulting encaisseraient de millions pour des conseils réchauffés issus de l'IA?


Rien de neuf, bon peuple!

Il est de notoriété publique depuis des décennies que ces boites de consulting fournissent des études qui relèvent de la farce: Il y a 20 ans, le rapport fourni au client était établi par un jeune universitaire stagiaire qui allait piocher dans d'anciens rapports des phrases toutes faites. Aujourd'hui le stagiaire a simplement été remplacé par l'IA!

Dans l'histoire, c'est pas cela qui est choquant, c'est plutôt les services de l'état et les politicards de tout bord qui mandatent ce genre de boites pour se couvrir... Ils savent pertinemment que les boites de consulting fourniront une étude qui en est pas une, mais le simple fait de dépenser des millions payés par les contribuables pour l'obtenir lui donne une valeur inestimable.

[Jade Emy]

Deloitte est à nouveau accusé d'avoir cité des recherches générées par l'IA dans un rapport de 1,6 million $, contenant des erreurs générées par l'IA, c'est la deuxième fois cette année

Un rapport a révélé qu'un rapport sur les soins de santé commandé par un gouvernement provincial canadien à Deloitte contiendrait des erreurs potentiellement générées par l'IA. Il a été commandé pour près de 1,6 million de dollars. C'est la deuxième fois cette année que le géant du conseil est accusé d'utiliser des recherches et des citations générées par l'IA dans ses rapports.

Deloitte est un réseau multinational britannique de services professionnels basé à Londres, au Royaume-Uni. Deloitte fournit des services d'audit, de conseil, de conseil financier, de conseil en matière de risques, de fiscalité et de services juridiques. Elle compte environ 460 000 employés dans le monde et est présente dans plus de 150 pays. Au cours de l'exercice 2024, le réseau a réalisé un chiffre d'affaires total de 67,2 milliards de dollars américains. Le cabinet a parrainé un certain nombre d'activités et d'événements, notamment les Jeux olympiques d'été de 2012.

Début 2024, Deloitte a déployé auprès de 75 000 membres de son personnel l’intelligence artificielle générative pour les aider à effectuer des tâches de base avec plus de célérité. Le personnel ayant accès au chatbot IA PairD de Deloitte peut l'utiliser pour créer des présentations dans PowerPoint, ainsi que pour écrire des courriels et du code informatique. Le codage informatique fait partie des domaines cibles de cette initiative. La manœuvre s’inscrit dans l’adoption des outils d’automatisation par les grands noms de la comptabilité.

Pourtant, un rapport d'octobre 2025 a révélé les failles de cette adoption massive de l'IA. En effet, Deloitte Australie remboursera partiellement les 440 000 dollars australiens (290 000 dollars américains) versés par le gouvernement australien pour un rapport truffé d'erreurs apparentes générées par l'IA, notamment une citation fabriquée à partir d'un jugement d'un tribunal fédéral et des références à des articles de recherche universitaire inexistants. Invité à commenter les inexactitudes du rapport, Deloitte a déclaré dans un communiqué que « la question avait été résolue directement avec le client ». Deloitte n'a pas répondu lorsqu'on lui a demandé si les erreurs avaient été générées par l'IA.

Récemment, un rapport a révélé qu'un rapport sur les soins de santé commandé par un gouvernement provincial canadien à Deloitte contiendrait des erreurs potentiellement générées par l'IA. Il a été commandé pour près de 1,6 million de dollars. C'est la deuxième fois cette année que le géant du conseil est accusé d'utiliser des recherches et des citations générées par l'IA dans ses rapports.

Ces allégations ont d'abord été soulevées par The Independent, un média canadien. La publication a affirmé que le rapport, rédigé par Deloitte puis publié par le ministère de la Santé et des Services communautaires, contenait au moins quatre références inexistantes. Le rapport aurait été commandé par le gouvernement précédent. Il couvrait des sujets tels que les soins virtuels et les répercussions de la pandémie de COVID-19 sur les travailleurs de la santé. Il proposait également des conseils pour élaborer une stratégie efficace en matière de ressources humaines pour le secteur des soins de santé de la province en période de pénurie de personnel.

Le cabinet de conseil est accusé d'avoir inclus dans le rapport de fausses citations, qui auraient été tirées d'articles universitaires inventés de toutes pièces. Selon The Independent, le rapport aurait également attribué des articles à de vrais chercheurs qui n'avaient pas travaillé dessus et aurait cité les noms de chercheurs qui n'existaient pas.

« Deloitte Canada soutient fermement les recommandations formulées dans notre rapport », a déclaré un porte-parole de Deloitte Canada en réponse. « Nous sommes en train de réviser le rapport afin d'apporter quelques corrections aux citations, qui n'ont aucune incidence sur les conclusions du rapport. L'IA n'a pas été utilisée pour rédiger le rapport ; elle a été utilisée de manière sélective pour étayer un petit nombre de citations de recherche », a ajouté cette personne au média.

Au début de l'année, Deloitte Australie a accepté de rembourser une partie d'un rapport de 290 000 dollars qui contenait des erreurs prétendument générées par l'IA. Le rapport de 237 pages avait été initialement publié sur le site web du ministère australien de l'Emploi et des Relations professionnelles.

Ce rapport confirme que pour l'instant, les grands modèles de langage (LLM) auront toujours des hallucinations. Une étude de 2024 soutient notamment que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Les chercheurs ont démontré dans l'étude que les hallucinations découlent de la structure mathématique et logique fondamentale des LLM. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits.

Source : The Independent

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Deloitte arrime près de 75 000 de ses employés à l'IA générative pour améliorer leur productivité sur divers pans dont le codage informatique et insiste sur ce que « l'IA nest qu'un outil »

L'utilisation de l'IA est un danger pour la réputation professionnelle, d'après une étude, en opposition avec d'autres selon lesquelles les développeurs dotés de cette compétence sont précieux en entreprise

Pourquoi les grands modèles de langage IA inventent-ils des informations ? Anthropic tente une approche pour analyser le contexte dans lequel Claude « hallucine »

[Matthieu Vergne]

« Deloitte Canada soutient fermement les recommandations formulées dans notre rapport », a déclaré un porte-parole de Deloitte Canada en réponse. « Nous sommes en train de réviser le rapport afin d'apporter quelques corrections aux citations, qui n'ont aucune incidence sur les conclusions du rapport. L'IA n'a pas été utilisée pour rédiger le rapport ; elle a été utilisée de manière sélective pour étayer un petit nombre de citations de recherche », a ajouté cette personne au média.

Excuse bidon et en carton.

En carton car générer juste des citations, cela revient à dire "on dit ce qu'on pense vrai, sans vérifier auprès de vrais sources, puis on demande à l'IA de trouver des sources qui vont dans notre sens". C'est un aveu d'incompétence crasse ou de corruption.

Bidon car personne ne génère "juste" des citations avec l'IA. On y gagne plus à lui demander de générer le texte qui utilise ces citations. Ils font mine que ces raisonnements et conclusions sont les leurs car (1) il est difficile de prouver le contraire, contrairement aux citations, et (2) cela justifierai qu'ils soient remplaçables par l'IA pour moins de $100 plutôt que pour $1.6 millions. Car quitte à avoir un rapport bidon, autant y mettre le vrai prix.

[JackIsJack]

Le métier des big 4 (deloitte, kpmg, pwc, ey) est d'être des ChatGPT : des pisseurs de rapports écrits, globalement cohérent, avec une belle présentation, il faut que ça respire la confiance, et pondu par des jeunes diplômés sans expérience, en beau costume, et tout cela vendu à prix d'or.

Je le dis ça pour avoir suivi une formation initiale dont 90% des élèves finissent en big 4. C'était jouer du pipeau en permanence, les plus doués savaient faire des exposés oraux sans les préparer au préalable, avec juste de la rhétorique.

ChatGPT est certainement utilisé dans tous les cas, et qu'on le voit dans des erreurs de citations... ou pas !

[Canvas]

Je ne saurais trop conseiller de lire le livre intitulé : La pensée PowerPoint - Enquête sur ce logiciel qui rend stupide de Franck Frommer (2010).
Le chapitre 6 est consacré au pouvoir des consultants. On y apprend que la plupart des grands cabinets de conseil disposaient de bases de données de présentations toutes prêtes. Il suffisait juste de changer quelques mots ou de remplir les blancs et d'adapter un peu le discours. C'était une sorte de LLM artisanal et spécialisé avant l'heure. Tout cela finit par conditionner la pensée managériale.