Google affirme que les pirates ont utilisé plus de 100 000 instructions génératives pour cloner Gemini
Google affirme que les pirates ont utilisé plus de 100 000 instructions génératives pour tenter de cloner le chatbot IA Gemini, une extraction de modèle pour obtenir la logique qui fait fonctionner le modèle
Google a révélé que son chatbot d'IA phare, Gemini, a été submergé par des acteurs « à motivation commerciale » qui tentent de le cloner en lui envoyant des requêtes à répétition, parfois avec des milliers de requêtes différentes, dont une campagne qui a envoyé plus de 100 000 requêtes à Gemini. Google a décrit cette activité comme une « extraction de modèle », dans laquelle des imitateurs potentiels sondent le système à la recherche des modèles et de la logique qui le font fonctionner. Les attaquants semblent vouloir utiliser ces informations pour créer ou renforcer leur propre IA, a-t-il déclaré. La société pense que les coupables sont principalement des entreprises privées ou des chercheurs cherchant à obtenir un avantage concurrentiel.
Gemini, anciennement Bard, est un assistant conversationnel développé par l'entreprise Google. Pour générer du texte, il se base sur une famille de grands modèles de langage également appelée Gemini, introduite au public le 7 décembre 2023. Gemini est l'acronyme de Generalized Multimodal Intelligence Network. Les modèles se déclinent en trois tailles : nano, pro et ultra. Gemini peut comprendre et interagir avec l'audio et la vidéo, et générer du texte (poésie, scripts, pièces musicales, courriels, lettres, etc.), du code, des traductions (entre plus de 100 langues). Il peut produire plusieurs types de contenu créatif (images, dessins, sons, musique, vidéos…), aider des chercheurs en analysant des données ou en générant des hypothèses. Gemini peut répondre aux questions de manière informative ou en produisant des cours personnalisés, des jeux, des tutoriels, etc., avec les limites des IA (erreurs, biais, « hallucinations »…).
Alors que la compétition autour de l’intelligence artificielle générative est souvent racontée comme une succession de coups médiatiques, de démonstrations spectaculaires et d’annonces parfois précipitées, Google avance à un rythme plus feutré. Avec Gemini, son modèle d’IA unifié, le groupe semble aujourd’hui récolter les fruits d’une stratégie plus structurelle que narrative. Sans déclarer officiellement la victoire, Google apparaît de plus en plus comme un acteur central, voire dominant, dans la phase actuelle de la course à l’IA.
Récemment, Google a révélé que son chatbot d'IA phare, Gemini, a été submergé par des acteurs « à motivation commerciale » qui tentent de le cloner en lui envoyant des requêtes à répétition, parfois avec des milliers de requêtes différentes, dont une campagne qui a envoyé plus de 100 000 requêtes à Gemini. Dans un rapport, Google a déclaré être de plus en plus victime d'« attaques par distillation », c'est-à-dire de questions répétées visant à amener un chatbot à révéler son fonctionnement interne.
Google a décrit cette activité comme une « extraction de modèle », dans laquelle des imitateurs potentiels sondent le système à la recherche des modèles et de la logique qui le font fonctionner. Les attaquants semblent vouloir utiliser ces informations pour créer ou renforcer leur propre IA, a-t-il déclaré. La société pense que les coupables sont principalement des entreprises privées ou des chercheurs cherchant à obtenir un avantage concurrentiel. Un porte-parole a déclaré que Google pensait que les attaques provenaient du monde entier, mais a refusé de donner plus de détails sur ce que l'on savait des suspects.
L'ampleur des attaques contre Gemini indique qu'elles sont très probablement courantes ou le deviendront bientôt contre les outils d'IA personnalisés des petites entreprises, a déclaré John Hultquist, analyste en chef du groupe Threat Intelligence de Google. « Nous allons être le canari dans la mine de charbon pour beaucoup d'autres incidents », a déclaré Hultquist. Il a refusé de nommer les suspects. La société considère la distillation comme un vol de propriété intellectuelle, a-t-elle déclaré.
Les entreprises technologiques ont dépensé des milliards de dollars pour développer leurs chatbots IA, ou grands modèles de langage, et considèrent le fonctionnement interne de leurs meilleurs modèles comme des informations exclusives extrêmement précieuses. Même si elles disposent de mécanismes pour tenter d'identifier les attaques par distillation et de bloquer les personnes qui les perpétrent, les principaux LLM sont intrinsèquement vulnérables à la distillation, car ils sont accessibles à tous sur Internet. OpenAI, la société à l'origine de ChatGPT, a accusé l'année dernière son rival chinois DeepSeek d'avoir mené des attaques de distillation afin d'améliorer ses modèles.
Selon Google, bon nombre de ces attaques visaient à mettre au jour les algorithmes qui aident Gemini à « raisonner », c'est-à-dire à décider comment traiter les informations. Hultquist a déclaré qu'à mesure que de plus en plus d'entreprises conçoivent leurs propres LLM personnalisés, entraînés sur des données potentiellement sensibles, elles deviennent vulnérables à des attaques similaires. « Imaginons que votre LLM ait été entraîné sur 100 ans de réflexions secrètes sur votre façon de négocier. Théoriquement, vous pourriez en distiller une partie », a-t-il déclaré.
En 2026, Gemini est considéré comme le modèle d'IA le plus populaire sur le marché. C'est en tout cas l'avis de certains spécialistes comme Geoffrey Hinton, le « parrain de l'IA ». Il a notamment déclaré que Google est en train de rattraper OpenAI dans la course à l'intelligence artificielle (IA). Hinton a déclaré : « Je pense qu'il est en fait plus surprenant que Google ait mis autant de temps à dépasser OpenAI. Je pense qu'à l'heure actuelle, ils commencent à le dépasser ».
Même les chiffres semblent aller dans ce sens. Lors de la présentation de ses résultats financiers du quatrième trimestre, Google a révélé que son application d'assistant IA Gemini avait dépassé les 750 millions d'utilisateurs actifs mensuels (MAU). Cela représente une augmentation de 100 millions par rapport aux 650 millions de MAU du trimestre précédent. L'écart qui la sépare de son plus grand rival, ChatGPT, qui compte 810 millions d'utilisateurs actifs par mois, se réduit.
Voici un extrait du rapport de Google :
GTIG AI Threat Tracker : distillation, expérimentation et intégration (continue) de l'IA à des fins adversaires
Au cours du dernier trimestre 2025, le Google Threat Intelligence Group (GTIG) a observé que les acteurs malveillants intégraient de plus en plus l'intelligence artificielle (IA) pour accélérer le cycle de vie des attaques, ce qui leur permettait de gagner en productivité dans les domaines de la reconnaissance, de l'ingénierie sociale et du développement de logiciels malveillants. Ce rapport fait suite à nos conclusions de novembre 2025 concernant les progrès réalisés par les acteurs malveillants dans l'utilisation des outils d'IA.
En identifiant ces indicateurs précoces et ces preuves de concept offensives, le GTIG vise à fournir aux défenseurs les informations nécessaires pour anticiper la prochaine phase des menaces basées sur l'IA, contrecarrer de manière proactive les activités malveillantes et renforcer continuellement nos classificateurs et notre modèle.
Résumé
Google DeepMind et GTIG ont constaté une augmentation des tentatives d'extraction de modèles ou « attaques par distillation », une méthode de vol de propriété intellectuelle qui enfreint les conditions d'utilisation de Google. Tout au long de ce rapport, nous avons répertorié les mesures que nous avons prises pour contrecarrer les activités malveillantes, notamment la détection, la perturbation et l'atténuation des activités d'extraction de modèles par Google. Bien que nous n'ayons pas observé d'attaques directes contre des modèles de pointe ou des produits d'IA générative de la part d'acteurs APT (Advanced Persistent Threat), nous avons observé et atténué de fréquentes attaques d'extraction de modèles provenant d'entités du secteur privé partout dans le monde et de chercheurs cherchant à cloner une logique propriétaire.
Pour les acteurs malveillants soutenus par des gouvernements, les grands modèles linguistiques (LLM) sont devenus des outils essentiels pour la recherche technique, le ciblage et la génération rapide d'appâts de phishing nuancés. Ce rapport trimestriel met en évidence la manière dont les acteurs malveillants de la République populaire démocratique de Corée (RPDC), de l'Iran, de la République populaire de Chine (RPC) et de la Russie ont mis en œuvre l'IA à la fin de l'année 2025 et améliore notre compréhension de la manière dont l'utilisation abusive de l'IA générative se manifeste dans les campagnes que nous perturbons sur le terrain. Le GTIG n'a pas encore observé d'acteurs APT ou d'opérations d'information (IO) ayant atteint des capacités révolutionnaires qui modifient fondamentalement le paysage des menaces.
Ce rapport examine plus particulièrement :
- Les attaques par extraction de modèles : les « attaques par distillation » sont en augmentation en tant que méthode de vol de propriété intellectuelle depuis l'année dernière.
- Les opérations augmentées par l'IA : des études de cas réels démontrent comment certains groupes rationalisent la reconnaissance et le phishing visant à établir des relations.
- L'IA agentique : les acteurs malveillants commencent à s'intéresser au développement de capacités d'IA agentique pour soutenir le développement de logiciels malveillants et d'outils.
- Les logiciels malveillants intégrant l'IA : Il existe de nouvelles familles de logiciels malveillants, telles que HONESTCUE, qui expérimentent l'utilisation de l'interface de programmation d'application (API) de Gemini pour générer du code permettant le téléchargement et l'exécution de logiciels malveillants de deuxième étape.
- Écosystème clandestin de « jailbreak » : des services malveillants tels que Xanthorox font leur apparition dans la clandestinité, prétendant être des modèles indépendants alors qu'ils s'appuient en réalité sur des API commerciales jailbreakées et des serveurs MCP (Model Context Protocol) open source.
Chez Google, nous nous engageons à développer l'IA de manière audacieuse et responsable, ce qui signifie que nous prenons des mesures proactives pour perturber les activités malveillantes en désactivant les projets et les comptes associés aux acteurs malveillants, tout en améliorant continuellement nos modèles afin de les rendre moins vulnérables aux abus. Nous partageons également de manière proactive les meilleures pratiques du secteur afin d'armer les défenseurs et de permettre une protection plus forte dans l'ensemble de l'écosystème. Tout au long de ce rapport, nous mentionnons les mesures que nous avons prises pour contrecarrer les activités malveillantes, notamment la désactivation d'actifs et l'application de renseignements pour renforcer à la fois nos classificateurs et notre modèle afin qu'il soit protégé contre toute utilisation abusive à l'avenir.
Risques liés aux modèles directs : attaques perturbant l'extraction de modèles
À mesure que les organisations intègrent de plus en plus les LLM dans leurs opérations principales, la logique propriétaire et la formation spécialisée de ces modèles sont devenues des cibles de grande valeur. Historiquement, les adversaires cherchant à voler des capacités de haute technologie utilisaient des opérations d'intrusion informatiques conventionnelles pour compromettre les organisations et voler des données contenant des secrets commerciaux. Pour de nombreuses technologies d'IA où les LLM sont proposés sous forme de services, cette approche n'est plus nécessaire ; les acteurs peuvent utiliser un accès API légitime pour tenter de « cloner » certaines capacités des modèles d'IA.
Au cours de l'année 2025, nous n'avons observé aucune attaque directe contre des modèles de pointe de la part d'acteurs APT ou d'opérations d'information (IO) suivis. Cependant, nous avons observé des attaques d'extraction de modèles, également appelées attaques de distillation, sur nos modèles d'IA, afin d'obtenir des informations sur le raisonnement sous-jacent et les processus de chaîne de pensée d'un modèle.
Que sont les attaques d'extraction de modèles ?
Les attaques d'extraction de modèles (MEA) se produisent lorsqu'un adversaire utilise un accès légitime pour sonder systématiquement un modèle d'apprentissage automatique mature afin d'extraire des informations utilisées pour former un nouveau modèle. Les adversaires qui se livrent à des MEA utilisent une technique appelée distillation des connaissances (KD) pour extraire les informations d'un modèle et transférer ces connaissances à un autre. C'est pourquoi les MEA sont souvent appelées « attaques par distillation ».
L'extraction de modèles et la distillation des connaissances qui s'ensuit permettent à un attaquant d'accélérer le développement de modèles d'IA à un coût nettement inférieur. Cette activité constitue en fait une forme de vol de propriété intellectuelle (PI).
La distillation des connaissances (KD) est une technique courante d'apprentissage automatique utilisée pour former des modèles « étudiants » à partir de modèles « enseignants » préexistants. Cela implique souvent d'interroger le modèle enseignant sur des problèmes dans un domaine particulier, puis d'effectuer un réglage fin supervisé (SFT) sur le résultat ou d'utiliser le résultat dans d'autres procédures de formation de modèles pour produire le modèle étudiant. Il existe des utilisations légitimes de la distillation, et Google Cloud propose déjà des offres pour effectuer la distillation. Cependant, la distillation à partir des modèles Gemini de Google sans autorisation constitue une violation de nos conditions d'utilisation, et Google continue de développer des techniques pour détecter et atténuer ces tentatives.
Faits marquants concernant les activités adverses augmentées par l'IA
Au cours de l'année écoulée, nous avons constaté de manière constante que des attaquants soutenus par des gouvernements utilisaient Gemini à des fins abusives pour des tâches de codage et de script, la collecte d'informations sur des cibles potentielles, la recherche de vulnérabilités connues du public et la mise en œuvre d'activités post-compromission. Au quatrième trimestre 2025, la compréhension par le GTIG de la manière dont ces efforts se traduisent en opérations concrètes s'est améliorée, car nous avons constaté des liens directs et indirects entre l'utilisation abusive de Gemini par les acteurs malveillants et leurs activités dans le monde réel.
Soutien à la reconnaissance et au développement des cibles
Les acteurs APT ont utilisé Gemini pour soutenir plusieurs phases du cycle de vie des attaques, en mettant notamment l'accent sur la reconnaissance et le développement des cibles afin de faciliter la compromission initiale. Cette activité souligne une évolution vers le phishing assisté par l'IA, où la vitesse et la précision des LLM permettent de contourner le travail manuel traditionnellement nécessaire pour établir le profil des victimes. Au-delà de la génération de contenu pour les leurres de phishing, les LLM peuvent servir de multiplicateur de force stratégique pendant la phase de reconnaissance d'une attaque, permettant aux acteurs malveillants de synthétiser rapidement des renseignements open source (OSINT) afin de profiler des cibles de grande valeur, d'identifier les principaux décideurs dans les secteurs de la défense et de cartographier les hiérarchies organisationnelles. En intégrant ces outils dans leur flux de travail, les acteurs malveillants peuvent passer de la reconnaissance initiale au ciblage actif à un rythme plus rapide et à une échelle plus large.
- UNC6418, un acteur malveillant non identifié, a utilisé Gemini à mauvais escient pour mener des activités de collecte de renseignements ciblées, en recherchant spécifiquement des identifiants de compte et des adresses e-mail sensibles. Peu après, le GTIG a observé que cet acteur malveillant ciblait tous ces comptes dans le cadre d'une campagne de phishing axée sur l'Ukraine et le secteur de la défense. Google a pris des mesures contre cet acteur en désactivant les ressources associées à cette activité.
- Temp.HEX, un acteur malveillant basé en République populaire de Chine, a utilisé Gemini et d'autres outils d'IA à des fins abusives pour compiler des informations détaillées sur des personnes spécifiques, notamment des cibles au Pakistan, et pour collecter des données opérationnelles et structurelles sur des organisations séparatistes dans divers pays. Bien que nous n'ayons pas constaté de ciblage direct à la suite de cette recherche, peu après, l'acteur malveillant a inclus des cibles similaires au Pakistan dans sa campagne. Google a pris des mesures contre cet acteur en désactivant les ressources associées à cette activité.
Utilisation des outils d'IA dans la cybercriminalité
Outre l'utilisation abusive des outils et services existants basés sur l'IA dans l'ensemble du secteur, on observe un intérêt croissant et un marché en pleine expansion pour les outils et services d'IA spécialement conçus pour faciliter les activités illicites. Les outils et services proposés sur les forums clandestins permettent à des acteurs de bas niveau d'augmenter la fréquence, la portée, l'efficacité et la complexité de leurs intrusions, malgré leurs compétences techniques et leurs ressources financières limitées. Si les acteurs malveillants motivés par l'appât du gain continuent d'expérimenter, ils n'ont pas encore fait de percées dans le développement d'outils d'IA.
Les acteurs malveillants exploitent les services d'IA pour l'ingénierie sociale dans les campagnes « ClickFix »
Bien qu'il ne s'agisse pas d'une nouvelle technique malveillante, le GTIG a observé des cas dans lesquels des acteurs malveillants ont abusé de la confiance du public dans les services d'IA générative pour tenter de diffuser des logiciels malveillants. GTIG a identifié une nouvelle campagne dans laquelle les acteurs malveillants exploitent la fonctionnalité de partage public des services d'IA générative, notamment Gemini, pour héberger du contenu d'ingénierie sociale trompeur. Cette activité, observée pour la première fois début décembre 2025, tente d'inciter les utilisateurs à installer des logiciels malveillants via la technique bien établie « ClickFix ». Cette technique ClickFix est utilisée pour inciter les utilisateurs à copier-coller une commande malveillante dans le terminal de commande.
Les acteurs malveillants ont réussi à contourner les mesures de sécurité pour mettre en place des instructions malveillantes sur la manière d'effectuer diverses tâches sur macOS, distribuant finalement des variantes d'ATOMIC, un voleur d'informations qui cible l'environnement macOS et qui a la capacité de collecter des données de navigateur, des portefeuilles de cryptomonnaie, des informations système et des fichiers dans les dossiers Bureau et Documents. Les auteurs de cette campagne ont utilisé un large éventail de plateformes de chat IA pour héberger leurs instructions malveillantes, notamment ChatGPT, CoPilot, DeepSeek, Gemini et Grok.
L'objectif de la campagne est d'inciter les utilisateurs, principalement ceux qui utilisent les systèmes Windows et macOS, à exécuter manuellement des commandes malveillantes. La chaîne d'attaque fonctionne comme suit :
- Un acteur malveillant crée d'abord une ligne de commande malveillante qui, si elle est copiée et collée par une victime, l'infectera avec un logiciel malveillant.
- Ensuite, l'acteur malveillant manipule l'IA pour créer des instructions réalistes visant à résoudre un problème informatique courant (par exemple, libérer de l'espace disque ou installer un logiciel), mais donne à l'IA la ligne de commande malveillante comme solution.
- Gemini et d'autres outils d'IA permettent à un utilisateur de créer un lien partageable vers des transcriptions de chat spécifiques afin qu'une réponse spécifique de l'IA puisse être partagée avec d'autres. L'attaquant dispose désormais d'un lien vers une page d'accueil ClickFix malveillante hébergée sur l'infrastructure du service d'IA.
- L'attaquant achète des publicités malveillantes ou dirige de toute autre manière des victimes sans méfiance vers la transcription de chat partagée publiquement.
- La victime est trompée par la transcription du chat de l'IA et suit les instructions pour copier un script de ligne de commande apparemment légitime et le coller directement dans le terminal de son système. Cette commande télécharge et installe un logiciel malveillant. Comme l'action est initiée par l'utilisateur et utilise des commandes système intégrées, elle peut être plus difficile à détecter et à bloquer par les logiciels de sécurité.
Différents leurres ont été créés pour Windows et MacOS, et l'utilisation de techniques publicitaires malveillantes pour la distribution de charges utiles suggère que le ciblage est probablement assez large et opportuniste.
Cette approche permet aux auteurs de menaces d'exploiter des domaines de confiance pour héberger leur phase initiale d'instruction, en s'appuyant sur l'ingénierie sociale pour mener à bien la dernière étape, hautement destructrice, de l'exécution. Bien qu'il s'agisse d'une approche largement utilisée, c'est la première fois que GTIG observe que la fonctionnalité de partage public des services d'IA est utilisée de manière abusive comme domaine de confiance.
Source : Rapport de Google
Et vous ?
Pensez-vous que ce rapport est crédible ou pertinente ?
Voir aussi :
Répondre avec citation
.
Partager