Discussion :

[Jade Emy]

Wikimedia est submergé par le trafic des robots d'IA, les crawlers consommant 65 % des ressources, afin de collecter des données d'entraînement pour les modèles d'IA.

La fondation Wikimedia a annoncé que le scraping incessant de l'IA mettait à rude épreuve les serveurs de Wikipédia. Des robots automatisés à la recherche de données d'entraînement de modèles d'IA pour des LLM ont aspiré des téraoctets de données, augmentant de 50 % la bande passante utilisée par la fondation pour télécharger des contenus multimédias depuis janvier 2024. Cette croissance exponentielle du trafic non humain a imposé des coûts techniques et financiers considérables, souvent sans l'attribution qui aide à soutenir l'écosystème bénévole de Wikimedia.

La prolifération des robots d'IA avides de données et leurs pratiques d'exploration agressives soulèvent des défis majeurs pour les projets open source, déjà fragilisés par des ressources limitées. Les mesures défensives traditionnelles, comme le fichier robots.txt, s'avèrent inefficaces face à des robots d'indexations qui usurpent les agents utilisateurs, ignorent les restrictions ou exploitent des proxys résidentiels. Des solutions alternatives émergent, comme les systèmes de preuve de travail ou les pièges à contenu trompeur, mais elles présentent des inconvénients, notamment pour l'accessibilité ou l'expérience utilisateur.

Récemment, un rapport de la Fondation Wikimedia a révélé que les robots d'exploration du web (crawlers) qui collectent des données d'entraînement pour les modèles d'IA submergent l'infrastructure de Wikipédia, le trafic des robots augmentant de manière exponentielle depuis le début de 2024. Selon des données publiées le 1er avril, la bande passante pour les contenus multimédias a augmenté de 50 % depuis janvier, principalement en raison des programmes automatisés qui récupèrent les 144 millions de fichiers multimédias sous licence libre de Wikimedia Commons.

Ce trafic sans précédent pose des problèmes opérationnels à l'organisation à but non lucratif. Lors du décès de Jimmy Carter en décembre 2024, sa page Wikipédia a été consultée 2,8 millions de fois en une journée, tandis qu'une vidéo d'une heure et demie de son débat présidentiel de 1980 a fait doubler le trafic sur le réseau, ce qui a entraîné des lenteurs de chargement pour certains utilisateurs.

L'analyse montre que 65 % du trafic le plus gourmand en ressources de la fondation provient de bots, alors que ces derniers ne représentent que 35 % du nombre total de pages consultées. L'équipe chargée de la fiabilité du site de la fondation bloque désormais systématiquement le trafic des robots d'indexation afin d'éviter toute interruption de service. "Notre contenu est gratuit, notre infrastructure ne l'est pas", a déclaré la fondation en annonçant son intention d'établir des limites durables pour la consommation automatisée de contenu.

Fait intéressant, en janvier 2025, un incident similaire s'est produit. Le site de Triplegangers, une petite entreprise spécialisée dans la vente de modèles 3D de « doubles numériques humains », a été gravement perturbé par un bot d’OpenAI qui a effectué un scraping agressif sur ses pages. Ce bot a généré une quantité massive de requêtes, affectant la performance du site et provoquant des interruptions similaires à celles observées lors d’attaques par déni de service distribué (DDoS). Ces différents évènements soulèvent des préoccupations sur la question de la gestion du scraping et du crawling des bots des entreprises d'IA.

Voici le rapport de la Fondation Wikimedia :

Comment les robots d’exploration impactent les opérations des projets Wikimedia

Depuis début 2024, la demande pour le contenu créé par la communauté de bénévoles de Wikimedia – notamment pour les 144 millions d’images, vidéos et autres fichiers sur Wikimedia Commons – a considérablement augmenté. Voici les raisons de cette tendance et son impact.

Les projets Wikimedia constituent la plus grande collection de connaissances ouvertes au monde. Les sites Wikimedia représentent une destination précieuse pour les personnes en quête d’information et pour toutes sortes d’entreprises qui accèdent automatiquement aux contenus comme élément clé de leurs produits. Plus particulièrement, le contenu a toujours été un élément essentiel des résultats des moteurs de recherche, ce qui a incité les utilisateurs à revenir sur ces sites. Mais avec l’essor de l’IA, la dynamique est en train de changer : on observe une augmentation significative du volume de requêtes, la majeure partie de ce trafic étant générée par des robots de scraping qui collectent des données d’entraînement pour les grands modèles de langage (LLM) et d’autres cas d’utilisation. Les requêtes automatisées pour le contenu des sites de Wikimedia ont connu une croissance exponentielle, parallèlement à l’économie technologique au sens large, via des mécanismes tels que le scraping, les API et les téléchargements groupés. Cette expansion s’est produite en grande partie sans attribution suffisante, pourtant essentielle pour inciter de nouveaux utilisateurs à participer au mouvement, et elle pèse lourdement sur l’infrastructure sous-jacente qui maintient les sites accessibles à tous.

Un regard dans les coulisses : l’affaire Jimmy Carter

À la mort de Jimmy Carter en décembre 2024, sa page sur Wikipédia en anglais a enregistré plus de 2,8 millions de vues en une journée. Un chiffre relativement élevé, mais gérable. Au même moment, de nombreux utilisateurs ont visionné une vidéo d’une heure et demie du débat présidentiel de Carter avec Ronald Reagan en 1980. Cela a provoqué une augmentation du trafic réseau, doublant son débit normal. En conséquence, pendant environ une heure, quelques connexions de Wikimedia à Internet ont été entièrement saturées, ralentissant le chargement des pages pour certains utilisateurs. Cette soudaine augmentation de trafic a alerté notre équipe de fiabilité du site , qui a rapidement réagi en modifiant les chemins empruntés par nos connexions Internet afin de réduire la congestion. Cela n’aurait néanmoins pas dû poser de problème, la Fondation étant parfaitement équipée pour gérer les pics de trafic lors d’événements exceptionnels. Que s’est-il donc passé ?

Depuis janvier 2024, la bande passante utilisée pour le téléchargement de contenu multimédia a augmenté de 50 %. Cette augmentation ne provient pas des lecteurs humains, mais en grande partie des programmes automatisés qui extraient le catalogue d’images sous licence libre de Wikimedia Commons pour alimenter les modèles d’IA. L'infrastructure est conçue pour supporter des pics de trafic humains soudains lors d’événements à fort intérêt, mais le volume de trafic généré par les robots d’extraction est sans précédent et présente des risques et des coûts croissants.

Le graphique ci-dessous montre que la demande de bande passante de base pour le contenu multimédia est en constante augmentation depuis début 2024, et rien ne laisse présager un ralentissement. Cette augmentation de l’utilisation de base signifie que les sites wikimedia disposent de moins de marge de manœuvre pour gérer des événements exceptionnels susceptibles de provoquer une augmentation du trafic : une part importante du temps et des ressources est consacrée à la gestion du trafic non humain.

65 % du trafic le plus cher provient des robots.

La Fondation Wikimedia diffuse du contenu à ses utilisateurs via un réseau mondial de centres de données . Cela permet d’offrir une expérience plus rapide et plus fluide aux lecteurs du monde entier. Lorsqu’un article est demandé plusieurs fois, il est mémorisé (ou le mis en cache) dans le centre de données le plus proche de l’utilisateur. Si un article n’a pas été demandé depuis un certain temps, son contenu doit être diffusé depuis le centre de données principal. La requête « voyage » ensuite de l’emplacement de l’utilisateur jusqu’au centre de données principal, recherche la page demandée et la renvoie à l’utilisateur, tout en la mettant en cache dans le centre de données régional pour les utilisateurs suivants.

Alors que les lecteurs humains ont tendance à se concentrer sur des sujets spécifiques, souvent similaires, les robots d’exploration ont tendance à « lire en masse » un plus grand nombre de pages et à visiter également les pages les moins populaires. Cela signifie que ces types de requêtes sont plus susceptibles d’être transmises au centre de données principal, ce qui augmente considérablement la consommation des ressources.

Lors de la migration des systèmes, la Fondation Wikimedia a constaté que seule une fraction du trafic coûteux transitant par les principaux centres de données se comportait comme le font habituellement les navigateurs web, c’est-à-dire interprétant le code JavaScript. En y regardant de plus près, ils ont découvert qu’au moins 65 % de ce trafic gourmand en ressources pour le site web provenait de robots, une proportion disproportionnée compte tenu du nombre total de pages vues par ces derniers, qui représente environ 35 % du total. Cette utilisation intensive perturbe également constamment l'équipe chargée de la fiabilité du site, qui doit bloquer le trafic excessif provenant de ces robots d’exploration avant qu’il ne cause des problèmes aux lecteurs.

Wikimedia n’est pas la seule à faire face à ce défi. Comme indiqué dans son rapport sur les tendances mondiales 2025, les entreprises technologiques se précipitent pour extraire des informations créées et vérifiées par des humains sur les sites web. Les éditeurs de contenu, les projets open source et les sites web de toutes sortes signalent des problèmes similaires. De plus, les robots d’exploration ont tendance à accéder à n’importe quelle URL. Au sein de l’infrastructure Wikimedia, ils ont observé du scraping non seulement sur les projets Wikimedia, mais aussi sur des systèmes clés de l'infrastructure de développement, tels que la plateforme de révision de code ou l'outil de suivi des bugs. Tout cela consomme du temps et des ressources nécessaire pour soutenir les projets, les contributeurs et les lecteurs de Wikimedia.

La Fondation Wikimedia conclut notamment son rapport en déclarant :

Notre contenu est gratuit, notre infrastructure ne l’est pas : Établir une utilisation responsable de l’infrastructure.

Fournir un contenu fiable implique également de soutenir un modèle de « connaissance en tant que service », où nous reconnaissons qu’Internet tout entier s’appuie sur le contenu Wikimedia. Mais cela doit se faire de manière durable pour nous : comment pouvons-nous continuer à soutenir notre communauté, tout en limitant la consommation automatique de contenu ? Comment pouvons-nous orienter les développeurs et les réutilisateurs vers des canaux d’accès privilégiés et pris en charge ? De quelles orientations avons-nous besoin pour encourager une réutilisation responsable du contenu ?

Nous avons commencé à travailler à la résolution systémique de ces questions et avons mis l’accent sur la mise en place de moyens durables pour les développeurs et les réutilisateurs d’accéder au contenu de la connaissance au cours du prochain exercice financier de la Fondation. Pour en savoir plus, consultez notre projet de plan annuel : WE5 : Utilisation responsable des infrastructures . Notre contenu est gratuit, mais pas notre infrastructure : nous devons agir dès maintenant pour rétablir un équilibre sain, afin de pouvoir consacrer nos ressources d’ingénierie au soutien et à la priorisation des projets Wikimedia, de nos contributeurs et de l’accès humain à la connaissance.

Sources : Birgit Mueller, Wikimedia Foundation; Chris Danis, Wikimedia Foundation et Giuseppe Lavagetto, Wikimedia Foundation; Fondation Wikimedia

Et vous ?

Pensez-vous que ce rapport est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Wikipedia demande enfin aux grandes entreprises de payer : Wikimedia Enterprise offrira de nouvelles options aux entreprises qui utilisent son contenu mais Wikipedia et son API resteront gratuits

Cloudflare retourne l'IA contre elle-même en déployant un labyrinthe sans fin de faits non pertinents pour lutter contre le scraping non autorisé de données d'entraînement d'IA comme ChatGPT

IA et abus de bande passante : le PDG d'iFixit s'en prend à Anthropic pour avoir « sollicité nos serveurs un million de fois en 24 heures ». Comment la formation de l'IA entraîne l'engorgement des serveurs

[Anthony]

La Fondation Wikimedia a officiellement demandé aux grandes entreprises d'IA de cesser de récupérer les données de Wikipédia et d'accéder plutôt à son contenu via l'API payante Wikimedia Enterprise

La Fondation Wikimedia a exhorté les grandes entreprises spécialisées dans l'intelligence artificielle (IA), notamment Google, OpenAI et Meta, à cesser de récupérer les données de Wikipédia et à utiliser à la place son API Wikimedia Enterprise payante. L'organisation a déclaré que cette mesure visait à préserver la viabilité de Wikipédia alors que le nombre de visites humaines diminue, en offrant un accès structuré aux données qui réduit la charge sur les serveurs tout en soutenant sa mission à but non lucratif et les éditeurs qui gèrent le contenu de la plateforme.

La Wikimedia Foundation, Inc. (WMF) est une organisation américaine à but non lucratif dont le siège social est situé à San Francisco, en Californie, où elle est enregistrée en tant que fondation caritative. Elle héberge Wikipédia, l'un des sites web les plus visités au monde. Elle héberge également quatorze projets collaboratifs ouverts connexes et soutient le développement de MediaWiki, le logiciel wiki qui les sous-tend tous. La fondation a été créée en 2003 à Saint-Pétersbourg, en Floride, par Jimmy Wales, dans le but de financer de manière non lucrative Wikipédia et d'autres projets wiki qui étaient auparavant hébergés par Bomis, la société à but lucratif de Jimmy Wales.

La Fondation Wikimedia a officiellement demandé aux grandes entreprises spécialisées dans l'IA de cesser de récupérer les données de Wikipédia et d'accéder à son contenu via l'API Wikimedia Enterprise payante. Cette décision s’inscrit dans un contexte où Wikipédia est submergé par le trafic des robots d’IA. Depuis 2024, la Fondation signale que les crawlers destinés à entraîner les modèles d’IA consomment près de 65 % de ses ressources, provoquant une hausse de 50 % de la bande passante utilisée et des coûts techniques considérables, sans contrepartie financière ni attribution équitable du contenu.

L'organisation a déclaré que ce modèle d'accès payant via l'API Wikimedia Enterprise contribuait à soutenir Wikipédia alors que le trafic d'origine humaine diminue, permettant aux entreprises un accès structuré et à grande échelle tout en réduisant la charge sur les serveurs et en soutenant sa mission à but non lucratif. Des entreprises telles que Google, OpenAI, Meta, Anthropic, Microsoft, Perplexity, DeepSeek et xAI ont été contactées, mais aucune n'a fait de commentaire public.

Wikimedia a averti que l'utilisation croissante des chatbots IA tels que ChatGPT réduit le nombre de visites directes sur Wikipédia, menaçant ainsi son modèle de financement basé sur les dons. La fondation a constaté que les robots IA avaient gonflé le trafic au début de l'année, tandis que le nombre de pages vues par les humains avait chuté de 8 % par rapport à l'année précédente, ce qui a suscité des inquiétudes quant à la baisse de l'engagement et du nombre de contributions bénévoles. Comme de plus en plus d'utilisateurs se fient aux réponses générées par l'IA au lieu de visiter le site, les dons pourraient diminuer, ce qui constitue un problème grave compte tenu des 179 millions de dollars de coûts d'exploitation annuels financés principalement par des contributions publiques, le site fonctionnant sans publicité.

En plus de demander un accès payant et transparent aux données, Wikimedia a demandé aux entreprises d'IA de créditer les éditeurs dont le travail soutient leurs modèles. La fondation a présenté cela comme une ligne directrice éthique pour un développement responsable de l'IA, évitant les menaces juridiques et s'alignant sur une pression plus large des créateurs de contenu qui exigent une compensation lorsque les systèmes d'IA réutilisent du matériel en ligne sans autorisation, tout en encourageant une collaboration équitable.

Voici l'annonce de la Fondation Wikimedia :

L'IA s'appuie sur des ressources de connaissances documentées par des humains, telles que Wikipédia. Grâce à la capacité de l'IA générative à créer des textes et des vidéos, le monde en ligne a fondamentalement changé.

Cependant, beaucoup de gens ne se rendent pas compte qu'il y a quelque chose de distinctement familier derrière tout ce contenu généré par l'IA : des connaissances sélectionnées, débattues et documentées par des humains.

C'est pourquoi le rôle de Wikipédia en tant que pilier de toutes les connaissances sur Internet n'a jamais été aussi important.

Les connaissances créées par l'homme ne sont pas remplaçables

Le communicateur scientifique Hank Green s'est récemment interrogé sur l'avenir de l'IA et sur la possibilité qu'elle finisse par s'autodétruire. En effet, l'IA générative ne peut exister sans les connaissances créées par l'homme, qui doivent être continuellement mises à jour. Sans elles, les systèmes d'IA s'effondreraient.

La force de Wikipédia réside dans ses communautés d'éditeurs bénévoles, fortes de plusieurs centaines de milliers de membres, qui améliorent constamment les informations du site. La Wikimedia Foundation, l'organisation à but non lucratif qui soutient Wikipédia, fournit une assistance technologique et juridique, mais ne rédige ni ne contrôle le contenu de Wikipédia ; ce sont les éditeurs bénévoles qui s'en chargent.

Les humains apportent à la création de connaissances des éléments que l'IA ne peut remplacer. Les outils d'IA générative actuels sont peut-être capables de synthétiser ou de résumer les connaissances existantes, mais ils ne peuvent pas s'engager dans le processus de discussion, de débat et de consensus que les éditeurs bénévoles de Wikipédia entreprennent chaque jour. Ils ne sont pas capables de découvrir des éléments enfouis dans des archives, ni de prendre une photo d'un événement ou d'un lieu sous-documenté pour aider à améliorer ces connaissances. De plus, les projets Wikimedia sont disponibles dans plus de 300 langues, souvent rédigés par des locuteurs natifs, fournissant ainsi un corpus multilingue qui soutient le développement de modèles d'IA inclusifs et sensibles à la culture. Cette approche centrée sur l'humain de la création de connaissances fournit des informations fiables et de haute qualité qui, grâce à une collaboration éditoriale régulière et à des désaccords, aboutissent à des articles plus neutres et plus complets. Plus les humains participent à Wikipédia, plus les connaissances sur Internet s'améliorent.

Wikipédia excelle également en matière de transparence. Tout le monde voit exactement les mêmes informations sur Wikipédia ; aucun algorithme ne suit votre comportement ni ne vous propose du contenu dans le but de générer des profits. Lorsque vous lisez ces informations, les citations qui les accompagnent renvoient à des sources fiables où vous pouvez vérifier qui les a initialement rapportées. Si vous souhaitez en savoir plus sur les raisons pour lesquelles ces informations figurent dans l'article, les processus de Wikipédia et les actions entreprises par ses bénévoles peuvent être consultés par tout le monde, car ils sont enregistrés publiquement sur le site web. Vous pouvez également ajouter des informations à Wikipédia, conformément aux politiques et directives du site, afin de garantir la mise à jour continue de cette ressource de connaissances vivante. C'est grâce à son ouverture que Wikipédia reste l'une des plateformes les plus fiables au monde. À l'inverse, les systèmes d'IA générative peuvent « halluciner » des informations en réponse à des questions, un phénomène qui consiste à présenter des informations fausses mais plausibles comme des faits.

Wikipédia utilise-t-elle l'IA ?

La Fondation Wikimedia reconnait le potentiel de l'IA pour l'aider à réaliser sa mission, qui consiste à rendre des informations fiables plus accessibles à un plus grand nombre de personnes. Cependant, cela doit être fait à la manière de Wikipédia, c'est-à-dire en aidant les humains à créer et à partager des connaissances, et non en les remplaçant.

Par exemple, la Fondation Wikimedia affirme être conscient qu'une grande partie du temps consacré par les bénévoles de Wikipédia est consacrée à des tâches banales telles que le signalement des actes de vandalisme. Cela peut détourner l'attention de tâches plus complexes telles que la création de contenu et la révision des modifications. C'est pourquoi une grande partie de la stratégie de la Fondation en matière d'IA pour les éditeurs, publiée plus tôt cette année, se concentre sur les moyens de donner à ces éditeurs plus de temps pour effectuer ce type de travail encyclopédique essentiel.

Dans tous les cas, les bénévoles créent et appliquent des directives pour une utilisation responsable des outils d'IA sur Wikipédia, en veillant à ce qu'ils soient utilisés de manière à soutenir au mieux les contributeurs humains.

L'IA dépend de Wikipédia

L'IA ne peut exister sans l'effort humain qui consiste à créer des sources d'information ouvertes et à but non lucratif telles que Wikipédia. C'est pourquoi Wikipédia est l'une des bases de données de la plus haute qualité au monde pour l'entraînement de l'IA, et lorsque les développeurs d'IA tentent de l'omettre, les réponses obtenues sont nettement moins précises, moins diversifiées et moins vérifiables.

C'est également la raison pour laquelle la Fondation Wikimedia appelle les développeurs d'IA et les autres réutilisateurs de contenu qui accèdent à son contenu à l'utiliser de manière responsable et à soutenir Wikipédia. Ils peuvent y parvenir grâce à deux actions simples : l'attribution et le soutien financier.

L'attribution signifie que l'IA générative reconnaît les contributions humaines qu'elle utilise pour créer ses résultats. Cela permet de maintenir un cercle vertueux qui perpétue les contributions humaines qui créent les données d'entraînement sur lesquelles s'appuient ces nouvelles technologies. Pour que les gens aient confiance dans les informations partagées sur Internet, les plateformes doivent indiquer clairement d'où proviennent ces informations et multiplier les occasions de visiter et de participer à ces sources. Si les visites sur Wikipédia diminuent, moins de bénévoles pourront enrichir le contenu et moins de donateurs individuels pourront soutenir ce travail.

Le soutien financier signifie que la plupart des développeurs d'IA devraient accéder correctement au contenu de Wikipédia via la plateforme Wikimedia Enterprise. Développé par la Fondation Wikimedia, ce produit payant et facultatif permet aux entreprises d'utiliser le contenu de Wikipédia à grande échelle et de manière durable sans surcharger les serveurs de Wikipédia, tout en leur permettant de soutenir sa mission à but non lucratif.

Grâce à une attribution correcte des sources d'information et à un meilleur soutien financier pour les impacts technologiques de l'IA sur Wikipédia, les développeurs d'IA peuvent assurer à la fois leur propre avenir à long terme et celui de Wikipédia.

Conclusion

Wikipédia est « le dernier meilleur endroit sur Internet ». C'est le seul site de cette envergure qui applique des normes de vérifiabilité, de neutralité et de transparence pour alimenter l'ensemble des informations disponibles sur Internet, et il continue de jouer un rôle essentiel dans les besoins quotidiens des gens en matière d'information, d'une manière invisible. Dans un monde de plus en plus envahi par l'IA, les connaissances humaines de Wikipédia sont plus précieuses que jamais pour le monde entier.

Le 15 janvier 2026, Wikipédia fêtera son 25e anniversaire. Alors que la Fondation Wikimedia réfléchit à cette étape importante, elle se déclare optimiste quant au fait que Wikipédia sera toujours là dans 25 ans, garantissant que l'internet fournisse des connaissances humaines gratuites et précises aux générations futures.

La récente initiative de la Fondation Wikimedia intervient alors que des projets concurrents, tels que Grokipedia de xAI, ont été accusés de reproduire mot pour mot le contenu de Wikipédia. Malgré ses promesses d’innovation, la projet d’Elon Musk met en lumière la dépendance structurelle des entreprises d’IA à l’égard des données produites par les utilisateurs humains, renforçant la légitimité de la démarche de Wikimedia pour encadrer et monétiser l’usage de ses contenus.

Source : Wikimedia Fondation

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous cette initiative de la Fondation Wikimedia crédible ou pertinente ?

Voir aussi :

Wikipédia affirme que l'IA entraîne une baisse dangereuse du nombre de visiteurs humains : « cela pourrait entraîner une diminution du nombre de contributeurs et de donateurs qui soutiennent la plateforme »

Wikipédia a déclaré qu'elle utiliserait l'IA pour améliorer le travail de ses rédacteurs et de ses bénévoles, tout en affirmant qu'elle n'a pas l'intention de remplacer ces rôles humains

Les éditeurs de Wikipédia ont rejeté la proposition du cofondateur Jimmy Wales d'intégrer des outils d'IA tels que ChatGPT, invoquant des manquements en matière de neutralité, de vérifiabilité et de sources