Cloudflare et GoDaddy s'associent pour aider les sites web à lutter contre les robots d'indexation IA
Cloudflare et GoDaddy s'associent pour aider les sites web à lutter contre les robots d'indexation IA et contribuer à la mise en place d'un web agentique ouvert
Cloudflare et GoDaddy ont annoncé un partenariat visant à contrer l'impact croissant des robots d'indexation d'intelligence artificielle (IA) sur le trafic des sites web et les revenus des éditeurs. Cette initiative intègre la solution « AI Crawl Control » de Cloudflare à la plateforme d'hébergement de GoDaddy, permettant ainsi aux propriétaires de sites de bloquer, d'autoriser ou de monétiser l'accès des robots d'indexation IA. Cette initiative répond à l'essor des moteurs de recherche IA, comme la fonctionnalité « Aperçu IA » de Google, qui fournissent de plus en plus souvent des réponses directes aux utilisateurs au lieu de les rediriger vers les pages web des créateurs de contenu.
Cloudflare, Inc. est une entreprise technologique américaine dont le siège social est situé à San Francisco, en Californie, qui propose une gamme de services Internet, notamment des services de réseau de diffusion de contenu (CDN), de cybersécurité dans le cloud, de protection contre les attaques DDoS et d'enregistrement de noms de domaine accrédités par l'ICANN. Les services de l'entreprise fonctionnent principalement comme un proxy inverse entre les visiteurs d'un site web et l'hébergeur du client, améliorant ainsi les performances et assurant une protection contre le trafic malveillant.
Cette initiative s’inscrit dans une stratégie plus large de Cloudflare visant à redéfinir les règles d’accès des systèmes d’IA aux contenus en ligne. En juillet dernier, l'entreprise avait déjà annoncé qu'elle bloquerait par défaut l'accès des robots d'indexation IA de pillage de pages web, tout en introduisant des contrôles plus fins permettant aux éditeurs de décider quels robots IA peuvent accéder à leurs contenus. Parallèlement, Cloudflare a lancé « Pay Per Crawl », un mécanisme qui permet de faire payer les services d'IA pour l'exploration des pages web, posant ainsi les bases d'un modèle économique alternatif pour les créateurs de contenu.
Dans le prolongement de cette approche, Cloudflare a également cherché à encadrer le scraping IA par des normes déclaratives. En septembre 2025, l'entreprise a introduit une politique de signalisation de contenu reposant sur une extension du fichier robots.txt, qui permet aux éditeurs de définir des règles précises indiquant comment le contenu récupéré peut être utilisé après le crawl. Ce dispositif offert gratuitement permet notamment de distinguer les usages commerciaux et non commerciaux, et d'indiquer des autorisations explicites pour l'entraînement de l'IA ou la synthèse de contenu, voire d'interdire totalement la réutilisation.
GoDaddy Inc. est une société américaine cotée en bourse spécialisée dans l'enregistrement de noms de domaine, la gestion de noms de domaine et l'hébergement web. Son siège social est situé à Tempe, en Arizona, et elle est constituée en vertu de la loi générale sur les sociétés du Delaware. En 2023, GoDaddy est le cinquième hébergeur web mondial en termes de part de marché, avec plus de 62 millions de noms de domaine enregistrés. La société s'adresse principalement aux petites et micro-entreprises, qui constituent la majeure partie de ses 20 millions de clients
Le 7 avril 2026, Cloudflare et GoDaddy ont annoncé un partenariat visant à remédier à l'impact des robots d'indexation IA des grandes entreprises technologiques sur le trafic des sites web et les revenus des éditeurs. Cette initiative s'attaque au problème croissant posé par les moteurs de recherche IA qui réutilisent du contenu web sans rediriger les utilisateurs vers la source d'origine. Dans le cadre de cet accord, la solution « AI Crawl Control » de Cloudflare sera intégrée à la plateforme d'hébergement de GoDaddy, permettant ainsi aux propriétaires de sites d'autoriser, de bloquer ou d'exiger un paiement de la part des robots IA.
Ce partenariat est une réponse à l'essor des moteurs de recherche basés sur l'IA, tels que « AI Overview » de Google, qui fournissent de plus en plus souvent des réponses directes aux utilisateurs au lieu de les rediriger vers des sites web. Cette évolution a exacerbé les tensions entre les créateurs de contenu et les entreprises spécialisées dans l'IA, car les éditeurs voient leur trafic diminuer et leurs revenus baisser considérablement, alors que leur contenu continue d'être utilisé, souvent sans même être crédité.
Cloudflare et GoDaddy soutiennent également des normes ouvertes telles que l'Agent Name Service (ANS) et le Web Bot Auth, qui permettent de vérifier l'identité des agents IA grâce à des identifiants signés cryptographiquement. Outre les journaux d'audit qui offrent aux propriétaires de sites une meilleure visibilité sur l'activité des bots, l'objectif plus large est de mettre en place un système fondé sur les autorisations, dans lequel l'identité, le contrôle d'accès et la rémunération contribuent à protéger le contenu créé par des humains en ligne, ce qui semble plus nécessaire que jamais à l'heure actuelle.
Le communiqué de Cloudflare est présenté ci-dessous : «
Cloudflare, Inc., le leader dans le domaine du cloud de connectivité, et GoDaddy, le leader mondial en termes de noms de domaine et de technologies pour PME, annoncent aujourd'hui un partenariat stratégique visant à assurer la transparence et le contrôle dont les propriétaires de sites web et les entreprises de développement d'IA ont besoin concernant la manière dont leur contenu est utilisé par l'IA, tout en soutenant la mise en place de normes permettant de mieux identifier les agents IA. Ensemble, les deux entreprises se sont donné pour objectif de favoriser l'émergence de solutions concernant l'identité, la confiance et l'accès sur le web agentique ouvert.
En passant d'un web composé de pages conçues pour les humains à un web également conçu pour prendre en charge des agents agissant pour le compte des humains, le réseau Internet traverse actuellement un processus de changement fondamental. En l'absence de normes et d'outils clairs, cette transition risque de submerger les propriétaires de sites web sous un afflux de trafic automatisé non identifiable et potentiellement malveillant (notamment les PME et les créateurs de contenu). Nous devons mettre en place un moyen de nous assurer que les propriétaires de sites web disposent de tous les outils nécessaires pour identifier, gérer et contrôler facilement le trafic lié à l'IA.
Visibilité et contrôle sur les robots d'exploration IA
À compter d'aujourd'hui, GoDaddy intégrera le service Cloudflare AI Crawl Control à sa plateforme d'hébergement de sites web afin d'aider les propriétaires de sites à bénéficier d'une visibilité et d'un contrôle sur la manière dont les robots d'exploration automatisés et basés sur l'IA accèdent au contenu de leurs sites web (notamment ceux des PME et des créateurs de contenu). Ce service aidera les propriétaires de sites web à mieux gérer les robots d'exploration susceptibles de collecter leurs informations, tout en contribuant à la protection des sites.
Identité et transparence pour les agents IA
Au-delà du seul fait de contrôler l'exploration des sites, le secteur a besoin de moyens normalisés pour identifier les acteurs qui exploitent un agent donné et les actions qu'un tel agent est autorisé à effectuer. La mise en œuvre de méthodes d'identification cohérentes pour les bots et les agents qui souhaitent interagir de manière sécurisée avec les applications web constitue toutefois un problème plus nuancé. Lancée par GoDaddy, la norme ouverte et mondiale ANS est conçue pour soutenir un processus cohérent de désignation, de contrôle et d'identification des agents IA sur l'ensemble des systèmes à l'aide de mesures ouvertes et éprouvées, du système de noms de domaine (DNS, Domain Name System) et d'une infrastructure à clé publique (PKI, Public Key Infrastructure). Le service DNS permet aux propriétaires de sites web de distinguer les agents IA légitimes des agents IA non identifiés sur l'Internet ouvert (notamment les agents malveillants qui usurpent l'identité d'autres entités).
Cloudflare s'engage à promouvoir la transparence du web agentique en prenant en charge l'ANS et le développement d'une vaste gamme de normes vérifiables quant à l'identité des agents. En 2025, Cloudflare a également lancé le service Web Bot Auth, un nouveau moyen d'utiliser le chiffrement pour vérifier le trafic des bots et des agents, ainsi que la Signature Agent Card (carte de signature des agents) afin d'aider les développeurs d'agents à communiquer l'identité et la finalité de leurs agents de manière transparente. Grâce à cet écosystème ouvert de normes et de méthodes d'identification des agents, le web agentique pourra évoluer, tout en bénéficiant d'une transparence intégrée par défaut.
Ensemble, Cloudflare et GoDaddy se sont donné pour objectif de proposer l'architecture technique nécessaire à permettre aux entreprises d'entrer dans l'ère du web agentique, mais aussi pour les aider à :
- appliquer un modèle basé sur l'autorisation pour le web agentique, car GoDaddy intègre ainsi directement le service Cloudflare AI Crawl Control à son expérience d'hébergement. Ce mode d'action permet aux propriétaires de sites web de définir leurs propres conditions afin de protéger la valeur de leur contenu (ils peuvent, par exemple, choisir d'autoriser ou de bloquer un bot, voire de signaler la nécessité d'un paiement, le cas échéant) ;
- instaurer un climat de confiance et de transparence au sein du commerce natif de l'IA. L'identification d'un bot ne suffit plus, il faut également lui permettre d'effectuer des transactions. En prenant en charge l'ANS (Automated Naming System, système de désignation automatisé) et l'authentification des bots web, Cloudflare et GoDaddy proposent la couche d'identité vérifiable nécessaire à la mise en œuvre d'une marketplace numérique fonctionnelle. En s'assurant que l'identité d'un agent soit signée de manière cryptographique lorsque ce dernier effectue une requête (qu'il s'agisse d'une requête de données ou d'un achat autonome), cet outil crée le climat de confiance nécessaire à un échange de valeur durable ;
- sécuriser un échange de valeur équitable à l'ère des moteurs de réponses, qui voit le modèle économique traditionnel basé sur le trafic s'effondrer du fait de la transition d'Internet du modèle « search-and-click » (recherche et clic) vers celui des réponses générées par IA. Ce partenariat apporte dès lors une solution technique unique à cette problématique économique. En associant des journaux d'audit granulaires à un processus transparent de contrôle de l'identité des agents, GoDaddy et Cloudflare contribuent à la mise en place d'un écosystème au sein duquel les contenus générés par des humains demeurent la clé de voûte du web, tout en permettant aux créateurs d'être protégés et rémunérés dans un monde de plus en plus axé sur l'IA.
Témoignages
« Internet évolue vers un écosystème à haute vélocité et piloté par l'IA. Or, ce schéma nécessite la mise en place d'une infrastructure transparente d'un nouveau genre », explique Stephanie Cohen, Chief Strategy Officer de Cloudflare. « En plaçant des outils tels que le service AI Crawl Control et les normes ouvertes entre les mains des propriétaires de sites web, nous dressons les piliers essentiels d'un nouveau modèle économique pour Internet. »
« Nous souhaitons nous assurer que chaque créateur dispose de tous les outils nécessaires pour vérifier l'identité et la finalité des visiteurs, des bots et des agents qui interagissent avec son site, tout en proposant un moyen sécurisé et transparent pour les agents IA légitimes de participer à un web ouvert florissant », ajoute-t-elle.
« En travaillant avec Cloudflare sur le service AI Crawl Control et en soutenant l'Agent Name Service (une norme ouverte accordant une identité vérifiable et basée sur le DNS à chaque agent), nous apportons à nos clients la transparence dont ils ont besoin pour prospérer au sein d'un monde axé sur l'IA, » précise Jared Sine, Chief Strategy Officer de GoDaddy. « Nous évoluons à la vitesse d'Internet et collaborons avec l'ensemble du secteur pour nous assurer que le web agentique ouvert suive également cette voie. »
À propos de Cloudflare
Cloudflare, Inc. est le leader dans le domaine du cloud de connectivité. Ses solutions permettent aux entreprises de rendre leurs collaborateurs, leurs applications et leurs réseaux plus rapides et plus sûrs, partout dans le monde, tout en réduisant la complexité et les coûts. Le cloud de connectivité Cloudflare propose la plateforme unifiée la plus complète en matière de produits et d'outils de développement cloud-native afin de permettre à toutes les entreprises de bénéficier des mesures de contrôle dont elles ont besoin pour travailler, développer et dynamiser leur activité.
Soutenus par l'un des réseaux les plus vastes et les plus interconnectés du monde, les services Cloudflare bloquent chaque jour des milliards de menaces en ligne pour le compte de leurs clients. Des millions d'entreprises et d'organisations font confiance à Cloudflare, des plus grandes marques aux entrepreneurs individuels et aux PME, en passant par divers organismes à but non lucratif, groupes d'assistance humanitaire et administrations à travers le monde.
À propos de GoDaddy
GoDaddy, le service d'enregistrement de noms de domaine le plus utilisé au monde, aide des millions d'entrepreneurs internationaux à lancer, développer et faire évoluer leur entreprise. Les utilisateurs font appel à GoDaddy pour donner un nom à leur idée, concevoir un site web et un logo, vendre leurs produits et leurs services, mais aussi accepter des paiements. GoDaddy Airo®, l'expérience assistée par l'IA proposée par l'entreprise, accélère et facilite la croissance des PME en les aidant à déployer leurs idées en ligne en quelques minutes seulement, à générer du trafic et à stimuler leurs ventes ! Les guides experts de GoDaddy sont disponibles 24 h/24 et 7 j/7 pour assurer une assistance aux utilisateurs qui en ont besoin.
»
La récente initiative de Cloudflare et GoDaddy s'inscrit dans un contexte où l'IA remet en cause le modèle économique du Web. Matthew Prince, le PDG de Cloudflare, a récemment averti que l’IA brise le modèle économique du Web en découplant la création de contenu de sa valeur économique et en fournissant des réponses directes sans rediriger vers les sources originales.
S'exprimant lors d'une conférence consacrée à l'impact de l'IA sur les modèles économiques en ligne, il a qualifié cette évolution de fardeau économique majeur, pointant notamment le rôle central de Google dans cette transformation. Selon lui, cette dynamique constitue une menace directe et sérieuse pour l’écosystème du Web, car elle se traduirait par une diminution du nombre de contributions originales de la part des créateurs de contenu et par une augmentation du contenu copié ou reproduit.
Source : Communiqué de Cloudflare
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi :
Répondre avec citation
Partager