Après avoir tenté de bloquer l'IA, Cloudflare souhaite désormais faire le contraire et aider l'IA à s'alimenter des sites web grâce à la conversion automatique et instantanée du HTML en markdown

Cloudflare prend désormais en charge la conversion automatique et en temps réel du contenu HTML en Markdown pour les agents IA et les robots d'indexation, à l'aide d'en-têtes de négociation de contenu. Lorsque cette fonctionnalité est activée, les systèmes IA peuvent demander directement le Markdown aux sites web participants, avec des réponses comprenant des métadonnées sur le nombre de jetons et des signaux d'utilisation de contenu standardisés. Cela réduit l'utilisation des jetons jusqu'à 80 % et améliore l'efficacité.

Cloudflare est une entreprise technologique américaine, qui fournit une gamme de services Internet, notamment des services de réseau de diffusion de contenu (CDN), de cybersécurité dans le cloud, d'atténuation des attaques DDoS et d'enregistrement de noms de domaine accrédités par l'ICANN. Les services de l'entreprise agissent principalement comme un proxy inverse entre les visiteurs d'un site web et le fournisseur d'hébergement d'un client, améliorant ainsi les performances et protégeant contre le trafic malveillant.

En 2025, Cloudflare a annoncé qu'elle bloquerait par défaut l'accès des robots d'indexation d'intelligence artificielle (IA) aux pages web, tout en offrant aux propriétaires de sites des options plus granulaires pour contrôler le type de robots d'IA qui indexent leurs pages. De plus, Cloudflare a lancé une nouvelle initiative visant à faire payer les services d'IA pour accéder à ces pages, appelée "Pay Per Crawl". Cette annonce avait suscité des réactions car Cloudflare est utilisé par environ 20 % de l'ensemble de l'Internet, ce qui peut poser un sérieux problème pour les services d'IA qui s'entraînent sur la base du web ouvert car 20 % de tout ce contenu peut tout simplement disparaître pour ces services d'IA.

Pourtant en 2026, Cloudflare annonce un changement dans sa stratégie. Cloudflare prend désormais en charge la conversion automatique et en temps réel du contenu HTML en Markdown pour les agents IA et les robots d'indexation, à l'aide d'en-têtes de négociation de contenu. Lorsque cette fonctionnalité est activée, les systèmes IA peuvent demander directement le Markdown aux sites web participants, avec des réponses comprenant des métadonnées sur le nombre de jetons et des signaux d'utilisation de contenu standardisés. Cela réduit l'utilisation des jetons jusqu'à 80 % et améliore l'efficacité. Cette fonctionnalité est disponible en version bêta sans frais supplémentaires pour les utilisateurs Pro, Business, Enterprise et SSL for SaaS.

Cloudflare justifie cette décision en déclarant : "La manière dont le contenu et les entreprises sont découverts en ligne évolue rapidement. Auparavant, le trafic provenait des moteurs de recherche traditionnels, et le référencement naturel (SEO) déterminait qui était trouvé en premier. Aujourd'hui, le trafic provient de plus en plus des robots d'indexation et des agents IA qui exigent des données structurées au sein d'un Web souvent non structuré, conçu pour les humains. En tant qu'entreprise, pour rester à la pointe, il est temps de ne plus se concentrer uniquement sur les visiteurs humains ou les principes traditionnels d'optimisation SEO, mais de commencer à traiter les agents comme des citoyens de première classe."

En 2025, le PDG de Cloudflare avait pourtant qualifié l'IA de fardeau économique. Abordant l'impact fondamental de l'IA sur les modèles d'entreprise en ligne, Matthew Prince a avertit que l'IA brise le modèle économique du web en découplant la création de contenu de la valeur et en fournissant des réponses sans générer de trafic vers les sources originales. Cloudflare se trouve au cœur de ce problème majeur, car il alimente 80 % des géants de l'IA et entre 20 à 30 % d'Internet, indique Matthew Prince. Ainsi, l'entreprise souhaite réparer tout ce qui est cassé. Toutefois, le problème réside dans le coût de l'IA, qui représente une dépense importante pour les autres, selon Prince.

Nom : 1.jpg
Affichages : 4383
Taille : 40,0 Ko

Voici un extrait de l'annonce de Cloudflare :

Présentation de Markdown pour les agents

Pourquoi Markdown est-il important ?

Fournir du code HTML brut à une IA revient à payer au mot pour lire l'emballage plutôt que la lettre qu'il contient. Un simple ## About Us sur une page en markdown coûte environ 3 jetons ; son équivalent HTML – <h2 class="section-title" id="about">À propos de nous</h2> – en coûte 12 à 15, et cela sans compter les balises <div>, les barres de navigation et les balises de script qui remplissent chaque page Web réelle et n'ont aucune valeur sémantique.

Cet article de blog que vous êtes en train de lire nécessite 16 180 jetons en HTML et 3 150 jetons lorsqu'il est converti en markdown. Cela représente une réduction de 80 % de l'utilisation des jetons.

Le markdown est rapidement devenu la lingua franca des agents et des systèmes d'IA dans leur ensemble. La structure explicite de ce format le rend idéal pour le traitement par l'IA, ce qui se traduit finalement par de meilleurs résultats tout en minimisant le gaspillage de jetons.

Le problème est que le Web est constitué de HTML, et non de markdown, et que le poids des pages n'a cessé d'augmenter au fil des ans, rendant les pages difficiles à analyser. Pour les agents, l'objectif est de filtrer tous les éléments non essentiels et de scanner le contenu pertinent.

La conversion du HTML en Markdown est désormais une étape courante pour tout pipeline d'IA. Cependant, ce processus est loin d'être idéal : il gaspille des ressources informatiques, augmente les coûts et la complexité du traitement et, surtout, il peut ne pas correspondre à la manière dont le créateur de contenu souhaitait que son contenu soit utilisé à l'origine.

Et si les agents IA pouvaient contourner les complexités de l'analyse des intentions et de la conversion des documents, et recevoir à la place un Markdown structuré directement à partir de la source ?

Convertir automatiquement le HTML en Markdown

Le réseau Cloudflare prend désormais en charge la conversion de contenu en temps réel à la source, pour les zones activées utilisant des en-têtes de négociation de contenu. Désormais, lorsque les systèmes d'IA demandent des pages à partir d'un site web qui utilise Cloudflare et sur lequel Markdown for Agents est activé, ils peuvent exprimer leur préférence pour le format text/markdown dans la requête. Notre réseau convertira automatiquement et efficacement le HTML en Markdown, lorsque cela est possible, à la volée.

Voici comment cela fonctionne. Pour récupérer la version Markdown d'une page à partir d'une zone où Markdown for Agents est activé, le client doit ajouter l'en-tête de négociation Accept avec text/markdown comme l'une des options. Cloudflare le détectera, récupérera la version HTML originale à partir de l'origine et la convertira en Markdown avant de la servir au client.

Voici un exemple de curl avec l'en-tête de négociation Accept demandant une page de notre documentation pour développeurs :

Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \
  -H "Accept: text/markdown"


Si vous créez un agent IA à l'aide de Workers, vous pouvez utiliser TypeScript :

Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
const r = await fetch(
  `https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
  {
    headers: {
      Accept: "text/markdown, text/html",
    },
  },
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text();


Nous constatons déjà que certains des agents de codage les plus populaires aujourd'hui, tels que Claude Code et OpenCode, envoient ces en-têtes Accept avec leurs demandes de contenu. Désormais, la réponse à cette demande est formatée en Markdown. C'est aussi simple que cela.

Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
HTTP/2 200
date: Wed, 11 Feb 2026 11:44:48 GMT
content-type: text/markdown; charset=utf-8
content-length: 2899
vary: accept
x-markdown-tokens: 725
content-signal: ai-train=yes, search=yes, ai-input=yes
 
---
title: Markdown for Agents · Cloudflare Agents docs
---
 
## What is Markdown for Agents
 
The ability to parse and convert HTML to Markdown has become foundational for AI.
...


Notez que nous incluons un en-tête x-markdown-tokens avec la réponse convertie qui indique le nombre estimé de jetons dans le document markdown. Vous pouvez utiliser cette valeur dans votre flux, par exemple pour calculer la taille d'une fenêtre de contexte ou pour décider de votre stratégie de découpage.

Voici un schéma illustrant son fonctionnement :

Nom : 2.jpg
Affichages : 556
Taille : 40,0 Ko

Politique relative aux signaux de contenu

Au cours de notre dernière semaine anniversaire, Cloudflare a annoncé Content Signals, un cadre qui permet à chacun d'exprimer ses préférences quant à l'utilisation de son contenu après qu'il a été consulté.

Lorsque vous renvoyez un markdown, vous voulez vous assurer que votre contenu est utilisé par l'agent ou le robot d'indexation IA. C'est pourquoi les réponses converties par Markdown for Agents incluent l'en-tête Content-Signal: ai-train=yes, search=yes, ai-input=yes, qui indique que le contenu peut être utilisé pour la formation IA, les résultats de recherche et l'entrée IA, ce qui inclut l'utilisation par des agents. Markdown for Agents proposera à l'avenir des options permettant de définir des politiques de signal de contenu personnalisées.


Autres méthodes de conversion vers Markdown

Si vous développez des systèmes d'IA qui nécessitent la conversion arbitraire de documents provenant de l'extérieur de Cloudflare ou si Markdown for Agents n'est pas disponible à partir de la source de contenu, nous proposons d'autres méthodes pour convertir des documents vers Markdown pour vos applications :

- Workers AI AI.toMarkdown() prend en charge plusieurs types de documents, pas seulement HTML, ainsi que la synthèse.

- L'API REST du rendu du navigateur /markdown prend en charge la conversion Markdown si vous devez afficher une page ou une application dynamique dans un navigateur réel avant de la convertir.

Suivi de l'utilisation de Markdown

Anticipant un changement dans la façon dont les systèmes d'IA naviguent sur le Web, Cloudflare Radar inclut désormais des informations sur les types de contenu pour le trafic des bots et des crawlers IA, à la fois globalement sur la page AI Insights et dans les pages d'informations individuelles des bots.

La nouvelle dimension et le nouveau filtre content_type montrent la répartition des types de contenu renvoyés aux agents IA et aux robots d'indexation, regroupés par catégorie de type MIME.

Nom : 3.jpg
Affichages : 232
Taille : 48,1 Ko

Vous pouvez également voir les requêtes de Markdown filtrées par un agent ou un robot d'indexation spécifique. Voici les requêtes qui renvoient du Markdown à OAI-Searchbot, le robot d'indexation utilisé par OpenAI pour alimenter la recherche de ChatGPT :

Nom : 4.jpg
Affichages : 232
Taille : 51,5 Ko

Ces nouvelles données nous permettront de suivre l'évolution de la manière dont les bots, les robots d'indexation et les agents IA consomment le contenu Web au fil du temps. Comme toujours, tout ce qui se trouve sur Radar est librement accessible via les API publiques et l'explorateur de données.

Commencez à l'utiliser dès aujourd'hui

Pour activer Markdown for Agents pour votre zone, connectez-vous au tableau de bord Cloudflare, sélectionnez votre compte, sélectionnez la zone, recherchez Quick Actions et activez le bouton Markdown for Agents. Cette fonctionnalité est disponible dès aujourd'hui en version bêta sans frais pour les plans Pro, Business et Enterprise, ainsi que pour les clients SSL for SaaS.

Nom : 5.jpg
Affichages : 231
Taille : 50,5 Ko

Source : Annonce de Cloudflare

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Cloudflare lance une politique de signalisation de contenu pour contrôler le scraping par l'IA et étend le fichier robots.txt pour permettre aux éditeurs de spécifier des règles d'utilisation de l'IA

Les crawlers IA détruisent-ils les sites web qu'ils exploitent ? Ils mettent les infrastructures à rude épreuve sans contrepartie. Meta et OpenAI en sont les champions, selon un rapport de Fastly

AGENTS.md, un format simple et ouvert pour guider les agents de codage IA, qui fournit le contexte et les instructions pour les aider à travailler sur votre projet