Cloudflare et les règles anti-IA : un risque inattendu pour l'exploration Google

Une nouvelle classification des crawlers IA chez Cloudflare

Cloudflare, l'un des principaux fournisseurs de services de sécurité et de performance web, met à jour sa méthode d'identification et de blocage des crawlers (robots d'exploration) liés à l'intelligence artificielle. L'annonce a été faite à l'occasion de son deuxième « Content Independence Day », un événement dédié à la maîtrise des contenus face aux IA.

Plutôt qu'un simple interrupteur « bloquer les bots IA », Cloudflare classe désormais les robots selon leur comportement réel sur un site, en trois catégories :

• Search : le robot indexe un site pour répondre à des questions ultérieurement, un usage que Cloudflare associe au trafic de référence renvoyé vers le site.
• Agent : des bots agissant en temps réel pour le compte d'un utilisateur, comme ChatGPT-User ou des agents de navigation tels que Gemini ou Claude pilotant Chrome.
• Training : le crawl qui aspire du contenu pour entraîner ou affiner un modèle d'IA.

Cloudflare demande aux opérateurs de bots de faire tourner des crawlers distincts pour chacun de ces comportements, afin que les sites puissent comprendre pourquoi un robot les visite et décider de l'autoriser ou non. Ces contrôles sont déjà disponibles pour tous les clients, y compris l'offre gratuite.

Ce qui change le 15 septembre

Deux changements de paramètres par défaut entrent en vigueur le 15 septembre. Premièrement, pour les nouveaux clients et les nouveaux sites de clients existants, les crawlers de type Training et Agent seront bloqués par défaut sur les pages affichant de la publicité, tandis que le crawl Search restera autorisé. Les clients gratuits existants qui n'auront pas modifié leurs réglages à cette date basculeront également vers ces nouveaux paramètres par défaut.

Le second changement va plus loin : Cloudflare traitera les crawlers multi-usages selon l'ensemble de leurs comportements, en appliquant la règle la plus stricte. Concrètement, un robot qui fait à la fois du Search et du Training sera bloqué si le site bloque le Training. Cloudflare cite explicitement Googlebot, Applebot et Bingbot en exemple, car chacun explore le web à la fois pour la recherche et pour l'entraînement de modèles d'IA. Les sites ayant déjà activé l'ancien réglage « Block AI bots » seront automatiquement couverts par cette nouvelle règle.

Le risque concret pour le référencement

C'est là que réside le risque : un site qui bloque le Training pour protéger ses contenus des modèles d'IA peut, sans le vouloir, bloquer aussi Googlebot. Contrairement à une directive robots.txt (fichier indicatif que les crawlers peuvent choisir d'ignorer), un blocage Cloudflare opère au niveau du réseau et est donc bien plus difficile à contourner. Si Googlebot perd l'accès au site, l'exploration se dégrade, ce qui peut à terme affecter la visibilité dans les résultats de recherche.

Les sites utilisant Cloudflare ont donc intérêt à vérifier leurs paramètres de blocage IA avant le 15 septembre, et à décider explicitement s'ils souhaitent maintenir les crawlers Search autorisés. La règle sur les crawlers combinés concerne surtout ceux qui avaient activé « Block AI bots » par le passé et n'ont pas ajusté leurs réglages depuis.

De nouveaux signaux sur l'usage des contenus

Cloudflare teste par ailleurs un signal d'usage des contenus qui étend les « Content Signals » du robots.txt, avec trois valeurs, de la plus restrictive à la plus permissive :

• immediate : rien n'est stocké ;
• reference : indexation avec lien de retour vers la source (la nouvelle valeur par défaut) ;
• full : résumé et reproduction du contenu autorisés.

Cloudflare précise que ces signaux expriment une préférence mais ne bloquent rien par eux-mêmes. La définition de bot « vérifié » a également été revue : un bot vérifié n'est plus automatiquement autorisé partout, son accès dépend désormais de sa catégorie, et les bots qui reproduisent des contenus dans leur intégralité ne sont plus éligibles à la vérification. Un annuaire consultable, BotBase, est proposé aux utilisateurs d'Enterprise Bot Management pour visualiser la classification de chaque bot suivi.

Des chiffres qui expliquent le durcissement

Cette mise à jour s'accompagne d'un rapport de Cloudflare marquant le premier anniversaire du Content Independence Day. Selon ce rapport, l'entraînement des IA représente désormais la majorité des requêtes de crawlers sur son réseau, contre environ 20 % au printemps 2025. Les requêtes quotidiennes d'agents IA ont quant à elles augmenté de plus de 1 700 % sur un an. Ces statistiques reposent sur le trafic du réseau Cloudflare et ne représentent pas l'ensemble du web, mais elles illustrent l'explosion du crawl lié à l'IA.

Et maintenant ?

La suite dépendra en grande partie des grands opérateurs de crawlers : Cloudflare souhaite qu'ils séparent leurs bots par comportement dans l'année à venir. Si Google, Apple ou Microsoft distinguent réellement leurs robots de recherche de leurs robots d'entraînement, les éditeurs de sites disposeront d'un vrai choix. Dans le cas contraire, ils resteront face à un compromis inconfortable entre le blocage de l'entraînement des IA et le maintien de leur visibilité dans les moteurs de recherche.