Faut-il bloquer les crawlers IA ? La méthode B2B pour arbitrer sans casser son SEO

Pourquoi la question du blocage des crawlers IA se pose maintenant

Les crawlers IA (robots d'exploration envoyés par les acteurs de l'intelligence artificielle pour lire le contenu des sites web) représentent une part croissante du trafic automatisé. Selon un rapport de Cloudflare (fournisseur d'infrastructure et de sécurité web utilisé par des millions de sites), le crawl destiné à l'entraînement des IA représente désormais la majorité des requêtes de robots observées sur son réseau, contre environ 20 % au printemps 2025. Sur la même période, les requêtes quotidiennes d'agents IA ont augmenté de plus de 1 700 %. Ces chiffres sont mesurés sur le réseau Cloudflare et ne représentent pas l'ensemble du web, mais ils donnent l'ordre de grandeur du phénomène.

Pour un site B2B, la question n'est donc plus théorique : ces bots consomment des ressources serveur, aspirent du contenu propriétaire, mais peuvent aussi devenir un canal de visibilité si les LLM (Large Language Models, les grands modèles de langage comme ChatGPT ou Gemini) citent votre marque dans leurs réponses. Bloquer ou autoriser sans distinction sont deux paris risqués.

Tous les crawlers IA ne se ressemblent pas : trois familles à distinguer

Le premier réflexe utile est de sortir de la catégorie fourre-tout « bots IA » pour raisonner par comportement. On distingue trois familles, que Cloudflare a d'ailleurs officialisées dans ses nouveaux contrôles.

Les bots d'entraînement (training)

Des robots comme GPTBot d'OpenAI parcourent le web pour alimenter l'entraînement des modèles. Leur objectif premier n'est pas de renvoyer du trafic vers votre site : ils collectent du contenu qui pourra ensuite servir à répondre aux utilisateurs sans générer de visite vers la source d'origine. Ce sont les crawlers les plus controversés, car le lien entre leur activité et une valeur business pour l'éditeur du site est difficile à établir.

Les bots d'indexation pour la recherche IA (search)

Des robots comme OAI-SearchBot d'OpenAI indexent les pages pour pouvoir les citer et les lier dans les résultats de recherche générés par les IA. Leur logique est proche de celle d'un moteur de recherche classique : ils ouvrent une voie plus directe vers la visibilité, le trafic de référence et la notoriété de marque, ce qui rend leur autorisation plus facile à justifier.

Les récupérations déclenchées par l'utilisateur (agents)

Des bots comme ChatGPT-User vont chercher une page à la demande, lorsqu'un utilisateur interroge l'IA sur un site ou un document précis. Ces requêtes traduisent un intérêt réel d'un utilisateur qui a déjà découvert votre marque et approfondit : c'est un signal précieux de progression dans le parcours d'achat, particulièrement pertinent en B2B.

Les risques d'un blocage total

Bloquer tous les bots IA revient à disparaître des réponses des LLM. Le trafic de référence envoyé par les IA reste aujourd'hui faible comparé aux moteurs de recherche traditionnels, ce qui peut rendre ce risque acceptable en apparence. Mais plusieurs éléments incitent à la prudence :

• Si votre marque n'est pas citée dans les réponses des IA, celle d'un concurrent le sera à votre place.
• Le paysage évolue vite : un blocage total aujourd'hui peut rendre le site fonctionnellement invisible si les LLM deviennent un canal de découverte majeur.
• Bloquer tous les crawlers IA supprime toute capacité de test et d'apprentissage : impossible de savoir quelles plateformes génèrent de la visibilité, citent correctement votre contenu ou deviendront des sources de trafic.

Les risques d'une ouverture totale

À l'inverse, laisser tous les bots IA accéder librement au site expose à deux risques bien réels :

• L'exploitation de la propriété intellectuelle : du contenu propriétaire peut être utilisé pour améliorer un modèle sans compensation ni attribution. Le risque est maximal quand l'avantage concurrentiel repose sur des informations ou des données uniques, que le LLM peut ensuite reconditionner et servir directement en réponse, sans visite vers le site d'origine.
• Les coûts de crawl : les crawlers IA peuvent consommer des ressources serveur significatives, avec des fréquences de requêtes souvent bien supérieures à celles des moteurs de recherche traditionnels, ce qui pèse sur la bande passante et la performance.

Le piège Cloudflare : quand bloquer l'IA bloque aussi Googlebot

Cloudflare a fait évoluer sa gestion des crawlers IA, avec des changements de comportement par défaut entrés en vigueur le 15 septembre. Deux points méritent une attention particulière pour les équipes SEO et infrastructure :

• Pour les nouveaux clients et les nouveaux sites, les crawlers d'entraînement et les agents sont bloqués par défaut sur les pages affichant de la publicité, tandis que les bots de recherche restent autorisés. Les clients gratuits existants qui n'ont pas modifié leurs réglages sont basculés vers ces nouveaux réglages par défaut.
• Cloudflare traite désormais les crawlers multi-usages selon la règle la plus stricte applicable. Concrètement, un robot qui fait à la fois de la recherche et de l'entraînement est bloqué si le site bloque l'entraînement. Or Googlebot, Applebot et Bingbot crawlent précisément pour les deux usages.

La conséquence est directe : un site qui active un blocage de l'entraînement IA pour protéger son contenu peut, sans le vouloir, bloquer aussi Googlebot. Et contrairement au fichier robots.txt (fichier d'instructions consultatives placé à la racine d'un site, que les robots peuvent choisir d'ignorer), un blocage Cloudflare opère au niveau réseau et est donc réellement contraignant. Perdre l'accès de Googlebot dégrade le crawl du site et peut, à terme, affecter sa visibilité dans les résultats de recherche. Les sites utilisant Cloudflare doivent donc auditer leurs réglages de blocage IA, en particulier ceux qui avaient activé l'ancien réglage « Block AI bots ».

Robots.txt ne suffit plus : les niveaux de blocage à connaître

OpenAI a mis à jour sa documentation : ChatGPT-User, son bot de récupération à la demande, ne s'engage plus à respecter le robots.txt. Perplexity-User se comporte de la même façon. Le robots.txt ne bloque donc de manière fiable que les crawlers d'entraînement et de recherche qui jouent le jeu. Pour le reste, il faut monter d'un niveau :

• Le blocage au niveau WAF : un WAF (Web Application Firewall, pare-feu applicatif placé devant le serveur) inspecte le trafic entrant et peut n'autoriser que certains bots, ou tout autoriser sauf une liste d'exclusion. Cloudflare et AWS en proposent. Dans les grandes organisations, les équipes infrastructure disposent généralement déjà d'un processus pour ajouter ou retirer des bots de ces listes.
• Les règles serveur : des règles ajoutées directement sur le serveur examinent les requêtes (origine automatisée, en-têtes manquants...) et refusent celles jugées non sûres selon les critères définis.

La méthode d'arbitrage : mesurer avant de trancher

Plutôt que d'appliquer une règle globale, une démarche structurée en quatre étapes permet d'arbitrer de façon robuste :

• 1. Auditer les logs serveur : identifier quels bots visitent réellement le site, à quelle fréquence, sur quelles pages, et quel coût en ressources ils représentent. Sans cet état des lieux, toute décision est aveugle.
• 2. Qualifier chaque bot par comportement : entraînement, indexation pour la recherche IA, ou récupération déclenchée par un utilisateur. La valeur potentielle et le risque diffèrent radicalement d'une famille à l'autre.
• 3. Mesurer la valeur avant de bloquer : suivre les citations de la marque dans les réponses des IA, le trafic de référence issu des plateformes IA et les conversions associées. Bloquer d'emblée supprime toute possibilité de mesurer ce que ces canaux apportent ou pourraient apporter.
• 4. Définir une politique différenciée : par exemple, autoriser les bots de recherche et les fetchs utilisateurs (qui portent la visibilité et traduisent un intérêt réel), et encadrer ou bloquer les bots d'entraînement sur les contenus les plus stratégiques, en vérifiant systématiquement les effets de bord sur Googlebot et les autres crawlers de recherche.

Cette politique doit être revue régulièrement : les comportements des bots, les engagements des opérateurs (respect ou non du robots.txt) et les réglages par défaut des solutions comme Cloudflare évoluent en permanence. Cloudflare demande d'ailleurs aux opérateurs de crawlers multi-usages de séparer leurs bots par comportement dans l'année à venir ; c'est ce qui déterminera si les sites peuvent réellement choisir entre bloquer l'entraînement IA et préserver leur visibilité en recherche, sans compromis forcé.