GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot : quels robots IA laisser entrer ?
Chaque éditeur d’IA envoie plusieurs robots, pour des usages différents. Les refuser tous par principe, c’est souvent disparaître des réponses sans le vouloir. Voici comment les distinguer.
Deux familles : répondre et entraîner
Certains robots lisent votre site pour répondre à une question posée maintenant : si vous les refusez, l’assistant ne peut pas vous citer. D’autres lisent pour constituer les données d’entraînement des prochains modèles : les refuser est un choix légitime, sans effet sur les réponses d’aujourd’hui. Les deux portent des noms proches, d’où les erreurs.
Ceux qui lisent pour répondre :
OAI-SearchBotClaude-SearchBotClaude-UserPerplexityBotGoogle-Extended
Ceux qui lisent pour entraîner :
GPTBotClaudeBotApplebot-ExtendedCCBot
Google-Extended est à part : Google s’en sert pour entraîner Gemini, mais aussi pour fonder ses réponses. Le refuser vous retire des réponses de Gemini ; il ne touche pas à votre classement dans la recherche Google.
Ce qu’ils respectent
Relu le 5 octobre 2026 dans la documentation de chaque éditeur : OAI-SearchBot, GPTBot, ClaudeBot, Claude-User, Claude-SearchBot et PerplexityBot respectent votre robots.txt. ChatGPT-User et Perplexity-User, qui vont chercher une page parce qu’un utilisateur l’a demandée, disent l’ignorer : un blocage ne les arrête pas.
Un site qui ferme la porte sans le savoir
Un robots.txt peut refuser les robots d’IA sans que le propriétaire l’ait jamais décidé : une ligne ajoutée par une extension, un thème, un prestataire, ou par un réglage de Cloudflare qui écrit lui-même des règles contre les robots d’entraînement. Depuis juillet 2025, Cloudflare bloque aussi par défaut des robots d’IA à son pare-feu, sur les nouveaux domaines : ce blocage-là ne se lit pas dans robots.txt.
À chaque fois que nous lisons votre site, nous relisons votre robots.txt robot par robot. Si les robots qui lisent pour répondre sont refusés, nous vous le disons en tête de la page À améliorer de votre tableau de bord ; si ce sont ceux qui entraînent, nous le notons comme un choix possible, pas comme une faute. Un blocage au pare-feu, invisible dans le fichier, nous échappe.
Une règle qui laisse répondre et refuse l’entraînement
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /Les robots qui lisent pour répondre tombent alors sous la règle générale, qui les laisse entrer. Vérifiez qu’aucun autre groupe du fichier ne les nomme pour les refuser.