GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot: ¿qué robots de IA dejar entrar?
Cada empresa de IA envía varios robots, para usos distintos. Rechazarlos todos por principio suele significar desaparecer de las respuestas sin quererlo. Así se distinguen.
Dos familias: responder y entrenar
Algunos robots leen tu sitio para responder a una pregunta hecha ahora: si los rechazas, el asistente no puede citarte. Otros leen para reunir los datos de entrenamiento de los próximos modelos: rechazarlos es una elección legítima, sin efecto en las respuestas de hoy. Los dos llevan nombres parecidos, de ahí los errores.
Los que leen para responder:
OAI-SearchBotClaude-SearchBotClaude-UserPerplexityBotGoogle-Extended
Los que leen para entrenar:
GPTBotClaudeBotApplebot-ExtendedCCBot
Google-Extended es aparte: Google lo usa para entrenar Gemini, y también para fundamentar sus respuestas. Rechazarlo te saca de las respuestas de Gemini; no afecta a tu posición en la búsqueda de Google.
Lo que respetan
Revisado el 5 de octubre de 2026 en la documentación de cada empresa: OAI-SearchBot, GPTBot, ClaudeBot, Claude-User, Claude-SearchBot y PerplexityBot respetan tu robots.txt. ChatGPT-User y Perplexity-User, que van a buscar una página porque un usuario la ha pedido, dicen ignorarlo: un bloqueo no los detiene.
Un sitio que cierra la puerta sin saberlo
Un robots.txt puede rechazar a los robots de IA sin que el propietario lo haya decidido nunca: una línea añadida por un plugin, un tema, un proveedor, o por un ajuste de Cloudflare que escribe él mismo reglas contra los robots de entrenamiento. Desde julio de 2025, Cloudflare también bloquea por defecto robots de IA en su cortafuegos, en los dominios nuevos: ese bloqueo no se lee en robots.txt.
Cada vez que leemos tu sitio, volvemos a leer tu robots.txt robot por robot. Si se rechaza a los robots que leen para responder, te lo decimos al principio de la página Por mejorar de tu panel; si son los que entrenan, lo anotamos como una elección posible, no como un fallo. Un bloqueo en el cortafuegos, invisible en el archivo, se nos escapa.
Una regla que deja responder y rechaza el entrenamiento
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /Los robots que leen para responder quedan entonces bajo la regla general, que los deja entrar. Comprueba que ningún otro grupo del archivo los nombre para rechazarlos.