Bots de IA en 2026: cómo configurar robots.txt y Cloudflare para que ChatGPT te encuentre

Si las IAs no pueden leer tu web, no pueden recomendarla. Y muchas webs están bloqueando, sin saberlo, exactamente a los bots que deciden si tu marca aparece o no en ChatGPT, Perplexity y Google AI. Esta es la guía técnica completa para auditar y corregirlo en menos de una hora.

Quién es quién: los bots de IA en 2026

No todos los bots de IA hacen lo mismo, y diferenciarlos importa porque puedes querer permitir unos y bloquear otros. Estos son los actores reales que están rastreando tu web ahora mismo:

Bots de OpenAI (los de ChatGPT)

• GPTBot: rastrea contenido para entrenar futuros modelos. Si lo bloqueas, no entrenas a ChatGPT con tu contenido, pero no afecta a si ChatGPT te cita en respuestas en vivo.
• OAI-SearchBot: alimenta ChatGPT Search, la funcionalidad de búsqueda en tiempo real. Este es el crítico: si lo bloqueas, desapareces de las respuestas de ChatGPT cuando navega la web.
• ChatGPT-User: es el que actúa cuando un usuario te visita «a través» de ChatGPT (clic en una cita o pregunta directa con búsqueda activada).

Bot de Anthropic

• ClaudeBot: rastrea contenido para Claude. Tiene comportamiento similar a GPTBot en cuanto a entrenamiento.

Bot de Perplexity

• PerplexityBot: indexa contenido para responder consultas en Perplexity. Crítico.

Bot de Google para IA

• Google-Extended: NO es un crawler, es una directiva. Permite o bloquea que Google use tu contenido para entrenar Gemini y para los AI Overviews, sin afectar a la indexación normal en Google Search.

Otros relevantes

• Bytespider (ByteDance/TikTok): muy agresivo, suele convenir limitarlo si no te aporta tráfico.
• CCBot (Common Crawl): alimenta múltiples modelos de IA. Su rastreo es la fuente de datos de muchos proyectos.
• Meta-ExternalAgent: Meta lo usa para IA. Comportamiento similar.

Cómo saber si los estás bloqueando ahora

Tres comprobaciones rápidas:

1. Tu robots.txt: abre https://tudominio.com/robots.txt en el navegador. Si ves líneas tipo Disallow: / para User-agent: *, estás bloqueando a todos. Si no ves nada referente a los bots de arriba, probablemente están pasando, pero conviene declararlos explícitamente.
2. Tu WAF o firewall: si usas Cloudflare, Sucuri o similar, revisa si tienes reglas que bloqueen agentes de usuario poco comunes o que ejecuten «challenge» (CAPTCHA) a todo lo que no parezca un navegador. Estas reglas suelen pillar a los bots de IA por error.
3. Tu pop-up o muro: avisos de edad, consentimientos obligatorios o paywalls que ocultan el contenido antes de la aceptación. Para el bot equivale a una página vacía.

El robots.txt recomendado para 2026

Esta es la configuración que recomendamos por defecto a nuestros clientes: permite explícitamente a todos los bots de IA legítimos, mantiene la indexación normal y declara el sitemap.

# robots.txt — Permitir bots de IA y buscadores
User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

# Sitemap
Sitemap: https://tudominio.com/sitemap_index.xml

Si por estrategia editorial NO quieres ceder tu contenido para entrenar modelos (por ejemplo, una publicación con contenido de pago), puedes diferenciar: permite los bots de «búsqueda en vivo» (OAI-SearchBot, PerplexityBot) y bloquea los de «entrenamiento» (GPTBot, ClaudeBot, Google-Extended). En la práctica, para una web comercial recomendamos permitirlos todos: ser entrenado significa que tu marca aparece en datos de futuros modelos.

Las reglas de Cloudflare que importan

Si tu web está detrás de Cloudflare, el robots.txt no basta. Cloudflare tiene una capa de protección que puede bloquear bots aunque tu robots.txt los permita.

1. Activa el ajuste «Verified Bots»

En Cloudflare → Security → Bots → comprueba que la opción de pasar tráfico de «verified bots» está activada. Cloudflare mantiene una lista de bots oficiales (incluidos los de OpenAI, Perplexity y Anthropic) y los deja pasar si esta opción está ON.

2. Revisa tus reglas de WAF y Rate Limiting

Si tienes reglas personalizadas, asegúrate de añadir la condición cf.client.bot como excepción. Ejemplo de expresión de regla:

(not cf.client.bot) and (ip.geoip.country ne "ES") and (http.request.uri.path contains "/wp-")

Así protege tu admin de WordPress sin tocar a los bots verificados.

3. AI Audit / AI Crawl Control

Cloudflare lanzó en 2024-2025 un panel específico para gestionar bots de IA llamado AI Audit o AI Crawl Control, según versión. En Cloudflare → Bots o AI Audit, puedes:

• Ver qué bots de IA han accedido a tu web y con qué frecuencia.
• Permitir o bloquear cada uno con un clic.
• Configurar acceso de pago para crawlers de IA (Pay per Crawl, en beta).

Para una web que quiere maximizar visibilidad, permite explícitamente OpenAI, Anthropic, Perplexity y Google. Para grandes editoriales con contenido de pago, valorar negociaciones individuales.

4. El bug clásico: user-agent case-sensitive

Un fallo habitual al crear reglas WAF en Cloudflare es comprobar http.user_agent contains "gptbot" (minúsculas) cuando el bot envía GPTBot (con mayúsculas). Cloudflare distingue mayúsculas en contains. Usa siempre la versión correcta del nombre o el operador lower(http.user_agent) contains "gptbot".

Cómo verificar que los bots te están leyendo

No te fíes de que tu robots.txt es correcto: comprueba con datos reales:

1. Logs del servidor: filtra por user-agent. Si en los últimos 30 días no aparece ningún GPTBot, OAI-SearchBot o PerplexityBot, algo bloquea o tu contenido es invisible.
2. Cloudflare → Analytics → Bots: muestra desglose por bot.
3. Plesk / cPanel → AWStats o estadísticas web: incluyen normalmente listado de bots.

Si llevas robots.txt correcto, Cloudflare permitiendo bots y aun así no aparecen en los logs: comprueba que tu CDN o caché no está sirviéndoles respuestas vacías. Un Service Worker mal configurado o una caché que devuelve 503 a peticiones no-navegador es un error real que nos hemos encontrado en auditorías.

Preguntas frecuentes

¿Bloquear GPTBot perjudica mi SEO en Google?

No directamente. GPTBot es de OpenAI, no de Google. Lo que sí perjudica tu visibilidad en IA es bloquearlo o bloquear OAI-SearchBot.

¿Vale la pena el llms.txt?

A día de hoy no hay evidencia de impacto medible. Google ha confirmado que no lo usa, y los principales motores tampoco lo han adoptado oficialmente. Si tu web ya tiene buen schema markup, llms.txt aporta poco. Si partes de cero, no hace daño implementarlo (1-2 horas de trabajo, riesgo nulo), pero no es prioridad. Prioridad real: schema, contenido citable y acceso de bots.

¿Y si quiero cobrar a los bots de IA por rastrearme?

Cloudflare ha introducido «Pay per Crawl» en beta: permite negociar acceso por pago entre tu web y compañías de IA. Por ahora es relevante solo para editoriales con tráfico muy grande; para la mayoría de webs comerciales, lo rentable es facilitar acceso para ganar visibilidad.

¿Cómo bloqueo bots maliciosos sin afectar a los legítimos?

La diferencia clave es la verificación: los bots legítimos (OpenAI, Google, Perplexity) tienen rangos de IP públicos y user-agents declarados, y Cloudflare los identifica como «verified». Los scrapers maliciosos suelen rotar IPs, falsificar user-agents y no respetar robots.txt. La estrategia correcta es permitir verified bots, rate-limitar el resto y geofiltrar países sin relación con tu negocio.

¿Tu web está dejando pasar a los bots que importan?

Lo comprobamos en nuestra Auditoría de Visibilidad IA, junto con todo lo demás que afecta a que las IAs te recomienden. Escríbenos a [email protected] y te decimos en qué punto estás.