Gestión de bots IA: por qué las block lists ya no bastan
Durante años, gestionar bots en SEO era binario: permitir o bloquear. Ese modelo, nunca perfecto, era suficiente cuando solo existían Googlebot, Bingbot y un puñado de crawlers reconocibles. Con la llegada de la búsqueda generativa, los bots de entrenamiento, los retrieval bots y los agentes autónomos, ese enfoque se ha quedado obsoleto. Chris Green lo ha planteado con claridad esta semana en Search Engine Journal, y creo que es una de las conversaciones más importantes que el SEO técnico debe afrontar en los próximos doce meses.
El problema no es solo técnico. Bloquear a GPTBot no es lo mismo que bloquear a OAI-SearchBot. Impedir el acceso a ClaudeBot no tiene las mismas consecuencias que bloquear a Claude-User cuando actúa como agente iniciado por un humano. Cada decisión tiene un impacto directo en visibilidad, en citabilidad dentro de AI Overviews, ChatGPT Search o Perplexity, y en la capacidad de aparecer en respuestas generativas. Y la mayoría de equipos SEO hispanohablantes todavía trabajan con un robots.txt heredado de hace cinco años.
Cuatro tipos de bots, cuatro decisiones distintas
La taxonomía que manejamos ya no cabe en dos columnas. Hoy conviven en nuestros logs al menos cuatro categorías que requieren criterios diferenciados:
- Crawlers de búsqueda tradicional: Googlebot, Bingbot. Indexación clásica. Aquí no hay debate.
- Crawlers de entrenamiento de modelos: GPTBot, ClaudeBot, Google-Extended, CCBot. Su contenido alimenta modelos que podrían no citarte nunca.
- Retrieval bots o search bots de IA: OAI-SearchBot, PerplexityBot, Bingbot cuando sirve a Copilot. Son los que te hacen aparecer en respuestas generativas con enlace.
- Agentes autónomos y user-initiated fetches: ChatGPT Agent, Claude-User, Operator. Navegan como usuarios reales, disparan analytics y son casi indistinguibles de tráfico humano.
Bloquear a un retrieval bot equivale a desaparecer de la respuesta. Bloquear a un agente autónomo que compara productos puede significar perder una conversión directa sin saber jamás que existió la oportunidad.
Robots.txt es voluntario, el CDN manda
Uno de los puntos que Green subraya y que en España se infravalora: el cumplimiento real de tus políticas no ocurre en robots.txt, ocurre en Cloudflare, Akamai, AWS WAF o DataDome. He auditado proyectos donde el SEO permitía explícitamente a OAI-SearchBot y el equipo de seguridad lo estaba bloqueando a nivel de WAF con una regla genérica anti-scraping. Resultado: cero presencia en ChatGPT Search y nadie en la empresa sabía por qué.
Cloudflare activó en julio de 2025 el bloqueo por defecto de crawlers de IA para nuevos clientes, y su programa Pay Per Crawl ha empezado a monetizar accesos. Si no auditas tu configuración de CDN con la misma frecuencia con la que revisas tu robots.txt, estás volando a ciegas.
El problema de los agentes: ya no distingues humano de bot
Los agentes autónomos complican el análisis de tráfico de una forma que todavía no hemos digerido. Un agente lanzado por un usuario para comparar precios de hoteles en Booking o Despegar ejecuta JavaScript, acepta cookies, dispara eventos de GA4 y puede incluso completar formularios. Tu analítica lo cuenta como sesión humana. Tu tasa de conversión se ensucia. Y si lo bloqueas, pierdes la recomendación que ese agente iba a hacer a su usuario final.
Para ecommerce es un escenario especialmente delicado. Un agente que evalúa tu ficha de producto frente a la de un competidor necesita acceder a precio, stock, reseñas y datos estructurados. Si tu bot mitigation lo frena en el challenge de Cloudflare, el agente simplemente recomendará al competidor.
De block list a política de bots: cómo abordarlo
Lo que propongo a los equipos con los que trabajo es dejar de pensar en listas y empezar a construir una política documentada. Un marco mínimo viable incluye:
- Inventario mensual de user-agents cruzando logs del servidor con informes del CDN. No confíes en uno solo.
- Matriz de decisión por bot: permitir, limitar (rate limit), condicionar (verificación por IP firmada) o bloquear. Con justificación comercial, no técnica.
- Alineación entre SEO, ingeniería, seguridad y legal. La decisión sobre Google-Extended no la puede tomar un SEO en solitario, porque tiene implicaciones de propiedad intelectual.
- Revisión trimestral. El ecosistema cambia cada pocas semanas: Anthropic, OpenAI y Google lanzan nuevos user-agents constantemente.
- Monitorización de citabilidad en AI Overviews, ChatGPT, Perplexity y Gemini como KPI. Si bloqueas un retrieval bot y caes en citas, lo verás antes.
Qué hacer esta semana
No hace falta rediseñar la estrategia completa de un día para otro, pero sí dar tres pasos concretos antes de cerrar noviembre:
Primero, exporta los logs de los últimos 30 días y clasifica los user-agents de IA que te están visitando. Probablemente encuentres bots que ni sabías que existían. Segundo, pide al equipo de infraestructura la configuración actual del CDN y del WAF respecto a bots de IA y compárala con tu robots.txt. Las contradicciones son la norma, no la excepción. Tercero, define qué bots quieres que te citen y asegúrate de que tengan acceso limpio: OAI-SearchBot, PerplexityBot y Google-Extended son los mínimos razonables para la mayoría de proyectos en español.
La gestión de bots ha dejado de ser una tarea de mantenimiento para convertirse en una decisión estratégica. Quien siga tratándola como un copy-paste de block lists de Github perderá visibilidad en el canal que más va a crecer en 2027. Y esta vez no habrá manera de culpar al algoritmo.
Fuente original: Search Engine Journal
Autor
Vakho Mtchedlishvili
SEO Lead especializado en ecommerce y AI Search. Ayudo a negocios digitales a crecer en Google y en los nuevos entornos de búsqueda con IA.