Robots.txt no bloquea el entrenamiento de IA, según Google
Gary Illyes, de Google, ha vuelto a poner el dedo en la llaga: el robots.txt no sirve para impedir que tu contenido entrene modelos de IA. Lo dijo esta semana en el segundo episodio de The Non-Canonical Cabinet, publicado en Search Central, y la aclaración tiene consecuencias directas para cualquiera que esté intentando blindar su sitio frente a crawlers generativos.
El matiz es importante porque muchos SEOs llevan meses añadiendo directivas inventadas al archivo pensando que así protegen su contenido. Spoiler: no funcionan. Según el RFC 9309, robots.txt es un protocolo de preferencia de acceso, no un contrato sobre lo que el crawler hace con los datos una vez descargados. Si quieres bloquear un bot de IA concreto, tienes que apuntar explícitamente a su user-agent. Punto.
Qué dijo exactamente Illyes y por qué importa
La pregunta del episodio era si robots.txt podía permitir el rastreo de un sitio y, a la vez, impedir que ese contenido se usara para entrenar modelos generativos. La respuesta de Illyes fue tajante: robots.txt “no dicta lo que un sistema hace con los datos después de haberlos rastreado”. Google solo reconoce cuatro elementos válidos en el archivo: User-Agent, Allow, Disallow y Sitemap. Cualquier línea inventada tipo No-AI-Training será ignorada por su parser.
El episodio incluso mostró en pantalla una directiva ficticia (No-AI-Chicken-Training) como ejemplo claro de lo que no funciona. Y aquí va mi lectura: durante el último año he visto decenas de auditorías con directivas creativas copiadas de hilos de Twitter o LinkedIn. No sirven de nada. Peor aún, dan una falsa sensación de control.
Google-Extended: el único control real para Gemini
El único token documentado por Google para limitar el uso de tu contenido en el entrenamiento de Gemini y en el grounding en Vertex AI es Google-Extended. No es un user-agent como tal (Google sigue rastreando con sus crawlers habituales), sino un token de control.
Lo relevante para la comunidad hispanohablante:
- No afecta a tu visibilidad en Google Search ni es señal de ranking.
- Controla el uso de tu contenido para entrenar futuros modelos de Gemini.
- También aplica al grounding en Gemini Apps y Grounding with Google Search en Vertex AI.
Si tu estrategia pasa por aparecer en AI Overviews pero no quieres alimentar el entrenamiento, Google-Extended es tu palanca. Lo que no existe —todavía— es una forma estándar de decir “sí al rastreo, no al entrenamiento” para todos los crawlers.
El borrador IETF que podría cambiar las reglas
Illyes es coautor, junto a Martin Thomson (Mozilla), de un borrador en el IETF que añadiría a robots.txt una regla Content-Usage y una cabecera HTTP equivalente. La idea: separar el “qué se puede rastrear” del “qué se puede hacer con lo rastreado”.
El ejemplo del borrador incluye un train-ai=n para expresar que no se autoriza el entrenamiento aunque sí el rastreo. Problemas:
- Sigue siendo un Working Group Document, sin consenso definitivo.
- La fecha prevista para enviarlo al IESG era agosto de 2026 y aún no ha ocurrido.
- El borrador actual expira el 20 de febrero de 2027 si no hay revisión.
- La etiqueta
train-aiaparece en un Vocabulary Draft separado que explícitamente dice que no refleja consenso.
Mi apuesta: hasta 2027 no veremos nada operativo. Mientras tanto, lo que tengas en robots.txt frente a bots de IA depende de que cada crawler decida respetarlo. Y spoiler número dos: muchos no lo hacen.
Codifica tus rutas no inglesas en percent-encoding
Cherry Prommawin, también de Google Search Relations, dio un consejo técnico muy relevante para el mercado hispanohablante: codifica en percent-encoding las rutas que contengan caracteres no ingleses o emojis.
Google parsea igual UTF-8 crudo y percent-encoded, pero “otros crawlers o crawlers más antiguos pueden confundirse”. Para sitios en español esto afecta a URLs con eñes, tildes o caracteres especiales. Si tienes rutas tipo /categoría/ o /diseño-gráfico/, la forma segura en robots.txt es:
/categor%C3%ADa//dise%C3%B1o-gr%C3%A1fico/
Para Google da igual. Para Bingbot, Yandex, Applebot o cualquier crawler de IA emergente, puede marcar la diferencia entre que respete tu directiva o la ignore por error de parseo.
Qué hacer hoy en tu estrategia SEO y GEO
Mi recomendación práctica, teniendo en cuenta el escenario actual:
- Elimina las directivas inventadas de tu robots.txt. No protegen nada y ensucian auditorías.
- Si quieres limitar Gemini, añade
User-agent: Google-ExtendedconDisallow: /. Mide después si tu visibilidad en AI Overviews cae (no debería, pero vigila). - Bloquea explícitamente user-agents concretos: GPTBot, ClaudeBot, PerplexityBot, CCBot, Amazonbot, Applebot-Extended, según tu criterio.
- Codifica en percent-encoding todas las rutas con caracteres no ASCII.
- No esperes a que el borrador IETF resuelva el problema. Hasta que se apruebe (si se aprueba), la única palanca legal real es el terms of service de tu web, no robots.txt.
El debate sobre contenido vs. entrenamiento de IA está lejos de cerrarse. Pero conviene actuar con información real, no con mitos de foros. Robots.txt es una señal de rastreo. Nada más. Y quien te diga lo contrario, probablemente nunca ha leído el RFC 9309.
Fuente original: Search Engine Journal
Autor
Vakho Mtchedlishvili
SEO Lead especializado en ecommerce y AI Search. Ayudo a negocios digitales a crecer en Google y en los nuevos entornos de búsqueda con IA.