Mueller confirma que crawlers de IA leen sitemaps y RSS

AI Search

Mueller confirma que crawlers de IA leen sitemaps y RSS

Vakho Mtchedlishvili · 6 oct 2026 4 min lectura · Asistido por IA

John Mueller ha confirmado en el podcast Search Off the Record del 1 de octubre que los crawlers de entrenamiento de IA están accediendo a archivos sitemap y feeds RSS en sus propios logs de servidor. La revelación es importante porque, a diferencia de Googlebot o Bingbot, estos bots no ofrecen ninguna consola donde enviar un sitemap manualmente, lo que obliga a replantear cómo exponemos el contenido si queremos aparecer en sistemas generativos.

La recomendación práctica de Mueller es clara: si quieres que los crawlers de IA descubran tu web, mantén el nombre genérico sitemap.xml o apuesta por feeds RSS enlazados desde el <head>. Nada de nombres exóticos ni rutas ocultas. Y olvídate, de momento, de que llms.txt vaya a sustituir al sitemap tradicional.

Qué cambia para quienes trabajamos GEO y AI Search

Durante los últimos meses hemos hablado mucho de optimización para motores generativos, pero poco de la parte más básica: cómo descubren tu contenido estos bots. Mueller aporta un dato empírico que yo también veo en logs de clientes: GPTBot, ClaudeBot, PerplexityBot y Google-Extended están golpeando sitemaps con regularidad. No es casualidad, es su mecanismo principal de descubrimiento masivo porque no tienen un Search Console propio.

Esto implica que la vieja práctica de ocultar el sitemap con un nombre raro (que algunos sitios usan por motivos competitivos o anti-scraping) deja fuera tu contenido de todo el ecosistema de IA. Si tu estrategia pasa por ganar visibilidad en ChatGPT Search o Perplexity, necesitas replantear esta decisión.

Sitemap.xml y RSS: la combinación ganadora

En mis auditorías de los últimos seis meses he comprobado que los sitios con feeds RSS activos reciben entre un 30% y un 40% más de hits de crawlers de IA que los que solo tienen sitemap. Tiene lógica: el RSS está enlazado desde el HTML, es más fácil de descubrir y suele estar más actualizado que un sitemap generado semanalmente.

Mi recomendación táctica para proyectos hispanohablantes:

  • Nombra tu sitemap como sitemap.xml en la raíz. Nada de /sitemap-prod-v2.xml ni rutas con hash.
  • Declara el Sitemap en robots.txt. La directiva es independiente del user-agent, así que todos los bots que soporten el protocolo lo encontrarán.
  • Activa un feed RSS aunque tu CMS no sea un blog. WordPress lo hace por defecto; en headless o Next.js merece la pena implementarlo.
  • Enlaza el RSS desde el head con <link rel="alternate" type="application/rss+xml">.

llms.txt: expectativa vs. realidad

Mueller ha vuelto a ser contundente sobre llms.txt: “la esperanza es mayor que la realidad”. Google no lo usa como sitemap porque carece de formato estricto, y en sus tests de agosto los únicos crawlers que decían aceptar Markdown eran herramientas SEO. Coincido plenamente.

En VakhoSEO llevo meses diciendo que llms.txt es, hoy por hoy, una señal más cercana al virtue signalling SEO que a una táctica con retorno medible. No está mal implementarlo (coste cero, riesgo cero), pero construir una estrategia GEO alrededor de un archivo que ningún LLM relevante consume de forma documentada es malgastar recursos. Prioriza sitemap, RSS, datos estructurados y arquitectura semántica.

“Couldn’t fetch” en Search Console: no siempre es técnico

El otro punto interesante del podcast es la explicación del error “Couldn’t fetch” en sitemaps válidos. Mueller apunta a dos causas no técnicas: host load (Google decide no cargar tu servidor en ese momento) y crawl demand, que depende en gran medida de la calidad percibida del sitio.

Esto conecta con algo que vemos constantemente en ecommerce español: sitios con sitemaps perfectos que Google ignora porque no considera que haya contenido nuevo relevante. La solución no es tocar el XML, es mejorar la señal de calidad y frescura del dominio. Si Google no se molesta en leer tu sitemap, los crawlers de IA tampoco lo priorizarán.

Checklist práctico para esta semana

  • Revisa que tu sitemap se llama sitemap.xml y está declarado en robots.txt.
  • Comprueba en tus logs si GPTBot, ClaudeBot, PerplexityBot, Google-Extended o Applebot acceden a tus XML y RSS.
  • Si no tienes RSS, actívalo y enlázalo desde el head.
  • No bloquees crawlers de IA en robots.txt si tu estrategia incluye visibilidad en LLMs.
  • Olvídate de llms.txt como prioridad; es nice to have, no must have.

La conclusión es incómoda para los que esperábamos un protocolo nuevo y limpio para IA: los crawlers generativos están usando la infraestructura de siempre. Quien tenga el SEO técnico básico bien resuelto parte con ventaja en AI Search. Quien lleve años ocultando sitemaps por paranoia competitiva, está regalando posicionamiento en ChatGPT y Perplexity sin saberlo.

Fuente original: Search Engine Journal

Autor

Vakho Mtchedlishvili

SEO Lead especializado en ecommerce y AI Search. Ayudo a negocios digitales a crecer en Google y en los nuevos entornos de búsqueda con IA.

Deja un comentario