llms.txt y robots.txt para IA: qué hace cada archivo y cómo configurarlos

En septiembre de 2025 hicimos un micro-training con Francisco A. Kemeny, cofundador y director de Kemeny Studio, que hace SEO desde 2002. A mitad de la sesión abrió en pantalla el robots.txt de su propio sitio, kemeny.studio, y lo recorrió bot por bot. Esa demo es la base de esta guía, que reemplaza a las dos que teníamos sobre llms.txt y políticas de bots.

Nuestra postura, para que no tengas que llegar al final: publica un llms.txt si te toma menos de una tarde, porque es barato y ordena tu contenido, pero no esperes que mueva tus citas. El archivo que sí decide si un asistente de IA puede leerte es el robots.txt, y ahí es donde vemos los errores caros.

Por dónde entra tu página a una respuesta de IA

Francisco partió con una aclaración técnica que cambia cómo se piensa el problema.

«El chatbot en sí no tiene un índice como conocemos en el mundo de Google.» — Francisco A. Kemeny, cofundador de Kemeny Studio [15:23]

Un modelo predice palabras a partir de lo que aprendió. Según Francisco, tu contenido le llega por tres caminos (minuto 11:29):

1. Entrenamiento: lo que el rastreador recogió antes de que se cerrara la versión del modelo. Es lo que ChatGPT "sabe" sin buscar.
2. RAG (retrieval augmented generation): el sistema trae texto al contexto y el modelo responde con eso más el prompt.
3. Tool calling: el asistente usa un buscador, lee la página de resultados y, en el caso de Perplexity, la búsqueda de ChatGPT o Gemini, entra a tu página y extrae el texto.

En el caso 1 manda el bot de entrenamiento. En los casos 2 y 3 mandan los bots de búsqueda y los que actúan cuando un usuario pide algo. Son user-agents distintos, y se permiten o bloquean por separado.

La prueba que puedes repetir hoy

En el webinar, Francisco le preguntó a ChatGPT, en modo instantáneo, quién es el presidente de Chile: el modelo salió a buscar por su cuenta. Después preguntó por el presidente de El Salvador pidiendo que no buscara, y respondió desde el entrenamiento, sin fuentes. Al pedirle información de las elecciones de El Salvador con búsqueda activada, las fuentes aparecieron en un orden muy parecido al de Google (minuto 25:13).

Hazlo con una pregunta de tu categoría. Si la respuesta sale sin fuentes, estás viendo el entrenamiento. Si sale con fuentes, estás viendo la búsqueda, y tu robots.txt define si tu sitio puede estar en esa lista.

Qué es llms.txt según la propuesta original

El llms.txt lo propuso Jeremy Howard, cofundador de Answer.AI, en septiembre de 2024, y la especificación vive en llmstxt.org. Es un archivo markdown en la raíz del dominio (tudominio.com/llms.txt) que resume el sitio y enlaza las páginas que un modelo debería leer, sin el ruido del HTML.

El formato es corto:

• Un H1 con el nombre del sitio. Es la única parte obligatoria.
• Un blockquote con el resumen.
• Párrafos o listas opcionales, sin encabezados.
• Secciones H2 con listas de links en la forma - [nombre](url): notas.
• Una sección llamada literalmente ## Optional, al final, con lo que un agente puede saltarse si necesita contexto corto.

Un ejemplo mínimo:

# SearchBrand

> Plataforma chilena que mide si ChatGPT, Gemini, Perplexity, Claude y AI Overviews mencionan y citan a una marca.

## Precios

- [Precios](https://searchbrand.ai/pricing): Planes Pro y Pro+ en USD más IVA, con factura en pesos chilenos

## Optional

- [Contacto](https://searchbrand.ai/es/contact): Agenda una demo con el equipo

El llms-full.txt que verás en sitios de documentación no está en la propuesta. Es una convención de herramientas de documentación: un solo archivo con todo el contenido en markdown. Anthropic publica ambos en sus docs, y Francisco lo mostró como ejemplo (minuto 45:25).

«No necesitas un plugin, no necesitas nada, solamente tienes que tener la estructura clara de tu sitio, reflejarla en una estructura markdown y dejarlo disponible en la raíz de tu sitio.» — Francisco A. Kemeny, cofundador de Kemeny Studio [45:25]

En la demo, kemeny.studio además enlaza el archivo con un <link> en el <head> y lo menciona en el robots.txt. Ninguna de las dos cosas es parte de la propuesta. No molestan, pero tampoco hay evidencia de que algún bot las lea.

Qué se sabe a septiembre de 2026 sobre si alguien lo usa

Aquí conviene separar publicar de consumir.

Publicarlo, lo publica mucha gente: documentación técnica, empresas de software y directorios como llmstxthub.com que los recopilan. Anthropic tiene uno en sus docs. Que un laboratorio publique su llms.txt dice que le sirve a sus usuarios para pegar documentación en un chat o en Cursor. No dice que sus rastreadores lo usen para elegir qué citar.

Consumirlo para rankear o citar, en cambio, no lo ha confirmado ningún proveedor grande. A la fecha de esta guía, ni OpenAI, ni Anthropic, ni Google, ni Perplexity, ni Microsoft han dicho públicamente que usen el llms.txt de un sitio para decidir si lo muestran o lo citan. En 2025, John Mueller, de Google, comparó el archivo con la antigua meta keywords. Francisco dijo lo mismo en el webinar: los grandes laboratorios no lo usan "oficialmente", entre comillas.

«Todavía esto es teoría y hay que empezar a ponerlo en la práctica.» — Francisco A. Kemeny, cofundador de Kemeny Studio [15:23]

Francisco contó que en clientes de Kemeny Studio que indexan documentación ven "un 20 % más de menciones", y más tráfico desde ChatGPT y Gemini en Analytics cuando conectan las preguntas frecuentes con las fichas de producto en el llms.txt. Él mismo advirtió que ese aumento puede venir del crecimiento general del uso de IA. Es un dato de consultora, sin metodología publicada: tómalo como hipótesis para probar en tu sitio.

robots.txt: el archivo que sí tiene efecto

El robots.txt es un estándar desde 2022 (RFC 9309) y los grandes operadores de IA documentan qué user-agent usan para cada propósito. Esta es la lista con la que trabaja el generador de más abajo. Revísala contra la documentación de cada empresa, porque cambia varias veces al año.

User-agent	Empresa	Para qué sirve	¿Respeta robots.txt?
GPTBot	OpenAI	Entrenamiento de modelos	Sí, declarado
OAI-SearchBot	OpenAI	Índice de la búsqueda de ChatGPT, para mostrar y citar sitios	Sí, declarado
ChatGPT-User	OpenAI	Lee una página cuando un usuario de ChatGPT o un GPT lo pide	OpenAI advierte que puede no aplicarse, por ser acción de una persona
ClaudeBot	Anthropic	Entrenamiento de modelos	Sí, declarado
Claude-SearchBot	Anthropic	Calidad de los resultados de búsqueda de Claude	Sí, declarado
Claude-User	Anthropic	Lee una página cuando un usuario de Claude lo pide	Sí, declarado
PerplexityBot	Perplexity	Índice de Perplexity para mostrar y enlazar sitios; dicen que no entrena modelos fundacionales	Sí, declarado
Perplexity-User	Perplexity	Lee una página cuando un usuario pregunta	Perplexity indica que en general no aplica robots.txt
Google-Extended	Google	Token, no rastrea: decide si lo que recoge Googlebot se usa para entrenar Gemini y para el grounding en la app Gemini	Sí. No controla Google Search, AI Overviews ni AI Mode
Applebot-Extended	Apple	Token, no rastrea: decide si lo que recoge Applebot entrena Apple Intelligence	Sí. No te saca de Siri ni Spotlight
CCBot	Common Crawl	Archivo abierto de la web que muchos laboratorios usan para entrenar	Sí, declarado
Bytespider	ByteDance	Entrenamiento de modelos de ByteDance	Hay reportes de CDN de que no siempre lo respeta
meta-externalagent	Meta	Entrenamiento de modelos de IA e indexación para productos de Meta	Sí, declarado; los fetch a pedido de usuario usan meta-externalfetcher

Dos cosas de esta tabla generan la mayoría de las confusiones que vemos. La primera: si bloqueas Google-Extended pensando en AI Overviews, no logras nada, porque AI Overviews y AI Mode usan Googlebot. Salir de ahí implica salir de Google. La segunda: GPTBot y OAI-SearchBot son independientes. Puedes negarte a entrenar a OpenAI y seguir apareciendo citado en ChatGPT.

«Si tú bloqueas al GPTBot de entrar a tu sitio, tu sitio no va a estar indexado en el contexto general del modelo.» — Francisco A. Kemeny, cofundador de Kemeny Studio [25:13]

Cuánto tarda en notarse

Para el entrenamiento, Francisco estimó entre seis meses y un año, porque el cambio se ve recién cuando sale la siguiente versión grande del modelo. Hussam lo matizó en la misma conversación: si dejas entrar al bot que navega, "ese tiempo podría ser mucho menor". Lo que entra por búsqueda puede aparecer en días o semanas.

El error del grupo más específico

Según la RFC 9309, cada bot obedece solo el grupo más específico que lo nombra. Si escribes User-agent: GPTBot con Allow: /, GPTBot ignora tu bloque User-agent: *, con sus Disallow: /admin y Disallow: /checkout. Lo vemos seguido: alguien "abre" el sitio a los bots de IA y sin querer les abre también el panel de administración. El generador repite las rutas privadas en cada grupo por esa razón.

Tu CDN puede contradecir tu robots.txt

Hussam Sufan, cofundador de SearchBrand y host del webinar, preguntó en vivo por Cloudflare (minuto 24:03). Desde julio de 2025, Cloudflare bloquea por defecto los crawlers de IA en dominios nuevos y ofrece cobrarles por rastrear. Tu robots.txt puede decir Allow: / y la CDN responder 403. Si tu sitio pasa por Cloudflare u otra CDN con protección de bots, revisa ese panel antes que cualquier archivo.

La política que recomendamos

Para una marca B2B o un e-commerce que quiere aparecer en respuestas de IA:

• Permite siempre los bots de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) y los de acción de usuario. Son los que generan citas con enlace.
• Permite los de entrenamiento salvo que tu contenido sea tu producto, como en un medio con muro de pago o una base de datos que vendes. En ese caso bloquea los siete de entrenamiento de la tabla, de GPTBot a meta-externalagent, y deja lo demás abierto.
• Nunca bloquees búsqueda y dejes entrenamiento abierto. Es entregar el contenido y quedarte sin la cita.

Genera y valida tus dos archivos

# SearchBrand

> Plataforma chilena que mide si ChatGPT, Gemini, Perplexity, Claude y AI Overviews mencionan y citan a una marca, y qué contenido le falta para aparecer.

## Producto y servicios

- [Cómo lograr que ChatGPT mencione tu marca](https://searchbrand.ai/es/chatgpt-mencione-marca): Qué mira ChatGPT al elegir marcas y cómo medir si te nombra

## Precios

- [Precios](https://searchbrand.ai/pricing): Planes Pro y Pro+ en USD más IVA, con factura en pesos chilenos

## Guías

- [Medir tráfico de IA en GA4](https://searchbrand.ai/es/blog/medir-trafico-ia-google-analytics-4): Cómo crear un canal de tráfico de IA en Google Analytics 4 paso a paso
- [Auditoría AEO y GEO](https://searchbrand.ai/es/blog/auditoria-aeo-geo-2025): Checklist para auditar la presencia de una marca en motores de respuesta
- [Share of voice en IA](https://searchbrand.ai/es/blog/share-of-voice-en-ias): Cómo calcular qué parte de las respuestas de IA menciona a tu marca

## Empresa

- [Contacto](https://searchbrand.ai/es/contact): Agenda una demo o escribe al equipo de SearchBrand en Santiago

# robots.txt generado con la matriz de crawlers de IA de SearchBrand (lista revisada 2026-06-30)
# Cada bot obedece solo el grupo más específico que lo nombra (RFC 9309): por eso las rutas privadas se repiten en cada grupo.

# Entrenamiento de modelos: permitidos
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
Disallow: /admin
Disallow: /app
Disallow: /api
Allow: /

# Búsqueda e índice de IA: permitidos
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin
Disallow: /app
Disallow: /api
Allow: /

# Acción a pedido del usuario: permitidos
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Disallow: /admin
Disallow: /app
Disallow: /api
Allow: /

# Resto de los bots (buscadores incluidos)
User-agent: *
Disallow: /admin
Disallow: /app
Disallow: /api
Allow: /

Sitemap: https://searchbrand.ai/sitemap.xml

# LLMs: https://searchbrand.ai/llms.txt

La herramienta arma el llms.txt con tus URLs reales y el robots.txt con la política que elijas por categoría. Si pegas un llms.txt existente, lo revisa contra el formato de llmstxt.org y le pone un puntaje. Corre entera en tu navegador: no enviamos tus archivos a ningún servidor. No puede comprobar si tus links dan 404, porque el navegador no deja leer otro dominio, así que si pegas tu sitemap te marca los links que no aparecen en él.

Si después quieres saber si esos cambios se notan en las respuestas de los asistentes, en SearchBrand puedes crear una cuenta con 10 créditos gratis, sin tarjeta y medir 10 preguntas fijas antes y después.

Caso: el llms.txt de SearchBrand, paso a paso

Antes de publicar esta guía auditamos el nuestro. El hallazgo no fue bonito: en nuestra auditoría técnica interna, el llms.txt de searchbrand.ai apuntaba a /es/blog/rss.xml, que no existe, y a /es/contacto/, cuando la ruta real es /es/contact. La última actualización era del 1 de diciembre de 2025. Nueve meses sin tocarlo, con dos links rotos, en el sitio de una empresa que vende visibilidad en IA.

Así lo estamos corrigiendo:

1. Revisamos el robots.txt contra la tabla de arriba: qué bots están permitidos en cada una de las tres categorías, y si la CDN bloquea alguno por defecto.
2. Pasamos el llms.txt por el validador. Una reconstrucción parcial del archivo viejo, con los dos links rotos, un link relativo y una sección llamada "Opcional", saca 75 de 100 y dos errores de formato. La versión generada con la herramienta saca 94.
3. Elegimos entre 15 y 30 URLs de valor: precios, la página sobre cómo lograr que ChatGPT mencione tu marca, la guía para medir tráfico de IA en GA4 (nuestra página no-marca con más clics del blog) y la auditoría AEO. El resto va a ## Optional o queda fuera.
4. Publicamos, referenciamos el archivo desde robots.txt y anotamos la fecha.
5. Medimos 30 días antes y 30 días después: visitas de los cinco bots que más nos importan (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot) en los logs de Netlify y Cloudflare, sesiones del canal de IA en GA4 y menciones de SearchBrand en 10 preguntas fijas.
6. Publicaremos el resultado con sus cifras en esta misma página, aunque salga neutro. Si el llms.txt no mueve nada, eso también sirve para decidir cuánto tiempo dedicarle.

Si tu sitio tiene miles de URLs

En el webinar, Fernando preguntó qué hace un banco o un retail con millones de productos: ¿hay que listar todo? La respuesta de Francisco fue destacar el contenido de valor y dejar fuera el resto (minuto 45:25).

«A medida que se agota la ventana de contexto del modelo, el modelo tiende a performar de manera decreciente.» — Francisco A. Kemeny, cofundador de Kemeny Studio [45:25]

Lo probamos con el validador y un sitemap de 15.000 productos, la cifra que usó Francisco para su ejemplo de e-commerce. El generador deja 30 URLs prioritarias y manda 14.970 a ## Optional. El archivo pasa de 50 KB, pierde 15 puntos por exceso de links y termina en 65. Mandar el catálogo a Optional no arregla el problema. Para un retail, lo razonable es listar categorías y guías de compra, las políticas de despacho y devolución, las preguntas frecuentes, más los 20 o 30 productos por los que más te preguntan.

Francisco también sugirió no hacerlo a mano: pídele a ChatGPT un primer borrador del llms.txt, o a Cursor un script que lea tu sitemap (minuto 49:11). Revisa el resultado con el validador antes de subirlo.

Cómo saber si sirvió

Nadie te va a avisar que tu llms.txt funcionó. Hay que medirlo con cuatro fuentes, de la más dura a la más blanda.

Logs del servidor. Filtra por user-agent y cuenta visitas de cada bot por semana. Si GPTBot descarga tu llms.txt, sabes que lo leyó, pero no que lo use para citarte.

Canal de IA en GA4. Francisco recomienda crear un canal de tráfico propio para la IA y compararlo con el de email o el de búsqueda orgánica, en vez de mirar solo el referral (minuto 40:48). Tenemos el paso a paso en cómo crear un canal de tráfico de IA en GA4.

Chat temporal. Para descartar que ChatGPT te responda por memoria de tus propias conversaciones, repite la pregunta en un chat temporal (minuto 42:01). Francisco lo llamó "la mejor prueba ácida".

Monitor diario. Francisco tiene una tarea programada en ChatGPT que revisa kemeny.studio todos los días y le dice si algo cambió. Durante mucho tiempo le respondió "no hay cambio"; después de algunos ajustes empezó a notar diferencias. Él lo resume como "prueba y error".

Para ver el cuadro completo de la marca, más allá de un archivo, sirve comprobar si tu contenido aparece en ChatGPT y calcular tu share of voice en las IA.

Lo que no recomendamos

• Comprar o instalar un plugin "de llms.txt" que promete posicionarte en ChatGPT. El archivo es texto plano, y ningún proveedor ha confirmado que lo use para citar.
• Citar el "70 % más de calidad de respuesta" que circula en LinkedIn. En el webinar se mencionó, y no encontramos un estudio que lo respalde.
• Bloquear Google-Extended para salir de AI Overviews. No funciona así.
• Meter tu catálogo completo en el llms.txt.
• Poner el llms.txt en español o en inglés esperando cambios. Ignacio Matus lo preguntó en el webinar; Francisco y Hussam creen que da lo mismo porque los modelos son multilingües, pero nadie lo ha medido. Escríbelo en el idioma de tus clientes.
• Tratar el llms.txt como sustituto del contenido. Francisco estima que el SEO técnico hace "el 20 % del trabajo" y que el 80 % restante es autoridad y relevancia, lo que Google llama E-E-A-T. Si tu sitio es una SPA sin prerender, arregla eso primero: la mayoría de los crawlers de IA no ejecuta JavaScript, y ningún archivo de texto compensa una página en blanco.

Si ya revisaste tus dos archivos y quieres el diagnóstico de todo el sitio, sigue con la auditoría AEO completa, o con la guía sobre cómo preparar tu contenido para motores de IA. Si lo que te preocupa es que un agente pueda comprar en tu sitio, está la de preparar tu sitio para agentes que compran. Y cuando tengas los archivos arriba, mide las 10 preguntas en SearchBrand: en la cuenta gratuita tienes 10 créditos, sin tarjeta.