Experimentación SEO e inteligencia artificial
llms.txt y Markdown: He preparado mis sitios para LLM, sin saber aún qué cambios supondrá.
Los archivos llms.txt ofrecen una nueva forma de presentar un sitio web a los modelos de lenguaje. Los estoy probando con documentos Markdown estructurados, sin tener certeza sobre su adopción ni sus efectos reales.
Introducción
Los archivos Llms.txt están empezando a aparecer en el directorio raíz de algunos sitios web. Su propósito es presentar el contenido del sitio web en un formato más fácil de usar para los modelos de lenguaje.
Decidí probar este enfoque en Etchenet y en varios sitios que administro, aunque con mucha cautela: todavía no es un estándar web oficial ni una técnica SEO nueva garantizada.
Una nueva forma de presentar un sitio web a la inteligencia artificial.
Los sitios web llevan mucho tiempo utilizando diversos archivos y lenguajes de marcado para comunicarse con los motores de búsqueda.
El archivo robots.txt indica a los robots qué partes de un sitio web pueden rastrear. El mapa del sitio enumera las URL disponibles. Los datos estructurados proporcionan información adicional sobre la naturaleza del contenido.
Con el desarrollo de asistentes basados en grandes modelos lingüísticos, surge una nueva pregunta: ¿podemos proporcionarles una versión más clara, concisa y fácil de interpretar de un sitio web?
Ese es precisamente el propósito del archivo llms.txt.
¿Qué es el archivo llms.txt?
El archivo llms.txt es una convención propuesta, publicada en 2024, cuyo objetivo es colocar un documento estructurado en Markdown en la raíz de un sitio web.
Su dirección normalmente tiene esta forma:
https://exemple.com/llms.txtEl archivo presenta brevemente el sitio y, a continuación, ofrece una selección organizada de enlaces a los recursos más importantes. Puede incluir, en particular, las páginas principales, la documentación, los servicios, información práctica o contenido secundario.
La propuesta sugiere una estructura simple: un título principal, una breve introducción y, a continuación, diferentes secciones con enlaces y descripciones. Una sección denominada "Opcional" permite agrupar recursos secundarios que el modelo puede ignorar para limitar la cantidad de contexto utilizado.
La idea, por lo tanto, no es reproducir el sitio web completo en este archivo, sino proporcionar una especie de resumen editorial destinado a modelos de lenguaje y agentes capaces de consultarlo.
Esto aún no es un estándar oficial.
La palabra "estándar" se usa a menudo con demasiada prisa al referirse a llms.txt.
En realidad, sigue siendo una propuesta abierta. Su formato está documentado y varias herramientas o sitios web han comenzado a adoptarlo, pero su uso no está regulado por ningún estándar web general.
No hay garantía de que un asistente o un robot de inteligencia artificial busque automáticamente este archivo al visitar un dominio.
Algunos sistemas podrán utilizarlo. Otros podrían ignorarlo por completo. Su adopción real dependerá de los desarrolladores de plantillas, los navegadores de agentes y los servicios que finalmente decidan admitir esta convención.
Por lo tanto, llms.txt debe considerarse un experimento técnico, y no una solución que proporcione de inmediato una mejor visibilidad en las respuestas producidas por la inteligencia artificial.
El archivo llms.txt no está destinado a la indexación de Google.
También es importante no presentar llms.txt como un nuevo truco de SEO para Google.
Google afirma que su motor de búsqueda no realiza ningún procesamiento especial sobre el archivo llms.txt. Por lo tanto, su presencia no se considera actualmente un factor de clasificación en la Búsqueda de Google.
Google puede, técnicamente, descubrir e indexar diferentes tipos de archivos, pero eso no significa que le otorgue a llms.txt un papel especial.
Por lo tanto, este archivo no reemplaza a:
- Contenido original y útil; ;
- una estructura HTML correctamente organizada; ;
- un mapa del sitio XML; ;
- un archivo robots.txt; ;
- datos estructurados; ;
- enlaces internos; ;
- rendimiento técnico; ;
- las prácticas habituales de referenciación natural.
Para Google, las buenas prácticas clásicas de SEO siguen siendo una prioridad: producir contenido útil, original y accesible que se adapte a las necesidades reales de los usuarios de internet.
¿Por qué añadir también un archivo Markdown?
En Etchenet, no limité el experimento únicamente al archivo llms.txt.
También he preparado un documento Markdown más completo:
https://etchenet.com/etchenet.mdLa diferencia entre los dos archivos es significativa.
El archivo llms.txt es breve. Presenta el sitio y dirige al modelo a los recursos esenciales.
El archivo etchenet.md contiene, en un documento estructurado, la información pública y útil relativa a la actividad:
- Presentación de Etchenet; ;
- los servicios ofrecidos; ;
- las categorías de clientes atendidos; ;
- el área de intervención; ;
- acuerdos laborales; ;
- las tarifas publicadas; ;
- datos de contacto profesionales; ;
- las páginas legales; ;
- los principales recursos; ;
- un directorio de artículos con su tema y dirección.
Markdown permite eliminar gran parte del ruido presente en una página web clásica: menús, scripts, bloques visuales, botones, elementos decorativos o estructuras de temas complejas.
La propuesta llms.txt también fomenta la provisión de versiones limpias en formato Markdown para las páginas cuyo contenido pueda ser útil para los modelos de lenguaje.
En mi caso, el archivo Markdown principal sirve como una hoja de referencia consolidada para todo el sitio web.
Lo que espero lograr
El objetivo no es manipular las respuestas de las inteligencias artificiales ni imponerles un mensaje comercial.
Se trata más bien de proporcionarles una fuente:
- claramente identificado; ;
- estructurado; ;
- legible sin necesidad de interpretar la maquetación completa del sitio; ;
- limitado a información pública; ;
- Enlaces a las páginas oficiales; ;
- más fácil de actualizar y verificar.
En teoría, este enfoque podría reducir cierta confusión.
Por ejemplo, un documento de referencia puede especificar que Etchenet es una actividad de creación y gestión de sitios web ubicada en Hendaya, distinguir el dominio etchenet.com de otros sitios con un nombre similar e indicar qué páginas deben considerarse fuentes oficiales.
Pero esto es solo una hipótesis de trabajo. Por ahora, no puedo asegurar que la presencia de estos archivos vaya a cambiar la forma en que los asistentes principales presentan los sitios web en cuestión.
Una experiencia aplicada a varios sitios
Decidí aplicar gradualmente este método a varios proyectos con actividades diferentes.
En Etchenet, el archivo debe presentar servicios de creación, mantenimiento, visibilidad online y soporte digital para sitios web.
En RenovaWeb, debe describir principalmente los servicios de rediseño y optimización de sitios web profesionales.
En Xploravans, debería permitirse una clara distinción entre la actividad de alquiler de vehículos, las fichas informativas de los vehículos, las condiciones de alquiler y los recursos dedicados a los viajes.
Por lo tanto, cada sitio tiene su propio archivo llms.txt y un documento Markdown adaptado a su contenido. El objetivo no es generar automáticamente el mismo texto para todos los dominios.
¿Cómo medimos los resultados?
Una de las ventajas de este experimento será precisamente observar qué sucede con el paso del tiempo.
En concreto, podré controlar:
- si los robots o agentes acceden a los archivos; ;
- la frecuencia de accesos en los registros del servidor; ;
- las herramientas o identificadores técnicos que generaron estas solicitudes; ;
- la posible aparición de visitas de asistentes de inteligencia artificial; ;
- la forma en que los diferentes modelos describen los sitios antes y después de la implementación; ;
- su capacidad para encontrar servicios importantes, datos de contacto e información; ;
- cualquier error o confusión restante.
Estas observaciones no constituirán un estudio científico. Sin embargo, nos permitirán verificar si este enfoque produce efectos concretos en sitios web profesionales pequeños.
Se trata de una configuración de bajo riesgo, pero que requiere mantenimiento.
La creación de estos archivos sigue siendo relativamente sencilla y no altera el funcionamiento visible del sitio.
El principal riesgo es que la información quede obsoleta.
Un archivo Markdown que mencione un precio antiguo, un servicio descontinuado, un vehículo que ya no está disponible o una dirección obsoleta puede transmitir información inexacta a los sistemas que lo utilizan.
Por lo tanto, estos documentos deben considerarse contenido auténtico del sitio web y actualizarse cuando cambie información importante.
Deben contener únicamente datos públicos. Deben excluirse los identificadores técnicos, las claves de acceso, la información bancaria, los documentos internos y los datos personales no relacionados con la comunicación pública.
Experimenta sin vender certezas.
El archivo llms.txt es una idea interesante porque aborda un problema real: los sitios web están diseñados para visualizarse en un navegador, pero no necesariamente para ser interpretados de manera eficiente por un modelo de lenguaje.
Markdown puede proporcionar una representación más directa y estructurada de su contenido.
Sin embargo, esto no basta para convertirlo en un estándar universal ni para garantizar su visibilidad.
Así pues, opté por implementar esta solución como suelo hacer con las nuevas técnicas relacionadas con la web, el SEO y la inteligencia artificial: probando, observando y evitando presentar como cierto lo que aún no lo es.
Publicaré los resultados observados en los distintos lugares implicados, incluso si el experimento no produce ningún efecto medible.
De eso se trata también la experimentación: probar una solución prometedora, documentar cómo funciona y luego comprobar si la realidad confirma las expectativas.