Expérimentation SEO et intelligence artificielle
llms.txt et Markdown : j’ai préparé mes sites pour les LLM, sans savoir encore ce que cela changera
Les fichiers llms.txt proposent une nouvelle manière de présenter un site aux modèles de langage. Je les teste avec des documents Markdown structurés, sans certitude sur leur adoption ni sur leurs effets réels.
Introduction
Les fichiers llms.txt commencent à apparaître à la racine de certains sites internet. Leur objectif est de présenter le contenu d’un site sous une forme plus facile à exploiter par les modèles de langage.
J’ai décidé de tester cette approche sur Etchenet et sur plusieurs sites que je gère, tout en restant très prudent : il ne s’agit encore ni d’un standard officiel du Web ni d’une nouvelle technique de référencement garantie.
Une nouvelle façon de présenter un site aux intelligences artificielles
Depuis longtemps, les sites internet utilisent différents fichiers et balisages pour communiquer avec les moteurs de recherche.
Le fichier robots.txt indique aux robots quelles parties d’un site ils peuvent explorer. Le sitemap répertorie les URL disponibles. Les données structurées apportent des informations supplémentaires sur la nature des contenus.
Avec le développement des assistants fondés sur de grands modèles de langage, une nouvelle question se pose : peut-on leur fournir une version plus claire, plus concise et plus facile à interpréter d’un site internet ?
C’est précisément l’objectif du fichier llms.txt.
Qu’est-ce que le fichier llms.txt ?
Le fichier llms.txt est une proposition de convention, publiée en 2024, visant à placer à la racine d’un site un document structuré en Markdown.
Son adresse prend normalement cette forme :
https://exemple.com/llms.txtLe fichier présente brièvement le site, puis fournit une sélection organisée de liens vers les ressources les plus importantes. Il peut notamment indiquer les pages principales, la documentation, les services, les informations pratiques ou les contenus secondaires.
La proposition prévoit une structure simple : un titre principal, une courte présentation, puis différentes sections contenant des liens accompagnés d’une description. Une section nommée Optional peut regrouper les ressources secondaires qu’un modèle peut ignorer lorsqu’il doit limiter la quantité de contexte utilisée.
L’idée n’est donc pas de reproduire tout le site dans ce fichier, mais de fournir une sorte de sommaire éditorial destiné aux modèles de langage et aux agents capables de le consulter.
Ce n’est pas encore un standard officiel
Le mot « standard » est souvent utilisé un peu rapidement à propos de llms.txt.
En réalité, il s’agit encore d’une proposition ouverte. Son format est documenté et plusieurs outils ou sites ont commencé à l’adopter, mais son utilisation n’est imposée par aucune norme générale du Web.
Rien ne garantit qu’un assistant ou un robot d’intelligence artificielle cherchera automatiquement ce fichier lorsqu’il visitera un domaine.
Certains systèmes pourront l’utiliser. D’autres pourront l’ignorer complètement. Son adoption réelle dépendra des éditeurs de modèles, des navigateurs agents et des services qui décideront éventuellement de prendre en charge cette convention.
Il faut donc considérer llms.txt comme une expérimentation technique, et non comme une solution assurant immédiatement une meilleure visibilité dans les réponses produites par les intelligences artificielles.
llms.txt n’est pas destiné au référencement Google
Il est également important de ne pas présenter llms.txt comme une nouvelle astuce SEO pour Google.
Google indique que son moteur de recherche ne prévoit pas de traitement particulier du fichier llms.txt. Sa présence ne constitue donc pas, à ce jour, un facteur de classement connu dans Google Search.
Google peut techniquement découvrir et indexer différents types de fichiers, mais cela ne signifie pas qu’il accorde un rôle particulier à llms.txt.
Ce fichier ne remplace donc ni :
- un contenu original et utile ;
- une structure HTML correctement organisée ;
- un sitemap XML ;
- un fichier robots.txt ;
- les données structurées ;
- les liens internes ;
- les performances techniques ;
- les pratiques habituelles de référencement naturel.
Pour Google, les bonnes pratiques SEO classiques restent prioritaires : produire des contenus utiles, originaux, accessibles et adaptés aux besoins réels des internautes.
Pourquoi ajouter également un fichier Markdown ?
Sur Etchenet, je n’ai pas limité l’expérience au seul fichier llms.txt.
J’ai également préparé un document Markdown plus complet :
https://etchenet.com/etchenet.mdLa différence entre les deux fichiers est importante.
Le fichier llms.txt reste court. Il présente le site et oriente le modèle vers les ressources essentielles.
Le fichier etchenet.md reprend, dans un document structuré, les informations publiques et utiles concernant l’activité :
- la présentation d’Etchenet ;
- les services proposés ;
- les catégories de clients accompagnées ;
- la zone d’intervention ;
- les modalités de travail ;
- les tarifs publiés ;
- les coordonnées professionnelles ;
- les pages légales ;
- les ressources principales ;
- un répertoire des articles avec leur sujet et leur adresse.
Le Markdown permet de supprimer une grande partie du bruit présent dans une page web classique : menus, scripts, blocs visuels, boutons, éléments décoratifs ou structures complexes du thème.
La proposition llms.txt encourage d’ailleurs la mise à disposition de versions Markdown propres pour les pages dont le contenu peut être utile aux modèles de langage.
Dans mon cas, le fichier Markdown principal sert de fiche de référence consolidée sur l’ensemble du site.
Ce que j’espère obtenir
L’objectif n’est pas de manipuler les réponses des intelligences artificielles ni de leur imposer un discours commercial.
Il s’agit plutôt de mettre à leur disposition une source :
- clairement identifiée ;
- structurée ;
- lisible sans interpréter toute la mise en page du site ;
- limitée aux informations publiques ;
- reliée aux pages officielles ;
- plus facile à actualiser et à vérifier.
Cette approche pourrait, en théorie, réduire certaines confusions.
Par exemple, un document de référence peut préciser qu’Etchenet est une activité de création et de gestion de sites internet implantée à Hendaye, distinguer le domaine etchenet.com d’autres sites portant un nom proche et indiquer quelles pages doivent être considérées comme les sources officielles.
Mais il s’agit bien d’une hypothèse de travail. Pour l’instant, je ne peux pas affirmer que la présence de ces fichiers modifiera réellement la manière dont les principaux assistants présentent les sites concernés.
Une expérience appliquée à plusieurs sites
J’ai décidé d’appliquer progressivement cette méthode à plusieurs projets ayant des activités différentes.
Sur Etchenet, le fichier doit présenter des prestations de création de sites, de maintenance, de visibilité en ligne et d’assistance numérique.
Sur RenovaWeb, il doit principalement décrire les services de refonte et d’optimisation de sites professionnels.
Sur Xploravans, il doit permettre de distinguer clairement l’activité de location de véhicules, les fiches des véhicules, les conditions de location et les ressources consacrées aux voyages.
Chaque site dispose donc de son propre fichier llms.txt et d’un document Markdown adapté à son contenu. Il ne s’agit pas de générer automatiquement le même texte pour tous les domaines.
Comment mesurer les résultats ?
L’un des intérêts de cette expérimentation sera précisément d’observer ce qui se passe dans le temps.
Je vais notamment pouvoir contrôler :
- si des robots ou agents consultent les fichiers ;
- la fréquence des accès dans les journaux du serveur ;
- les outils ou identifiants techniques à l’origine de ces requêtes ;
- l’apparition éventuelle de visites provenant d’assistants d’intelligence artificielle ;
- la manière dont différents modèles décrivent les sites avant et après la mise en place ;
- leur capacité à retrouver les services, coordonnées et informations importantes ;
- les éventuelles erreurs ou confusions qui subsistent.
Ces observations ne constitueront pas une étude scientifique. Elles permettront néanmoins de vérifier si cette démarche produit des effets concrets sur de petits sites professionnels.
Une mise en place peu risquée, mais qui doit être entretenue
La création de ces fichiers reste relativement simple et n’altère pas le fonctionnement visible du site.
Le principal risque est de laisser vieillir les informations.
Un fichier Markdown qui mentionne un ancien tarif, un service supprimé, un véhicule qui n’est plus disponible ou une adresse obsolète peut transmettre des renseignements inexacts aux systèmes qui l’utilisent.
Ces documents doivent donc être considérés comme de véritables contenus du site et être mis à jour lorsque les informations importantes évoluent.
Ils ne doivent contenir que des données publiques. Les identifiants techniques, clés d’accès, informations bancaires, documents internes et données personnelles sans rapport avec la communication publique doivent en être exclus.
Expérimenter sans vendre de certitudes
Le fichier llms.txt est une idée intéressante parce qu’il répond à un problème réel : les sites internet sont conçus pour être affichés dans un navigateur, mais pas nécessairement pour être interprétés efficacement par un modèle de langage.
Le Markdown peut fournir une représentation plus directe et plus structurée de leur contenu.
Cela ne suffit toutefois pas à en faire une norme universelle ni une garantie de visibilité.
J’ai donc choisi de mettre cette solution en place comme je le fais régulièrement avec de nouvelles techniques liées au Web, au référencement et à l’intelligence artificielle : en testant, en observant et en évitant de présenter comme certain ce qui ne l’est pas encore.
Je publierai les résultats constatés sur les différents sites concernés, y compris si l’expérience ne produit aucun effet mesurable.
C’est aussi cela, l’expérimentation : essayer une solution prometteuse, documenter son fonctionnement et vérifier ensuite si la réalité confirme les attentes.