Vous voulez savoir quels robots d'IA peuvent lire votre site aujourd'hui ? Nous vérifions votre robots.txt et l'accès réel des robots à vos pages lors d'un audit gratuit.
Qu'est-ce que le fichier llms.txt ?
Le fichier llms.txt est un fichier texte au format Markdown, publié à l'adresse /llms.txt d'un site, qui présente ce site en quelques lignes et liste ses pages les plus utiles pour un modèle de langage. Il a été proposé le 3 septembre 2024 par Jeremy Howard, dans un billet du blog d'Answer.AI et sur le site llmstxt.org.
Une page web est faite pour des humains, avec ses menus et ses scripts ; un assistant qui la lit perd du temps à la démêler. Le llms.txt lui offre un point d'entrée propre : un résumé, puis des liens commentés, idéalement vers des versions Markdown des pages.
La proposition a été révisée en août 2026. Cette version 2 précise qu'un llms.txt placé dans un sous-dossier couvre les pages de ce dossier, et recommande deux relations de lien : rel="alternate" type="text/markdown" vers la version Markdown d'une page, et rel="describedby" vers le llms.txt qui la couvre.
Selon son auteur, le fichier sert surtout au moment de la réponse, quand un agent cherche une information pour un utilisateur, plutôt qu'à l'entraînement ; il est d'abord utilisé pour la documentation technique.
Ce que llms.txt n'est pas
Le llms.txt n'est ni un standard, ni un outil de contrôle d'accès, ni un signal de classement pour Google. C'est une proposition ouverte, portée par une personne, qu'aucun organisme de normalisation n'a adoptée. Il ne dit rien de ce qu'un robot a le droit de lire : ce rôle revient au fichier robots.txt, qui, lui, est normalisé.
Le robots.txt est en effet décrit depuis septembre 2022 par la RFC 9309 de l'IETF, et Google, OpenAI, Anthropic ou Perplexity documentent la façon dont leurs robots l'appliquent. Le llms.txt ne remplace pas non plus vos données structurées JSON-LD, qui décrivent chaque page dans le vocabulaire Schema.org que Google lit.
| Acteur | Position publique | Source |
|---|---|---|
| Google Search | N'utilise pas les fichiers llms.txt. En publier un ne nuit ni n'aide dans la recherche Google, fonctions d'IA comprises. | Guide Google Search Central sur l'IA générative, mai 2026 |
| Chrome Lighthouse | Un audit de « navigation agentique » cherche /llms.txt. Une absence (erreur 404) est classée « non applicable », le fichier étant facultatif. | Documentation Lighthouse |
| OpenAI, Anthropic, Perplexity | Publient un llms.txt pour leur documentation technique. Leurs pages consacrées aux robots n'en font pas un critère pour leurs moteurs. | Pages robots de chaque éditeur |
| Mintlify, GitBook, Yoast SEO, AIOSEO, Wix | Génèrent le fichier, souvent automatiquement, pour les sites qu'ils servent ou équipent. | llmstxt.org, rubrique Intégrations |
Le fichier est donc lu par certains agents, surtout dans le logiciel, mais à notre connaissance aucun grand moteur de réponse n'a annoncé s'en servir pour choisir ses sources.
Notre expérience depuis juillet 2026
Nous publions un fichier /llms.txt, écrit et tenu à la main, et un /llms-full.txt plus complet depuis juillet 2026. À ce jour, nous n'avons mesuré aucun effet que l'on puisse attribuer à ces fichiers. Nous les gardons parce qu'ils coûtent peu, et parce qu'ils nous obligent à résumer clairement ce que fait l'agence.
Notre llms.txt suit la structure de la proposition : un titre, un résumé qui dit qui nous sommes, où et pour qui, puis des sections de liens commentés. Nos mises à jour sont signalées par IndexNow, et notre robots.txt autorise explicitement les robots d'OpenAI, d'Anthropic et de Perplexity, ainsi que Google-Extended, Applebot-Extended, CCBot et Bingbot.
Pourquoi aucun effet ? Un fichier s'isole mal parmi tout ce qui change sur un site en quelques mois, et Google, le moteur qui compte le plus pour une PME, dit l'ignorer. Nous préférons l'écrire que vous vendre un levier que nous ne savons pas démontrer.
Chez EveryMiss, le gros du travail était ailleurs
Pour EveryMiss, boutique en ligne que son secteur prive de publicité, nous avons concentré le travail sur ce que les moteurs lisent effectivement : un texte et une FAQ en données structurées sur 137 collections, avec une réponse directe en première phrase, 539 liens internes au lieu d'une trentaine, et 1 909 adresses soumises à Bing. Résultat publié : 4 759 clics Google en 90 jours, du 6 juillet au 3 octobre 2026, sans publicité. La boutique publie aussi un llms.txt, mais il n'aurait remplacé aucun de ces chantiers.
Comment écrire un llms.txt, avec un exemple
Un llms.txt conforme ne demande qu'un titre de niveau 1 ; tout le reste est facultatif mais utile. L'ordre prévu est le suivant : le nom du site, un résumé en citation, éventuellement quelques précisions, puis des sections titrées qui listent des liens commentés.
- Un titre
#avec le nom de votre entreprise : la seule partie obligatoire. - Un résumé en citation (
>) : qui vous êtes, ce que vous faites, où, et comment vous joindre. - Des sections
##qui listent vos pages : un lien Markdown[nom](adresse), puis éventuellement deux-points et une courte note. - Une section « Optional » pour les liens secondaires, qu'un agent pressé peut laisser de côté.
- Un test : donnez le fichier seul à un assistant et posez-lui des questions sur votre entreprise, comme le recommande la proposition.
Voici un exemple court, inspiré de notre propre fichier :
# AppBelgium
> Agence digitale à Etterbeek (Bruxelles) : SEO local, Google Ads, sites web et automatisation IA pour PME belges. Contact : info@appbelgium.com.
## Services
- [SEO local à Bruxelles](https://appbelgium.com/seo-local-bruxelles/): fiche Google, pages par commune, données structurées
- [Tarifs](https://appbelgium.com/tarifs/): fourchettes publiées des quatre services
## Guides
- [Être cité par Perplexity](https://appbelgium.com/blog/referencement-perplexity-belgique/): robots, contenu, suivi des citations
## Optional
- [Plan du site](https://appbelgium.com/plan-du-site/)Gardez le fichier court : la proposition veut qu'il tienne dans le contexte d'un modèle, le détail restant derrière les liens. Mettez-le à jour quand vos pages principales changent. Sur WordPress, Yoast SEO et AIOSEO savent le générer, et Wix le produit pour chaque site : relisez toujours un fichier généré.
Et le llms-full.txt ? Il ne figure pas dans la proposition. C'est une convention diffusée par des plateformes de documentation comme Mintlify : le llms.txt sert de sommaire, le llms-full.txt rassemble tout le contenu en un seul fichier.
Robots d'entraînement et robots de recherche : la vraie décision
Les éditeurs d'IA séparent désormais les robots qui collectent du contenu pour entraîner leurs modèles et ceux qui alimentent leurs moteurs de recherche. Vous pouvez refuser les premiers et accepter les seconds, sans perdre votre place dans les réponses de recherche qui citent leurs sources.
| Éditeur | Entraînement des modèles | Recherche et citations | Visites demandées par un utilisateur |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot : sans lui, pas de place dans les réponses de recherche de ChatGPT, hors simples liens de navigation | ChatGPT-User : robots.txt peut ne pas s'appliquer |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User : se règle dans robots.txt |
| Perplexity | Aucun robot dédié : PerplexityBot ne sert pas à entraîner des modèles | PerplexityBot | Perplexity-User : ignore généralement robots.txt |
| Google-Extended : jeton robots.txt pour l'entraînement de Gemini et l'ancrage des réponses des applications Gemini, sans effet sur Google Search | Googlebot : la recherche, aperçus IA et mode IA compris | Non traité ici |
Chez Google, Google-Extended n'a aucun effet sur votre présence dans Google Search, aperçus IA compris : pour vous retirer de ces derniers, il faut le réglage de la Search Console présenté dans notre guide AI Overviews et AI Mode. Et Google rappelle que les sites qui autorisent explicitement Google-Extended peuvent apparaître, et recevoir des clics, dans les réponses ancrées des applications Gemini.
Un signal commun se prépare : le 30 octobre 2026, Google a annoncé vouloir prendre en charge en 2027 une règle robots.txt partagée entre fournisseurs d'IA pour refuser l'entraînement, fondée sur les travaux du groupe AIPREF de l'IETF (jeton __usage_ai-training). D'ici là, utilisez les jetons de chaque éditeur.
Les règles robots.txt que nous conseillons
Pour une PME qui veut être citée, autorisez au minimum les robots de recherche : Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot et PerplexityBot. Les robots d'entraînement relèvent d'un choix d'entreprise. Les refuser ne change rien à Google Search ni aux réponses de recherche de ChatGPT, Claude ou Perplexity ; seul Google-Extended touche aussi aux réponses des applications Gemini.
Profil 1 : tout ouvert, notre choix
User-agent: *
Allow: /
Disallow: /admin/
Sitemap: https://www.votre-site.be/sitemap.xmlAvec un seul groupe *, tous les robots suivent les mêmes règles, robots d'entraînement compris. C'est le plus simple, et c'est notre politique pour appbelgium.com, où chaque robot d'IA est en plus nommé dans un groupe qui reprend les mêmes Disallow (voir le premier piège ci-dessous).
Profil 2 : visible dans les moteurs de réponse, sans entraînement
User-agent: *
Allow: /
Disallow: /admin/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /
Sitemap: https://www.votre-site.be/sitemap.xmlIci, les robots d'entraînement d'OpenAI, d'Anthropic et de Common Crawl (une archive ouverte du web, devenue l'une des principales sources d'entraînement des modèles de langage selon une étude de la Fondation Mozilla) reçoivent un refus, comme le jeton Google-Extended. Tous les autres robots, dont OAI-SearchBot, Claude-SearchBot et PerplexityBot, suivent le groupe *.
Trois pièges à éviter
- Un groupe nommé remplace le groupe
*. Un robot qui trouve un groupe à son nom ignore les règles générales, comme le précise la documentation de Google et le prévoit la RFC 9309. Recopiez vos Disallow dans chaque groupe nommé. Nous sommes tombés dedans : jusqu'en novembre 2026, notre propre robots.txt donnait à chaque robot d'IA un groupe à son nom réduit àAllow: /, si bien que ces robots ignoraient les exclusions de notre groupe*. Ils partagent désormais un seul groupe, qui reprend les mêmesDisallow. - Le robots.txt est une demande, pas un verrou. Les visites déclenchées par un utilisateur, comme ChatGPT-User ou Perplexity-User, peuvent ne pas le respecter. À l'inverse, un pare-feu peut bloquer un robot que votre fichier autorise : depuis juillet 2025, Cloudflare demande à chaque nouveau domaine s'il laisse passer les robots d'IA, avec le blocage comme choix par défaut.
- Bloquer et désindexer en même temps. Une page bloquée dans robots.txt ne peut plus être lue, donc Google ne voit pas sa directive noindex. Laissez-la accessible avec son noindex jusqu'à la désindexation : c'est la règle que nous appliquons chez nous.
Pour un premier contrôle, notre audit SEO gratuit en ligne vérifie que votre robots.txt répond et déclare un sitemap ; notre guide de l'audit SEO technique détaille les autres contrôles d'exploration.
Coût et bénéfice : faut-il le créer ?
Créez-le si votre site sert de documentation à des développeurs, ou si votre outil le génère sans effort. Dans les autres cas, attendez d'avoir réglé les fondamentaux. Le coût est faible, un fichier texte à écrire puis à tenir à jour ; le bénéfice, lui, est nul dans Google selon Google lui-même, et non démontré publiquement ailleurs.
| Situation | Notre conseil | Pourquoi |
|---|---|---|
| Site vitrine de PME (artisan, cabinet, commerce bruxellois) | Facultatif, après la fiche Google, les pages de service et le robots.txt | Google l'ignore, et vos clients vous trouvent d'abord par Google et Maps |
| Site WordPress avec Yoast SEO ou AIOSEO, ou site Wix | Activez-le si l'outil le propose, puis relisez-le | Coût presque nul, mais un fichier généré peut lister des pages sans intérêt |
| Boutique en ligne | Secondaire : priorité aux fiches produits, aux collections et au Merchant Center | Google recommande le Merchant Center pour figurer dans ses réponses IA, pas le llms.txt |
| Documentation technique, API, logiciel SaaS | Oui, avec des versions Markdown des pages | C'est l'usage pour lequel le fichier a été conçu |
Notre avis, après plusieurs mois : le llms.txt est un pari à faible coût, pas un levier. Si votre temps est compté, consacrez-le d'abord à vos pages principales, à vos entités (voyez le SEO sémantique) et à votre robots.txt ; nos guides pour être cité par Perplexity et sur le GEO listent ce qui compte davantage. Pour déléguer, c'est le quotidien de notre accompagnement d'agence SEO à Bruxelles.
Questions fréquentes
À quoi sert un fichier llms.txt ?
Il sert à présenter un site aux modèles de langage et aux agents d'IA : un résumé, puis une liste de liens commentés vers les pages utiles, idéalement en version Markdown. Il est surtout lu quand un agent cherche une information pour un utilisateur, notamment dans la documentation technique. Google Search, lui, ne l'utilise pas.
Comment créer un fichier llms.txt ?
Créez un fichier texte nommé llms.txt, écrit en Markdown : un titre avec le nom du site, un résumé en citation, puis des sections de liens commentés. Déposez-le à la racine du site. Sur WordPress, Yoast SEO et AIOSEO peuvent le générer, et Wix le produit automatiquement ; relisez toujours un fichier généré.
Le fichier llms.txt vaut-il la peine ?
Pour un site de documentation technique, oui. Pour une PME, c'est un pari à faible coût : Google Search l'ignore, et à notre connaissance aucun grand moteur de réponse n'a annoncé s'en servir pour choisir ses sources. Sur appbelgium.com, où il est publié depuis juillet 2026, nous n'avons mesuré aucun effet attribuable.
Où placer le fichier llms.txt ?
À la racine du site, à l'adresse votre-site.be/llms.txt. Il peut aussi se placer dans un sous-dossier, par exemple /docs/llms.txt : la version 2 de la proposition, publiée en août 2026, précise qu'il couvre alors les pages de ce dossier et que le fichier le plus précis s'applique.
Quelle différence entre robots.txt et llms.txt ?
Le robots.txt dit aux robots ce qu'ils peuvent explorer : il est normalisé par la RFC 9309 et appliqué par les grands robots de recherche. Le llms.txt ne bloque ni n'autorise rien, c'est un sommaire commenté destiné aux modèles de langage. Seul le robots.txt décide de l'accès à vos pages.
Qu'est-ce que Google-Extended ?
Google-Extended est un jeton à utiliser dans robots.txt, sans robot distinct. Il permet de refuser que le contenu exploré par Google serve à entraîner les modèles Gemini et à ancrer les réponses des applications Gemini et de Vertex AI. Il n'a aucun effet sur votre présence dans Google Search, ni sur votre classement.
Faut-il un llms-full.txt en plus du llms.txt ?
Ce n'est pas nécessaire. Le llms-full.txt ne fait pas partie de la proposition : c'est une convention de plateformes de documentation, qui rassemble tout le contenu en un seul fichier, utile pour une documentation volumineuse. Nous en publions un par cohérence, sans effet mesuré ; pour un site de PME, le sommaire suffit.
Ouvrir votre site aux bons robots
AppBelgium relit votre robots.txt et vos pages principales, teste l'accès des robots à votre site, puis vous dit quels robots laisser entrer selon vos objectifs. Demandez un audit gratuit.
Sources
- llmstxt.org : la proposition llms.txt (Jeremy Howard, 2024, version 2 en août 2026)
- Google Search Central : optimiser son site pour les fonctions d'IA générative (mai 2026)
- OpenAI : présentation des robots d'exploration
- Anthropic : robots d'exploration et blocage
- Perplexity : robots d'exploration
- Google : robots d'exploration courants, dont Google-Extended
