Le robots.txt est un fichier texte placé à la racine d’un site web qui indique aux robots d’exploration, ceux des moteurs de recherche notamment, les parties du site qu’ils peuvent ou non parcourir.
Il applique le protocole d’exclusion des robots, défini en 1994 par Martijn Koster et normalisé par l’IETF dans la RFC 9309 en septembre 2022. Le fichier porte ce nom exact, en minuscules, et se trouve au premier niveau de l’adresse du site. Il doit être encodé en UTF-8. Avant de parcourir un site, un crawler qui respecte le protocole le lit et suit les règles qui le concernent. Le fichier ne vaut que pour l’hôte, le protocole et le port où il est publié : chaque sous-domaine a besoin du sien.
Le contenu s’organise en groupes. Chaque groupe commence par une ou plusieurs lignes User-agent, qui désignent un robot par son identifiant de user agent, ou tous les robots par un astérisque. Viennent ensuite des règles Disallow, qui interdisent un chemin, et Allow, qui créent une exception. Un robot sans groupe propre applique le groupe générique. Le fichier peut aussi indiquer, par une ligne Sitemap, l’adresse complète du sitemap du site.
Le robots.txt agit sur l’exploration, pas sur l’indexation. Une adresse interdite peut apparaître dans les résultats si d’autres pages y renvoient. Pour exclure une page des résultats, l’outil prévu est la balise noindex. Le fichier n’est pas non plus une protection : la RFC 9309 précise que ses règles ne sont pas une forme d’autorisation d’accès. Il relève du SEO technique et sert à orienter les robots, à ménager le serveur et, aussi, à encadrer la collecte de contenus par les robots liés à l’intelligence artificielle.
Peu de fichiers d’un site ont autant d’effet pour si peu de texte. Une seule ligne peut interdire l’exploration de toutes les pages. Notre position : le robots.txt est d’abord une question de gouvernance, avant d’être une question de syntaxe. Nous recommandons de lui désigner un responsable, de conserver l’historique de ses versions et de faire valider toute modification par la personne chargée du référencement.
La RFC 9309 (IETF, 2022) règle les cas d’erreur. Si le fichier renvoie une erreur 4xx, le robot peut considérer qu’aucune restriction ne s’applique. S’il renvoie une erreur 5xx, le robot doit supposer que tout le site est interdit. La norme demande aussi de ne pas garder une version en cache plus de 24 heures, sauf si le fichier est inaccessible.
La documentation de Google Search Central sur l’interprétation du robots.txt (2026) précise son propre comportement. Le moteur suit au moins cinq redirections pour atteindre le fichier. Il ne lit que les 500 premiers kibioctets. En cas d’erreur serveur, il cesse d’explorer le site pendant les 12 premières heures, puis utilise pendant 30 jours la dernière version valide qu’il a en cache. Il ne prend pas en charge la règle Crawl-delay.
Le fichier sert désormais à encadrer la réutilisation des contenus par l’IA générative. Exemple : selon la liste des robots d’exploration courants de Google (2026), le jeton Google-Extended permet à un éditeur de gérer l’usage de ses contenus pour entraîner les futurs modèles Gemini et pour l’ancrage des réponses. Le même document précise que ce jeton n’a d’effet ni sur la présence du site dans la recherche Google ni sur son classement.
Nous recommandons de traiter cette question comme une décision marketing, robot par robot, et non de copier un fichier type. Bloquer un robot qui respecte le protocole limite la réutilisation des contenus, mais peut réduire la présence de la marque dans les réponses des assistants. C’est l’enjeu du GEO.
En assistance à maîtrise d’ouvrage, Advalians coordonne vos développeurs, vos agences et vos équipes internes tout au long de votre refonte de site.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
Le robots.txt indique aux robots ce qu’ils peuvent parcourir ; le sitemap leur liste les pages que vous souhaitez voir explorées. Le premier restreint, le second signale. Les deux se complètent : la ligne Sitemap du robots.txt donne l’adresse complète du sitemap.
Vérifiez leur cohérence à chaque mise à jour. Une adresse présente dans le sitemap mais interdite dans le robots.txt envoie deux consignes contradictoires. Retirez du sitemap toute adresse bloquée, ou levez le blocage si la page doit être explorée.
Rédigez un fichier texte encodé en UTF-8, nommé robots.txt en minuscules, et publiez-le à la racine du site, directement après le nom de domaine. Écrivez un groupe par robot visé, en commençant par une ligne User-agent, puis les lignes Disallow et Allow utiles.
Ajoutez une ligne Sitemap avec l’adresse complète de votre sitemap. Commencez par le minimum : un fichier sans interdiction laisse tout explorer. Avant publication, testez chaque règle sur une liste d’adresses à bloquer et à laisser ouvertes. Prévoyez un fichier distinct pour chaque sous-domaine.
Contrôlez d’abord que l’adresse du fichier répond avec un code 200 et affiche le contenu attendu. Attendez ensuite au moins une journée : la norme admet une mise en cache jusqu’à 24 heures.
Consultez enfin, dans l’outil que le moteur met à disposition des éditeurs, la liste des pages signalées comme bloquées par le robots.txt. Comparez-la à votre inventaire de pages stratégiques : toute page importante bloquée est un incident à corriger. Répétez ce contrôle après chaque mise en production du site.
Tout dépend du type d’erreur. Selon la RFC 9309, une erreur 4xx, comme une page introuvable, autorise le robot à tout explorer. Une erreur 5xx, côté serveur, l’oblige à considérer tout le site comme interdit.
Le second cas est le plus dangereux : dès les premières heures, l’exploration du site peut s’arrêter. Les moteurs appliquent ensuite leurs propres délais, souvent avec la dernière version valide du fichier. Surveillez donc son code de réponse comme celui d’une page stratégique, avec une alerte automatique. Lors d’une migration, vérifiez que le fichier reste accessible à la nouvelle adresse.
Cela dépend de votre objectif. Bloquez-les si vos contenus constituent votre valeur commerciale, par exemple une base payante ou des données exclusives. Laissez-les explorer si vous cherchez à être cité par les assistants conversationnels.
Décidez robot par robot : chaque éditeur publie l’identifiant de ses robots et précise l’usage qu’il en fait. Distinguez les robots d’entraînement des robots qui alimentent les réponses en temps réel. Rappelez-vous enfin que le fichier reste une demande : un robot qui ne respecte pas le protocole n’en tiendra pas compte.
