La balise disallow désigne, par abus de langage, la règle Disallow du fichier robots.txt, qui indique aux robots d’exploration les chemins d’un site qu’ils ne doivent pas parcourir.
Il ne s’agit pas d’une balise HTML mais d’une ligne de texte placée dans le fichier robots.txt, à la racine du site. Le protocole d’exclusion des robots, qui fixe sa syntaxe, a été normalisé par l’IETF dans la RFC 9309 en septembre 2022. Une règle Disallow s’inscrit dans un groupe qui commence par une ligne User-agent, désignant le robot visé ou tous les robots. Sa valeur est un chemin, par exemple « Disallow: /recherche/ ». Le robot d’indexation qui respecte le protocole n’explore alors aucune adresse commençant par ce chemin.
Plusieurs éléments en règlent la portée. Le chemin est en principe sensible à la casse. La règle Allow crée une exception à l’intérieur d’une zone interdite. Lorsque plusieurs règles s’appliquent à une même adresse, la plus spécifique, c’est-à-dire celle dont le chemin est le plus long, l’emporte. La RFC 9309 impose en outre la prise en charge de deux caractères spéciaux : l’astérisque pour toute suite de caractères et le dollar pour la fin d’une adresse. Tous les robots n’appliquent pas la norme à la lettre. Le fichier ne vaut que pour l’hôte, le protocole et le port où il est publié : un sous-domaine a besoin du sien.
La règle Disallow agit sur l’exploration, pas sur l’indexation. Une adresse interdite peut figurer dans les résultats, sans description, si d’autres pages y renvoient. Pour exclure une page des résultats, l’outil prévu est la balise noindex, qui suppose au contraire que la page reste explorable. La règle ne constitue pas non plus une protection d’accès : la RFC 9309 précise que ces règles ne sont pas une forme d’autorisation d’accès. Elle sert à orienter les robots vers les contenus utiles et à ménager les ressources du serveur.
La documentation de Google sur le robots.txt indique que ce fichier sert surtout à éviter de surcharger un site de requêtes, et qu’il n’est pas un moyen de tenir une page hors des résultats. Elle précise qu’une adresse bloquée peut être indexée si elle est liée depuis d’autres pages.
Nous en tirons une règle de conduite : une ligne Disallow répond à la question « où le robot perd-il son temps ? » et non à « que veut-on cacher ? ». Elle est utile pour les zones sans valeur dans un moteur : résultats de recherche interne, combinaisons de filtres, adresses à paramètres d’URL, répertoires techniques. Sur un gros site, elle aide à concentrer le budget de crawl sur les pages qui comptent.
Avant la mise en ligne, testez chaque règle sur une liste d’adresses représentatives : pages à garder ouvertes et pages à bloquer. Après la mise en ligne, tenez compte du délai : Google conserve en général le fichier en cache jusqu’à 24 heures.
Le rapport d’indexation des pages de la Google Search Console distingue deux statuts utiles. « URL bloquée par le fichier robots.txt » signale une page non indexée. « Indexée malgré le blocage par le fichier robots.txt » signale une page présente dans les résultats sans que le robot ait pu la lire. Nous recommandons de passer en revue ce second statut après chaque modification du fichier : il révèle souvent un usage de Disallow à la place d’un noindex.
Advalians défend vos intérêts du cadrage à l’adoption de votre nouveau site : besoin formalisé, prestataires choisis sur des critères explicites, budget tenu et usage mesuré.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
La règle Disallow interdit l’exploration d’une adresse ; la balise noindex interdit son affichage dans les résultats. Une page bloquée par Disallow peut donc apparaître dans un moteur, sans description, si d’autres sites la citent.
Choisissez selon l’objectif. Pour économiser l’exploration de zones sans intérêt, utilisez Disallow. Pour retirer une page des résultats, laissez-la explorable et posez noindex. N’appliquez pas les deux à la même adresse : le blocage empêche le robot de lire la directive noindex, qui reste alors sans effet.
Écrivez, dans le fichier robots.txt placé à la racine du site, un groupe User-agent suivi d’une ligne Disallow avec le chemin du répertoire, par exemple « Disallow: /panier/ ». La barre finale limite la règle au contenu du répertoire.
Vérifiez la casse du chemin, qui doit correspondre aux adresses réelles. Pour rouvrir une sous-partie, ajoutez une ligne Allow plus précise. Pour viser un type d’adresse, servez-vous de l’astérisque et du dollar, si les moteurs visés les acceptent. Testez enfin la règle sur une dizaine d’adresses représentatives avant de publier le fichier.
Contrôlez à deux moments. Avant publication, confrontez le fichier à une liste d’adresses à bloquer et à garder ouvertes, avec un outil de test de robots.txt. Toute page stratégique bloquée est un incident.
Après publication, attendez au moins une journée, délai de mise en cache habituel du fichier chez le principal moteur. Consultez ensuite le rapport d’indexation de la console pour webmasters : il liste les pages bloquées par le robots.txt et celles indexées malgré ce blocage. Comparez ces listes à votre inventaire et corrigez les écarts.
La plus grave est la ligne « Disallow: / » restée en place après le passage de la préproduction à la production. Elle interdit l’exploration de toutes les pages, et la visibilité du site se dégrade au fil des semaines.
Un fichier qui renvoie une erreur serveur a aussi un effet lourd : le principal moteur suspend alors l’exploration du site pendant plusieurs heures. Inscrivez le contrôle du fichier dans la liste de vérification de chaque mise en ligne, avec un responsable nommé. Surveillez aussi le code de réponse du fichier, qui doit rester 200.
Non. La RFC 9309 précise que ces règles ne sont pas une forme d’autorisation d’accès. Le fichier robots.txt est lisible par tous, et il désigne précisément les répertoires que vous mentionnez. Un robot malveillant peut en outre l’ignorer.
Pour un contenu confidentiel, exigez une authentification : mot de passe, espace client, adresse réservée au réseau interne. Utilisez Disallow seulement pour éviter que les robots ne parcourent des zones publiques sans intérêt, comme les résultats de recherche interne ou les combinaisons de filtres. Dans le doute, posez-vous une question : la page serait-elle gênante si quelqu’un la trouvait ?
Modèles, grilles et guides prêts à l’emploi pour vos projets marketing et communication.
