La crawlabilité d’un site web désigne la facilité avec laquelle les robots des moteurs de recherche peuvent découvrir ses pages, y accéder et en lire le contenu en suivant ses liens et ses fichiers d’instructions.
Le terme est formé sur l’anglais crawl. On parle aussi d’explorabilité. Il décrit une propriété du site, et non une action du moteur. Le crawler part d’adresses connues, télécharge les pages, en extrait les liens et ajoute les nouvelles adresses à sa file d’attente. Tout ce qui interrompt cette chaîne réduit la crawlabilité.
Plusieurs facteurs la déterminent. Les liens internes doivent être lisibles par les robots, sous la forme de vrais liens HTML pointant vers une adresse. L’architecture doit garder les pages importantes à peu de clics de l’accueil. Le fichier robots.txt ne doit pas interdire par erreur des zones utiles. Le sitemap doit être tenu à jour. Le serveur doit répondre vite et de façon stable, avec des codes de réponse cohérents et sans chaînes de redirections. Les adresses, enfin, ne doivent pas se multiplier en variantes inutiles.
La crawlabilité précède l’indexabilité : une page explorable peut ne pas être retenue dans l’index, tandis que le contenu d’une page inexplorable ne peut pas être analysé. Elle se distingue du crawl, qui désigne l’exploration elle-même. Le terme est central dans les audits de SEO technique, les refontes et les migrations de site.
La crawlabilité se joue dès la conception du site. Les choix de navigation, de filtres, de pagination et de technologie d’affichage décident de ce que le robot pourra parcourir. Google Search Central (bonnes pratiques pour les liens, 2025) précise qu’il ne peut explorer un lien que s’il s’agit d’un élément HTML de lien doté d’un attribut href renvoyant à une adresse réelle. Un menu construit uniquement avec des événements JavaScript peut donc fonctionner pour le visiteur et rester opaque au robot. Nous recommandons d’inscrire cette exigence dans le cahier des charges de toute refonte.
Le budget de crawl Google est souvent invoqué à tort. Le guide de Google sur la gestion du budget d’exploration (2026) vise surtout trois profils : les sites de plus d’un million de pages uniques modifiées chaque semaine, ceux de plus de 10 000 pages modifiées chaque jour, et ceux dont une grande part des adresses est découverte mais non indexée. Google présente ces seuils comme des estimations. Pour un site de quelques centaines de pages, le sujet est rarement, selon nous, le volume d’exploration. C’est l’accès aux pages et leur maillage.
Le même guide signale ce qui gaspille l’exploration : adresses en double, pages d’erreur présentées comme valides (soft 404), longues chaînes de redirections, défilement infini qui reprend des contenus déjà liés ailleurs.
Ces indicateurs sont des repères internes que nous proposons, non des normes. Leur intérêt tient à leur évolution d’une mise en production à l’autre.
Advalians pilote votre projet web en mode AMOA : analyse des pratiques, évaluation des dispositifs, coordination des prestataires et restitution priorisée.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
La crawlabilité mesure la capacité du robot à atteindre et lire les pages. L’indexabilité porte sur la possibilité, pour une page lue, d’entrer dans l’index. La première conditionne la seconde, mais ne la garantit pas.
Une page peut être explorable et porter une directive noindex : elle sera lue puis écartée. À l’inverse, une page interdite dans robots.txt n’est pas lue. Pour diagnostiquer un problème, commencez par l’exploration, puis passez aux conditions du contenu indexable. Inverser l’ordre fait perdre du temps.
Commencez par les obstacles qui bloquent des zones entières : règles du fichier robots.txt, erreurs serveur, menus non lisibles par les robots. Corrigez ensuite le maillage interne pour rapprocher les pages stratégiques de l’accueil, idéalement à trois clics au plus (repère d’usage, non une règle).
Réduisez enfin le bruit : redirections en chaîne, adresses à paramètres, pages en double. Mettez à jour le sitemap pour qu’il ne contienne que des adresses valides et canoniques. Mesurez avant et après chaque lot de corrections.
Combinez deux sources. Une exploration simulée depuis l’accueil montre ce qu’un robot peut atteindre : comparez le nombre de pages trouvées au nombre de pages publiées. Les journaux du serveur montrent ce que les robots visitent réellement, et à quelle fréquence.
Suivez quatre chiffres : la part des pages publiées atteintes, la profondeur des pages stratégiques, la part des visites de robots consacrée à des pages utiles et le taux d’erreurs serveur. Répétez la mesure après chaque mise en production importante.
La plus lourde de conséquences est un fichier robots.txt de préproduction mis en ligne tel quel, qui interdit tout le site. Viennent ensuite les anciennes adresses sans redirection, les menus reconstruits en script sans vrais liens et une directive noindex oubliée sur les gabarits.
Préparez une liste de contrôle à dérouler le jour de la mise en ligne : fichier robots.txt, échantillon de redirections, présence des liens dans le code, absence de noindex, sitemap à jour. Lancez une exploration complète dans les vingt-quatre heures et comparez-la à celle de l’ancien site.
Rarement. La documentation du principal moteur de recherche réserve ce sujet aux grands sites : plus d’un million de pages modifiées chaque semaine, ou plus de 10 000 pages modifiées chaque jour. Elle présente ces seuils comme des estimations.
Pour un site de quelques centaines de pages, concentrez-vous sur l’accès : liens lisibles, pages proches de l’accueil, absence d’interdictions par erreur. Le budget d’exploration redevient un sujet si de nombreuses pages restent découvertes sans être explorées, ou si des filtres génèrent des milliers d’adresses.
