Le crawl, ou exploration, est l’étape par laquelle un moteur de recherche découvre des adresses web et télécharge les pages correspondantes au moyen de programmes automatiques, avant toute analyse de leur contenu.
Il n’existe pas de registre central des pages du web. Le moteur constitue donc lui-même sa liste d’adresses à visiter, à partir des pages déjà connues, des liens qu’elles contiennent et des fichiers sitemap déclarés par les sites. Un programme, le crawler, demande chaque page au serveur, enregistre le code de réponse, récupère le contenu et en extrait de nouveaux liens. Avant de visiter un site, il consulte le fichier robots.txt, qui indique les zones à ne pas explorer.
Le crawl combine trois mécanismes. La découverte alimente la file d’attente. La priorisation décide quelles adresses visiter, et à quel rythme : c’est le domaine du budget de crawl et de la fréquence de crawl. La récupération télécharge les ressources en limitant la charge imposée au serveur. Pour les pages qui dépendent de scripts, une étape de rendu peut suivre.
Le crawl ne se confond pas avec l’indexation, qui analyse la page explorée et décide de l’enregistrer ou non. Il se distingue aussi de la crawlabilité, qui est une propriété du site et non une action du moteur. Le terme est employé en référencement technique, lors des refontes et dans l’analyse des journaux de serveur.
Une page jamais explorée ne peut ni être indexée ni apparaître dans les résultats. Le crawl est donc la condition d’entrée de tout le travail éditorial. Selon nous, c’est aussi l’étape la plus souvent oubliée dans les projets de site : on valide les maquettes et les contenus, rarement le chemin que suivra le robot. Or ce chemin dépend de choix techniques faits tôt : structure des liens, gestion des filtres, codes de réponse, génération des pages par scripts.
Le format du fichier robots.txt est normalisé par la RFC 9309 de l’IETF (Robots Exclusion Protocol, 2022). Ce texte précise que ces règles ne constituent pas une autorisation d’accès. Il prévoit aussi qu’un robot qui ne peut pas lire le fichier, à cause d’une erreur du serveur, doit supposer l’exploration entièrement interdite. Une panne de ce seul fichier peut donc suspendre le crawl de tout le site.
Le site ne choisit pas pour autant ce qui est exploré. Google Search Central indique que son robot n’explore pas toutes les pages qu’il découvre (guide du fonctionnement de la recherche Google, 2025). Il précise aussi que robots.txt sert d’abord à gérer le trafic des robots, et non à exclure une page des résultats (Introduction to robots.txt, 2025).
Le guide de Google sur le budget d’exploration vise, à titre d’estimation et sans seuil exact, les sites de plus d’un million de pages dont le contenu change environ chaque semaine, ceux de plus de 10 000 pages dont le contenu change chaque jour, et ceux dont une grande part d’adresses est classée « Détectée, actuellement non indexée » (Large site owner’s guide to managing your crawl budget, 2026). Pour un site de quelques centaines de pages, nous recommandons de ne pas investir de temps sur ce sujet et de se concentrer sur les liens internes et la qualité des pages.
Deux sources se complètent. Les rapports d’exploration fournis par les moteurs donnent le volume de requêtes, les temps de réponse et la répartition des codes de réponse. L’analyse de logs montre, adresse par adresse, ce que les robots ont réellement demandé. Nous recommandons de suivre en priorité la part des pages stratégiques explorées sur une période et la part des requêtes perdues sur des adresses inutiles.
Advalians défend vos intérêts de maître d’ouvrage : besoin formalisé, prestataires choisis sur des critères explicites, budget tenu, usage mesuré après la mise en ligne.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
Le crawl télécharge la page, l’indexation l’analyse et décide de la conserver. Une page peut donc être explorée sans jamais être indexée : contenu jugé dupliqué, de faible valeur ou marqué noindex.
Dans le rapport d’indexation d’un moteur, distinguez les pages « Explorée, actuellement non indexée » des pages « Détectée, actuellement non indexée ». Les premières ont été lues puis écartées, au moins pour l’instant : examinez leur contenu et les doublons éventuels. Les secondes n’ont pas encore été explorées : vérifiez les liens internes, le nombre d’adresses et la réactivité du serveur. Un état « non indexée » n’est pas une anomalie en soi, et le remède n’est pas le même dans les deux cas.
Reliez-la depuis des pages déjà bien explorées et déclarez-la dans le sitemap. Un lien interne depuis la page d’accueil ou une rubrique active est le signal le plus direct.
Vérifiez ensuite trois points : la page répond avec un code 200, elle n’est pas bloquée par robots.txt, ses liens sont des balises a avec un attribut href. Les outils pour webmasters des moteurs permettent aussi de demander l’exploration d’une adresse précise. Cette demande n’est pas une garantie : réservez-la aux pages importantes, pas à chaque mise à jour mineure.
Consultez les statistiques d’exploration de l’outil pour webmasters du moteur, puis recoupez-les avec les journaux du serveur. Le rapport donne le nombre de requêtes, le temps de réponse moyen et la répartition des codes de réponse.
Fixez trois contrôles mensuels :
Une hausse soudaine des erreurs serveur mérite une alerte immédiate.
La plus grave est un fichier robots.txt inaccessible pour cause d’erreur serveur : la norme de 2022 demande alors au robot de supposer tout le site interdit. Viennent ensuite une règle disallow trop large oubliée après une préproduction, des liens créés uniquement en JavaScript sans attribut href, et des pages accessibles seulement après connexion.
Avant chaque mise en ligne, vérifiez le fichier robots.txt de production, testez un échantillon d’adresses avec un explorateur et contrôlez les codes de réponse des pages clés. À titre indicatif, ce contrôle demande peu de temps au regard de la perte de visibilité qu’il permet d’éviter.
Seulement si le site est volumineux ou si de nombreuses pages restent découvertes mais non indexées. Pour un site vitrine ou un blog de quelques centaines de pages, l’exploration se fait en général sans effort particulier.
Le chantier devient prioritaire dans trois situations : un catalogue en ligne avec filtres combinables, un site d’actualité qui publie chaque jour, une refonte qui change toutes les adresses. Dans ces cas, commencez par une analyse de logs pour mesurer le gaspillage avant d’agir. Ailleurs, investissez plutôt dans la qualité des contenus.
Modèles, grilles et guides prêts à l’emploi pour vos projets marketing et communication.
