Le crawl du principal moteur de recherche est l’étape d’exploration au cours de laquelle son robot découvre des adresses web, télécharge les pages correspondantes et les transmet aux systèmes chargés de les analyser.
Le moteur ne dispose d’aucun registre central des pages du web. Il cherche donc en permanence les adresses nouvelles ou modifiées : c’est la découverte d’URL. Ses sources principales sont les liens des pages déjà connues et les sitemaps fournis par les sites. Un processus algorithmique décide ensuite quels sites explorer, à quel rythme et combien de pages récupérer sur chacun. Le robot d’indexation adapte sa vitesse aux réponses du serveur : des erreurs serveur le conduisent à ralentir pour ne pas surcharger le site. Pendant l’exploration, la page est aussi rendue. Le moteur exécute son code JavaScript avec une version récente d’un navigateur, afin de voir le contenu chargé par script.
Le crawl dépend de la file d’adresses à visiter, des règles d’accès du fichier robots.txt et de la capacité du serveur à répondre. Le volume d’adresses que le moteur peut et veut explorer sur un site s’appelle le budget de crawl. Le rythme effectif des visites s’appelle la fréquence de crawl.
Le crawl se distingue de l’indexation, qui analyse la page explorée et décide de l’enregistrer ou non dans l’index : une page explorée n’est pas forcément indexée. Il se distingue aussi du crawl moteur de recherche, notion générale qui vaut pour tous les moteurs. Le terme appartient au vocabulaire du SEO technique. Il est employé lors des audits, des refontes et des migrations de site.
Google le dit sans ambiguïté dans sa page Myths and facts about crawling (Google Search Central, 2025) : l’exploration est nécessaire pour figurer dans les résultats, mais elle n’est pas un signal de classement. Faire venir le robot plus souvent ne fait donc gagner aucune position. Le guide In-depth guide to how Google Search works (2025) ajoute que Google ne garantit ni l’exploration, ni l’indexation, ni l’affichage d’une page, même conforme à ses consignes.
Notre lecture : le crawl est une porte d’entrée. L’objectif n’est pas de la solliciter davantage, mais de vérifier que les pages utiles la franchissent, et vite après leur publication.
Le même guide cite trois causes courantes d’échec : les problèmes de serveur, les problèmes de réseau et les règles du fichier robots.txt qui interdisent l’accès au robot. Un point est souvent sous-estimé : le rendu. Selon la page Myths and facts about crawling, le temps passé à rendre une page compte autant que le temps passé à la télécharger. Un site chargé de scripts consomme donc plus de ressources d’exploration pour le même nombre de pages.
Autre idée reçue démentie par cette page : les petits sites ne seraient pas explorés aussi souvent que les grands. C’est faux. Un contenu important qui change souvent est exploré souvent, quelle que soit la taille du site.
Le rapport Statistiques sur l’exploration (aide Search Console) donne le total des demandes d’exploration, la taille de téléchargement totale et le temps de réponse moyen. Il les ventile par code de réponse, type de fichier, objectif (découverte ou actualisation) et type de robot. L’aide précise qu’un site de moins de 1 000 pages n’en aura probablement pas l’usage.
Pour ces sites, nous recommandons un indicateur plus simple : le délai entre la publication d’une page stratégique et la première visite du robot. C’est un repère interne, non une norme.
Le modèle Word gratuit de cahier des charges site internet d’Advalians prévoit la reprise du référencement et une grille de conformité pour comparer les offres.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
Non. L’exploration récupère la page ; l’indexation l’analyse, puis décide de l’enregistrer ou non. Le rapport sur l’indexation des pages de la console du moteur distingue les deux situations. « Détectée, actuellement non indexée » signifie que l’adresse est connue mais pas encore explorée. « Explorée, actuellement non indexée » signifie que le robot est passé sans que la page entre dans l’index.
Le diagnostic diffère. Dans le premier cas, vérifiez l’accès et la capacité du serveur. Dans le second, examinez la valeur propre de la page et les doublons éventuels.
Comparez le code HTML initial de la page et sa version rendue, puis vérifiez que le texte principal et les liens figurent dans la seconde. Le moteur exécute le JavaScript lors du rendu, mais ce rendu consomme des ressources d’exploration.
Nous recommandons une règle simple pour les gabarits clés : le titre, le texte principal et les liens de navigation présents dès le HTML initial. Les liens doivent être de vrais éléments de lien dotés d’une adresse, et non des actions déclenchées au clic. Testez au moins une page par gabarit après chaque mise en production.
Suivez trois chiffres du rapport de statistiques d’exploration : le total des demandes, le temps de réponse moyen et la répartition par code de réponse. Une hausse durable des erreurs serveur ou du temps de réponse annonce un ralentissement du robot.
Ajoutez l’état de l’hôte, qui couvre les 90 derniers jours : récupération du fichier robots.txt, résolution DNS, connectivité du serveur. Pour un suivi page par page, les journaux du serveur restent la source la plus complète. Selon l’aide de la console, ce rapport ne sera probablement d’aucune utilité pour un site de moins de 1 000 pages.
Les erreurs serveur et l’indisponibilité du fichier robots.txt figurent parmi les plus pénalisantes. Les erreurs serveur et les réponses 429 font baisser la capacité d’exploration accordée au site. Si le fichier robots.txt ne renvoie pas de réponse valide, le moteur cesse d’explorer le site pendant les douze premières heures, puis s’appuie sur la dernière version disponible du fichier.
Surveillez l’état de l’hôte dans le rapport de statistiques d’exploration après chaque intervention sur l’hébergement. Prévoyez un contrôle du robots.txt dans la recette de toute mise en production.
Oui, pour les adresses sans intérêt en recherche, sur un site volumineux : combinaisons de filtres, résultats de recherche interne, versions de tri. Le fichier robots.txt sert à cela : gérer l’accès du robot.
Renoncez-y lorsque l’objectif est de retirer une page des résultats. Le moteur doit alors explorer la page pour lire la directive noindex. Renoncez-y aussi pour un site de quelques centaines de pages bien reliées : le gain est faible et le risque de bloquer une rubrique utile est réel. Toute règle de blocage se teste avant sa mise en ligne.
Modèles, grilles et guides prêts à l’emploi pour vos projets marketing et communication.
