L’analyse du crawl est la démarche de diagnostic qui étudie la manière dont le robot du principal moteur de recherche explore un site, à partir des rapports fournis par ce moteur et des journaux du serveur.
Elle cherche à établir si le robot atteint les pages utiles, à quel rythme il les visite et ce que le serveur lui répond. Elle mobilise deux familles de données. La console gratuite que le moteur met à disposition des responsables de sites propose un rapport de statistiques d’exploration. Ce rapport agrège les demandes du robot, le volume téléchargé et le temps de réponse moyen, ventilés par code de réponse, type de fichier, objectif et type de robot. Le rapport sur l’indexation des pages le complète : il signale notamment les adresses détectées mais pas encore explorées. Les fichiers log du serveur enregistrent, eux, chaque requête reçue, adresse par adresse.
Une analyse complète comprend la collecte des données sur une période représentative, l’identification des robots authentiques et le croisement des adresses explorées avec la liste des pages publiées et le sitemap. Elle se termine par le classement des anomalies selon leur effet sur les pages stratégiques : codes d’erreur, pages orphelines, adresses en double ou exploration détournée vers des pages sans valeur.
Elle est plus large que l’analyse de logs SEO, qui n’exploite que les journaux du serveur. Elle est plus étroite qu’un audit de référencement, qui couvre aussi les contenus, la popularité et le positionnement. Elle relève du SEO technique et intervient lors d’une baisse de visibilité, avant et après une refonte ou pour le suivi d’un site de grande taille.
Une analyse du crawl qui décrit des courbes sans conclure n’aide personne. Nous recommandons de formuler la question avant d’ouvrir les données. Une nouvelle rubrique tarde-t-elle à apparaître ? Une migration a-t-elle déplacé l’exploration vers d’anciennes adresses ? Le serveur freine-t-il le robot ? Chaque question désigne sa source et sa période d’observation. Elle évite aussi de traiter comme une anomalie une simple variation saisonnière.
L’aide Search Console décrit ce rapport comme destiné aux utilisateurs avancés. Elle précise qu’un site de moins de 1 000 pages n’en aura probablement pas l’usage. Le rapport n’est disponible que pour une propriété de niveau racine. Son volet « état de l’hôte » couvre les 90 derniers jours et signale trois familles d’incidents : récupération du fichier robots.txt, résolution DNS, connectivité du serveur. L’aide signale enfin que certaines requêtes peuvent ne pas être comptées : les chiffres peuvent différer légèrement de ceux des journaux du serveur.
Selon nous, la ventilation par objectif est la plus parlante. Après la publication de nombreuses pages, la part de découverte doit augmenter. Si elle reste plate, le robot ne trouve pas les nouvelles adresses, ou ne juge pas utile de les visiter.
Le rapport sur l’indexation des pages (aide Search Console) apporte deux statuts utiles. « Détectée, actuellement non indexée » signifie que la page est connue mais pas encore explorée. Selon Google, en règle générale, l’exploration a été reportée parce qu’elle risquait de surcharger le site. « Explorée, actuellement non indexée » signifie que la page a été explorée sans être indexée ; elle pourra l’être ou non plus tard, et l’aide précise qu’il est inutile de la soumettre à nouveau. Le premier statut oriente vers la capacité du serveur et l’inventaire d’adresses, le second vers la valeur de la page.
Les journaux du serveur, étudiés par une analyse de logs SEO, tranchent les cas page par page. Ce sont eux qui montrent si une page stratégique a été visitée, et quand.
Ces indicateurs sont des repères internes que nous proposons, non des normes publiées.
Advalians mène un audit de performance qui évalue vos dispositifs, canaux et contenus, puis restitue des recommandations priorisées et des indicateurs de suivi.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
L’analyse de logs SEO est une des sources de l’analyse du crawl, pas son équivalent. Elle exploite les journaux du serveur, seuls à montrer chaque visite du robot, page par page. L’analyse du crawl y ajoute les rapports du moteur : statistiques d’exploration, état de l’hôte, statuts d’indexation.
Critère de choix : commencez par les rapports du moteur, gratuits et immédiats. Passez aux journaux lorsque la question porte sur des pages précises ou que les rapports ne suffisent pas à expliquer un écart. Cela suppose un accès aux journaux, à négocier avec l’hébergeur ou l’équipe technique.
Commencez par l’état de l’hôte, puis par la répartition des codes de réponse. Un incident de serveur, de DNS ou de fichier robots.txt sur les 90 derniers jours explique souvent le reste.
Retenez quatre indicateurs au plus, tous rapportés aux pages stratégiques. La part de ces pages visitées par le robot sur trente jours. La part des requêtes du robot finissant en erreur serveur. Le temps de réponse moyen, suivi en tendance. Le nombre de pages stratégiques au statut « détectée, actuellement non indexée ».
Ce sont des repères de pilotage que nous proposons, non des normes. Fixez une valeur de départ avant toute intervention technique : sans point de comparaison, aucune amélioration ne se démontre.
La plus courante consiste à lire une baisse des requêtes comme une sanction. L’exploration n’est pas un signal de classement, et une baisse peut simplement suivre la suppression d’adresses inutiles.
Deux autres erreurs reviennent souvent. Traiter les pages en erreur 404 comme un gaspillage : les codes 4xx, sauf 429, ne consomment pas inutilement l’exploration. Exiger une concordance parfaite avec les journaux du serveur : le rapport peut omettre certaines requêtes. Avant de conclure, comparez au moins quatre semaines et recoupez avec le calendrier des mises en production.
Rarement sous sa forme complète. L’aide de la console précise qu’un site de moins de 1 000 pages n’aura probablement pas l’usage du rapport de statistiques d’exploration.
Pour un site de cette taille, nous recommandons un contrôle allégé : vérifier l’état de l’hôte, consulter le rapport sur l’indexation des pages et tester les pages stratégiques une à une. L’analyse complète se justifie en revanche après une refonte, une migration ou une chute de visibilité inexpliquée, quelle que soit la taille du site. Elle se justifie aussi au-delà de quelques milliers de pages.
