Glossaire ·

Budget de crawl Google

Définition et décryptage par le cabinet Advalians · Mis à jour le 29 octobre 2026

Définition : Budget de crawl Google

Le budget de crawl est l’ensemble des adresses qu’un moteur de recherche peut et veut explorer sur un site, compte tenu de la capacité du serveur à répondre et de l’intérêt du moteur pour ses pages.

La notion est définie par la documentation du principal moteur de recherche, qui entend par site un nom d’hôte unique. Deux éléments la composent. La limite de capacité d’exploration correspond au temps total que le serveur peut consacrer aux connexions du robot, selon leur nombre et leur durée. Elle augmente quand le serveur répond vite. Elle baisse en cas de ralentissement, d’erreurs serveur ou de réponses 429, qui demandent de limiter le débit. Elle est partagée entre tous les robots de ce moteur.

La demande d’exploration dépend de l’inventaire perçu, c’est-à-dire des adresses connues du moteur, doublons compris. Elle dépend aussi de la popularité de ces adresses et du besoin de les actualiser. Un déménagement de site peut la faire monter temporairement. Même lorsque la capacité n’est pas atteinte, une demande faible réduit l’exploration. Le budget n’est donc pas une enveloppe attribuée d’avance. Il résulte de ces deux contraintes et varie dans le temps.

Il se distingue de la fréquence de crawl, qui mesure le rythme effectif des visites du robot. Il se distingue aussi de la crawlabilité, propriété du site qui conditionne l’accès aux pages. La notion relève du SEO technique. Elle concerne surtout les sites de grande taille ou dont le contenu change très souvent, comme les catalogues de commerce en ligne et les sites d’annonces.

Décryptage Advalians : Budget de crawl Google

Un sujet qui ne concerne pas tous les sites

Le guide Optimize your crawl budget (Google, documentation sur l’infrastructure d’exploration, 2026) vise trois profils : les sites de plus d’un million de pages uniques dont le contenu change environ une fois par semaine, les sites de plus de 10 000 pages uniques dont le contenu change chaque jour, et ceux dont une grande part des adresses est « détectée, actuellement non indexée » dans la Search Console. Google présente ces seuils comme une estimation grossière. Pour les autres sites, le guide juge suffisant de tenir le sitemap à jour et de surveiller l’indexation.

Notre avis : le budget de crawl est l’un des termes les plus invoqués à tort en référencement. Sur un site de quelques centaines de pages, une page non indexée relève presque toujours d’un problème d’accès ou de valeur, rarement d’un manque de budget.

Ce qui consomme le budget, et ce qui ne le consomme pas

La page Myths and facts about crawling (Google Search Central, 2025) corrige plusieurs idées reçues :

  • Les adresses alternatives et les contenus intégrés à une page, comme les scripts ou les feuilles de style, entrent dans le budget.
  • Le temps passé à rendre une page compte autant que le temps passé à la télécharger.
  • Les pages renvoyant un code 4xx, sauf 429, ne gaspillent pas le budget. Une erreur 404 ne coûte donc que la requête qui la constate.
  • Compresser ses sitemaps n’augmente pas le budget.
  • La règle « crawl-delay » du fichier robots.txt n’est pas prise en compte par les robots de Google.

Le guide destiné aux grands sites signale notamment trois sources de gaspillage : les pages d’erreur présentées comme valides (soft 404), les longues chaînes de redirections et le contenu dupliqué.

Lire le budget comme une contrainte de délai

Google rappelle que l’exploration n’est pas un signal de classement. Le budget de crawl n’agit donc pas sur la position d’une page. Selon nous, il agit sur le délai : quand il est saturé, les nouvelles pages et les pages modifiées attendent plus longtemps leur visite. Pour un catalogue dont les prix ou les stocks changent chaque jour, ce délai a un coût commercial direct.

Indicateurs et mesure

Aucun rapport n’affiche un budget chiffré. Il se déduit de plusieurs signaux :

  • le total des demandes d’exploration du rapport Statistiques sur l’exploration, comparé au nombre d’adresses utiles du site ;
  • le message « Hostload exceeded » de l’outil d’inspection d’URL, que le guide associe à une limite de capacité atteinte ;
  • le volume de pages utiles au statut « détectée, actuellement non indexée » ;
  • la part des visites du robot consacrée aux pages utiles, lue dans les journaux par une analyse de logs SEO.
L'accompagnement Advalians

Budget de crawl : prévoyez l’exploration de Google dès le cahier des charges

Le modèle Word gratuit de cahier des charges site internet d’Advalians intègre la reprise du référencement, une grille de conformité et le coût sur trois ans.

L'accompagnement Advalians

Un sujet à arbitrer ? Parlons-en avec un regard indépendant

Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.

Questions fréquentes

La crawlabilité décrit ce que le site rend accessible au robot ; le budget de crawl décrit ce que le moteur accepte d’en explorer. La première dépend des liens, du fichier robots.txt et de la technologie d’affichage. Le second dépend de la capacité du serveur et de la demande du moteur pour les pages.

Critère de tri : si des pages ne sont jamais visitées alors que le serveur répond bien, cherchez d’abord un problème de crawlabilité. Si les pages sont accessibles mais visitées avec retard sur un très grand site, examinez le budget.

Identifiez d’abord le facteur limitant, puis agissez sur lui. Si la capacité du serveur bloque, par exemple quand l’outil d’inspection signale une charge d’hôte dépassée, ajoutez des ressources serveur et réduisez le temps de réponse.

Si la capacité n’est pas en cause, c’est la demande du moteur qu’il faut faire progresser. La documentation du moteur cite la popularité des pages, leur valeur pour les utilisateurs et l’unicité de leur contenu. En parallèle, réduisez l’inventaire d’adresses inutiles : doublons, combinaisons de filtres, versions de tri. Le robot consacre alors ses visites aux pages qui comptent.

Le signe le plus net est un volume important de pages utiles au statut « détectée, actuellement non indexée ». En règle générale, ce statut signale une exploration reportée pour ne pas surcharger le site.

Confirmez avec deux contrôles. Dans le rapport de statistiques d’exploration, vérifiez que le temps de réponse et les erreurs serveur ne progressent pas. Dans les journaux du serveur, mesurez la part des visites du robot consacrée aux pages utiles. Si cette part est faible et l’inventaire gonflé de doublons, le budget est en cause. Si le serveur ralentit, c’est la capacité.

Non. La documentation du moteur indique que les pages renvoyant un code 4xx, sauf 429, ne gaspillent pas le budget d’exploration. Le robot a tenté la visite et n’a reçu qu’un code.

Le vrai risque est ailleurs : les pages d’erreur qui renvoient un code 200, dites soft 404, et les longues chaînes de redirections. Pour une page supprimée définitivement, renvoyez un code 404 ou 410. Ne redirigez pas toutes les pages supprimées vers l’accueil : vous créeriez des soft 404.

Seulement les adresses sans valeur propre, et seulement sur un site réellement concerné par le budget. Doublons, pages vides, combinaisons de filtres et archives sans visite gonflent l’inventaire que le moteur croit devoir explorer.

Avant de supprimer, classez chaque adresse : à conserver, à fusionner avec une page canonique, à bloquer dans le robots.txt ou à retirer avec un code 404 ou 410. Renoncez à toute suppression massive sur un site de quelques milliers de pages : le gain d’exploration sera faible et la perte de contenus utiles possible.

Sommaire
Besoin d'un conseil indépendant ?
Budget de crawl : prévoyez l’exploration de Google dès le cahier des charges
Besoin d'un conseil indépendant ?
Un sujet à arbitrer ? Parlons-en.
Ressources gratuites
Passez de la définition à la pratique

Modèles, grilles et guides prêts à l’emploi pour vos projets marketing et communication.

Besoin d'un conseil indépendant sur ce sujet ?

Échanger