Le budget de crawl est l’ensemble des adresses qu’un moteur de recherche peut et veut explorer sur un site, compte tenu de la capacité du serveur à répondre et de l’intérêt du moteur pour ses pages.
La notion est définie par la documentation du principal moteur de recherche, qui entend par site un nom d’hôte unique. Deux éléments la composent. La limite de capacité d’exploration correspond au temps total que le serveur peut consacrer aux connexions du robot, selon leur nombre et leur durée. Elle augmente quand le serveur répond vite. Elle baisse en cas de ralentissement, d’erreurs serveur ou de réponses 429, qui demandent de limiter le débit. Elle est partagée entre tous les robots de ce moteur.
La demande d’exploration dépend de l’inventaire perçu, c’est-à-dire des adresses connues du moteur, doublons compris. Elle dépend aussi de la popularité de ces adresses et du besoin de les actualiser. Un déménagement de site peut la faire monter temporairement. Même lorsque la capacité n’est pas atteinte, une demande faible réduit l’exploration. Le budget n’est donc pas une enveloppe attribuée d’avance. Il résulte de ces deux contraintes et varie dans le temps.
Il se distingue de la fréquence de crawl, qui mesure le rythme effectif des visites du robot. Il se distingue aussi de la crawlabilité, propriété du site qui conditionne l’accès aux pages. La notion relève du SEO technique. Elle concerne surtout les sites de grande taille ou dont le contenu change très souvent, comme les catalogues de commerce en ligne et les sites d’annonces.
Le guide Optimize your crawl budget (Google, documentation sur l’infrastructure d’exploration, 2026) vise trois profils : les sites de plus d’un million de pages uniques dont le contenu change environ une fois par semaine, les sites de plus de 10 000 pages uniques dont le contenu change chaque jour, et ceux dont une grande part des adresses est « détectée, actuellement non indexée » dans la Search Console. Google présente ces seuils comme une estimation grossière. Pour les autres sites, le guide juge suffisant de tenir le sitemap à jour et de surveiller l’indexation.
Notre avis : le budget de crawl est l’un des termes les plus invoqués à tort en référencement. Sur un site de quelques centaines de pages, une page non indexée relève presque toujours d’un problème d’accès ou de valeur, rarement d’un manque de budget.
La page Myths and facts about crawling (Google Search Central, 2025) corrige plusieurs idées reçues :
Le guide destiné aux grands sites signale notamment trois sources de gaspillage : les pages d’erreur présentées comme valides (soft 404), les longues chaînes de redirections et le contenu dupliqué.
Google rappelle que l’exploration n’est pas un signal de classement. Le budget de crawl n’agit donc pas sur la position d’une page. Selon nous, il agit sur le délai : quand il est saturé, les nouvelles pages et les pages modifiées attendent plus longtemps leur visite. Pour un catalogue dont les prix ou les stocks changent chaque jour, ce délai a un coût commercial direct.
Aucun rapport n’affiche un budget chiffré. Il se déduit de plusieurs signaux :
Le modèle Word gratuit de cahier des charges site internet d’Advalians intègre la reprise du référencement, une grille de conformité et le coût sur trois ans.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
La crawlabilité décrit ce que le site rend accessible au robot ; le budget de crawl décrit ce que le moteur accepte d’en explorer. La première dépend des liens, du fichier robots.txt et de la technologie d’affichage. Le second dépend de la capacité du serveur et de la demande du moteur pour les pages.
Critère de tri : si des pages ne sont jamais visitées alors que le serveur répond bien, cherchez d’abord un problème de crawlabilité. Si les pages sont accessibles mais visitées avec retard sur un très grand site, examinez le budget.
Identifiez d’abord le facteur limitant, puis agissez sur lui. Si la capacité du serveur bloque, par exemple quand l’outil d’inspection signale une charge d’hôte dépassée, ajoutez des ressources serveur et réduisez le temps de réponse.
Si la capacité n’est pas en cause, c’est la demande du moteur qu’il faut faire progresser. La documentation du moteur cite la popularité des pages, leur valeur pour les utilisateurs et l’unicité de leur contenu. En parallèle, réduisez l’inventaire d’adresses inutiles : doublons, combinaisons de filtres, versions de tri. Le robot consacre alors ses visites aux pages qui comptent.
Le signe le plus net est un volume important de pages utiles au statut « détectée, actuellement non indexée ». En règle générale, ce statut signale une exploration reportée pour ne pas surcharger le site.
Confirmez avec deux contrôles. Dans le rapport de statistiques d’exploration, vérifiez que le temps de réponse et les erreurs serveur ne progressent pas. Dans les journaux du serveur, mesurez la part des visites du robot consacrée aux pages utiles. Si cette part est faible et l’inventaire gonflé de doublons, le budget est en cause. Si le serveur ralentit, c’est la capacité.
Non. La documentation du moteur indique que les pages renvoyant un code 4xx, sauf 429, ne gaspillent pas le budget d’exploration. Le robot a tenté la visite et n’a reçu qu’un code.
Le vrai risque est ailleurs : les pages d’erreur qui renvoient un code 200, dites soft 404, et les longues chaînes de redirections. Pour une page supprimée définitivement, renvoyez un code 404 ou 410. Ne redirigez pas toutes les pages supprimées vers l’accueil : vous créeriez des soft 404.
Seulement les adresses sans valeur propre, et seulement sur un site réellement concerné par le budget. Doublons, pages vides, combinaisons de filtres et archives sans visite gonflent l’inventaire que le moteur croit devoir explorer.
Avant de supprimer, classez chaque adresse : à conserver, à fusionner avec une page canonique, à bloquer dans le robots.txt ou à retirer avec un code 404 ou 410. Renoncez à toute suppression massive sur un site de quelques milliers de pages : le gain d’exploration sera faible et la perte de contenus utiles possible.
Modèles, grilles et guides prêts à l’emploi pour vos projets marketing et communication.
Besoin d'un conseil indépendant sur ce sujet ?
Échanger