Notre glossaire, méticuleusement élaboré, est votre boussole dans l’univers complexe et dynamique du marketing, de la communication et du digital. Ici, chaque terme est une clé que nous vous aidons à décrypter pour vous ouvrir a des concepts innovants et des stratégies éprouvées. Plongez dans nos thématiques pour éclairer votre chemin vers l’excellence et la créativité.
Ce terme désigne le robot d’exploration générique du moteur de recherche dont il porte le nom : le programme qui parcourt le web pour découvrir et télécharger des pages, avant leur analyse et leur éventuel ajout à l’index.
Ce robot existe en deux versions. La version Smartphone simule un visiteur sur mobile, la version Desktop un visiteur sur ordinateur. La majorité des requêtes passe par la version mobile. Les deux versions répondent au même nom dans le fichier robots.txt : un site ne peut donc pas autoriser l’une et bloquer l’autre. Le robot part d’adresses déjà connues, de sitemaps et de liens. Il demande chaque page au serveur, puis la transmet à un service de rendu qui exécute le JavaScript.
Le robot s’identifie par plusieurs éléments : un user agent envoyé avec chaque requête, des adresses IP publiées par l’éditeur et des noms d’hôte vérifiables par résolution DNS. Il applique les règles de robots.txt lors de l’exploration automatique. Son rythme de passage, la fréquence de crawl, est calculé par le moteur selon la capacité du serveur et l’intérêt des pages.
Ce robot n’est qu’un cas particulier de crawler. Il se distingue des robots spécialisés de l’éditeur, par exemple pour la publicité, et des récupérations déclenchées à la demande d’un utilisateur. Il ne doit pas être confondu avec l’index, où les pages analysées sont stockées, ni avec l’algorithme de classement. Le terme s’emploie en référencement technique, en analyse des journaux serveur et en sécurité des sites.
La page de Google Search Central consacrée à Googlebot (2026) indique que le robot explore les 2 premiers mégaoctets d’un fichier d’un type pris en charge, et les 64 premiers mégaoctets d’un PDF. Le guide JavaScript SEO basics (2026) décrit trois phases : exploration, rendu, indexation. Les pages attendent dans une file de rendu, quelques secondes ou davantage. Le même guide juge toujours pertinent le rendu côté serveur, car tous les robots n’exécutent pas JavaScript. Nous recommandons donc de placer le texte principal et les liens dans le HTML initial des gabarits stratégiques.
Puisque la majorité des requêtes passe par la version mobile, un contenu absent ou tronqué sur mobile risque de ne pas être lu. Selon nous, l’audit d’un site doit partir de la version mobile, pas de l’écran d’ordinateur sur lequel l’équipe valide les pages.
Le user agent se falsifie facilement. La documentation de Google sur la vérification des robots (2026) propose deux méthodes. La première est une résolution DNS inverse de l’adresse IP : le nom obtenu doit appartenir à googlebot.com, google.com ou googleusercontent.com. Une résolution directe de ce nom doit ensuite redonner la même adresse. La seconde compare l’adresse aux plages d’IP publiées au format JSON. Sans ce contrôle, une analyse de logs SEO compte des visites qui ne viennent pas du moteur.
La page Googlebot indique que le robot ne devrait pas accéder à un site plus d’une fois toutes les quelques secondes en moyenne. Nous recommandons de suivre trois repères dans les journaux. Le premier est la part des requêtes vérifiées parmi celles qui se déclarent comme Googlebot. Le deuxième est la part des pages stratégiques visitées sur trente jours. Le troisième est la répartition entre versions mobile et ordinateur.
Advalians assure le pilotage de votre refonte en mode projet : analyse des pratiques, coordination des ressources internes et externes, reporting régulier.
Le robot d’exploration principal est le robot courant de la recherche : il respecte toujours les règles de robots.txt lors de l’exploration automatique. L’éditeur exploite aussi des robots spécialisés, liés à certains produits comme la publicité, qui peuvent suivre des règles particulières convenues avec le site. S’y ajoutent des récupérations déclenchées par un utilisateur, par exemple lors d’une vérification de propriété.
Conséquence pratique : avant de bloquer un robot, identifiez sa catégorie par son user agent et ses adresses IP, puis vérifiez dans la documentation de l’éditeur quelles règles il applique.
Ne vous fiez jamais au seul user agent, qui se falsifie en une ligne. Vérifiez l’adresse IP.
Sur un gros volume, automatisez le contrôle en comparant les adresses aux plages d’IP que l’éditeur publie au format JSON.
Utilisez l’outil d’inspection d’URL de la console pour webmasters du moteur. Il renseigne sur la version indexée et, en test en direct, montre une capture de la page rendue et les ressources chargées. Comparez ce rendu à la page vue par un visiteur sur mobile, puisque la version mobile du robot domine.
Vérifiez ensuite trois points : le texte principal figure dans le HTML rendu, les liens sont de vrais liens HTML avec une adresse, les fichiers CSS et JavaScript utiles ne sont pas bloqués. Les journaux du serveur complètent ce contrôle en montrant les pages réellement visitées.
Non. Un blocage dans robots.txt empêche l’exploration, pas l’affichage de l’adresse dans les résultats : la page peut continuer d’y figurer. Pour retirer une page de l’index, laissez-la explorable et ajoutez une directive noindex.
Ordre conseillé : publiez la directive noindex, attendez que la page disparaisse des résultats, puis bloquez l’exploration si vous le souhaitez. Pour un contenu confidentiel, aucune de ces directives ne suffit : protégez-le par un mot de passe.
Non. Montrer au robot un contenu différent de celui des visiteurs relève du cloaking, une pratique contraire aux règles anti-spam des moteurs. La version servie au robot doit être celle que voit un visiteur.
Si votre site repose fortement sur JavaScript, la bonne réponse consiste à améliorer la page pour tous : rendu côté serveur ou pré-rendu, qui accélèrent aussi l’affichage pour les visiteurs. Tranchez ce choix lors de la conception ou de la refonte, car il engage l’architecture technique du site.
Par Thomas Bizot – Président du cabinet Advalians
