Un crawler, ou robot d’exploration, est un programme informatique qui parcourt automatiquement le web pour découvrir des pages, les télécharger et transmettre leur contenu au système qui l’analyse, en général un moteur de recherche.
Le crawler part d’une liste d’adresses connues. Il demande chaque page au serveur, en extrait les liens et ajoute les nouvelles adresses à sa file d’attente. Un crawler respectueux des règles consulte d’abord le fichier robots.txt du site, dont le format est normalisé par la RFC 9309 de l’IETF (2022). Certains crawlers exécutent aussi les scripts de la page pour en obtenir le rendu final, tel que le voit un visiteur.
Un crawler combine plusieurs éléments : une file d’adresses à visiter, des règles de priorité et de fréquence de crawl, un module de téléchargement qui limite la charge imposée aux serveurs, et un identifiant envoyé avec chaque requête, le user agent. Les termes robot d’indexation, spider et bot sont employés comme synonymes dans l’usage courant.
Le crawler ne doit pas être confondu avec l’index, la base où sont stockées les pages analysées, ni avec l’algorithme de classement, qui ordonne les résultats. Il réalise seulement la première étape, le crawl. Outre les moteurs de recherche, des crawlers servent aux outils d’audit de référencement, à l’archivage du web et à la collecte de données. Le terme est employé en référencement, en analyse de journaux serveur et en sécurité des sites.
Le crawler lit le code des pages, pas l’écran. Le guide de Google sur le fonctionnement de la recherche (2025) cite plusieurs obstacles à l’exploration : problèmes de serveur, problèmes de réseau, règles du fichier robots.txt, pages accessibles seulement après connexion. Pour le JavaScript, Google indique que les pages attendent dans une file de rendu avant l’exécution des scripts (JavaScript SEO basics, 2026). Selon nous, un contenu qui n’apparaît qu’après un clic ou une autre action du visiteur doit être considéré comme invisible pour le robot. Nous recommandons de concevoir chaque gabarit stratégique comme si le robot ne lisait que le HTML initial.
Le user agent se falsifie facilement. Google indique que ses robots s’identifient de trois façons : l’en-tête user agent, l’adresse IP source et le nom d’hôte obtenu par résolution DNS inverse de cette adresse (Overview of Google crawlers and fetchers, 2026). La même documentation distingue les robots courants, comme Googlebot, qui respectent toujours robots.txt pour l’exploration automatique, des robots propres à certains produits et des récupérateurs déclenchés par un utilisateur. Nous recommandons de croiser ces éléments avant de conclure qu’une visite vient réellement d’un moteur.
La RFC 9309 (IETF, 2022) précise que ces règles ne constituent pas une autorisation d’accès. Le fichier est public, et un robot malveillant peut l’ignorer. Protéger un contenu demande une authentification, pas une ligne dans robots.txt. La norme autorise aussi les robots à garder le fichier en cache, en principe vingt-quatre heures au plus : une modification n’a donc pas d’effet immédiat.
Un site reçoit des robots très variés : moteurs, outils d’audit, agrégateurs, collecteurs de données. Bloquer tout robot inconnu protège le serveur mais peut couper des sources de visibilité. Tout ouvrir expose à la reprise des contenus. Selon nous, la décision relève de la stratégie de contenu autant que de la technique. Nous recommandons une politique écrite, revue à intervalles réguliers, qui liste les robots admis, ceux qui sont bloqués et le motif.
Ces repères sont des propositions de pilotage, non des normes.
En séances ponctuelles ou récurrentes, Advalians vous aide à prendre du recul sur vos arbitrages numériques et à les relier à vos objectifs marketing.
Premier échange de 30 minutes, sans engagement
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
Premier échange de 30 minutes, sans engagement
Le crawler collecte, l’index stocke. Le crawler est le programme qui parcourt le web et télécharge les pages. L’index est la base dans laquelle le moteur range les pages analysées, pour les retrouver au moment d’une recherche.
Une page peut être explorée sans être indexée, si le moteur la juge faible ou en double. Pour savoir où se situe une page, regardez la date de dernière exploration et l’état d’indexation dans la console du moteur. Ce sont deux informations distinctes.
Rapprochez-les de l’accueil et multipliez les liens internes qui y mènent, sous forme de vrais liens HTML. Inscrivez-les dans le sitemap avec leur adresse canonique. Assurez des réponses serveur rapides et sans erreur.
Retirez en parallèle ce qui détourne le robot : adresses à paramètres inutiles, chaînes de redirections, pages en double. Après une publication importante, demandez une exploration depuis la console du moteur. Vérifiez ensuite dans les journaux du serveur que la page a bien été visitée.
Consultez les journaux du serveur : chaque visite y est enregistrée avec la date, l’adresse demandée, le user agent et le code de réponse. Filtrez les lignes sur les robots des moteurs, après avoir vérifié leur identité.
La console proposée aux propriétaires de sites indique aussi la date de dernière exploration d’une adresse inspectée. Pour un suivi régulier, extrayez chaque semaine la liste des pages stratégiques non visitées depuis trente jours. Ce délai est un repère à ajuster selon le rythme de publication du site.
Ne vous fiez jamais au seul user agent, qui se falsifie en une ligne. Faites une résolution DNS inverse de l’adresse IP de la visite, vérifiez que le nom d’hôte obtenu appartient bien au domaine du moteur, puis refaites une résolution directe de ce nom pour retrouver la même adresse IP.
Le principal moteur de recherche publie aussi la liste de ses plages d’adresses. Bloquer un faux robot est sans risque. Bloquer par erreur le vrai robot d’un moteur peut, en revanche, retirer vos pages des résultats.
Pas systématiquement. Certains robots servent vos intérêts : outils d’audit que vous utilisez, services de surveillance, agrégateurs qui citent vos pages. D’autres consomment des ressources ou reprennent vos contenus sans contrepartie.
Classez les robots présents dans vos journaux en trois groupes : utiles, neutres, indésirables. Bloquez les indésirables, par robots.txt s’ils respectent la norme, au niveau du serveur sinon. Gardez à l’esprit que robots.txt n’est pas une protection : un contenu sensible exige une authentification.
Cabinet indépendant, rémunéré par ses clients uniquement.
Cabinet indépendant, rémunéré par ses clients uniquement.
