Un robot d’indexation est un programme qui parcourt automatiquement le web pour découvrir et télécharger des pages, afin que leur contenu puisse être analysé puis enregistré dans l’index d’un moteur de recherche.
Son nom est trompeur : le robot explore, il n’indexe pas lui-même. Il part d’une liste d’adresses connues, récupère chaque page auprès du serveur, repère les liens qu’elle contient et ajoute les adresses nouvelles à sa liste. Les pages récupérées passent ensuite par d’autres systèmes du moteur. Ceux-ci les analysent, regroupent les contenus en double et décident de les inscrire ou non dans l’index. Une page explorée n’est donc pas forcément indexée.
Le fonctionnement repose sur plusieurs éléments : une liste d’adresses à visiter, alimentée par les liens et par le sitemap ; des règles de priorité et de fréquence de passage ; un identifiant transmis au serveur à chaque visite, le user agent. Un robot qui respecte les usages lit d’abord le fichier robots.txt du site, qui indique les zones qu’il ne doit pas explorer.
Le terme est synonyme de crawler, de spider et de robot d’exploration. Il se distingue de l’index, base où sont rangées les pages retenues, et de l’algorithme de classement, qui ordonne les résultats. L’étape qu’il réalise s’appelle l’exploration, ou crawl. Le terme est employé en référencement, en analyse des journaux serveur et en administration de sites.
Le guide de Google sur le fonctionnement de sa recherche décrit trois étapes : l’exploration, l’indexation et la diffusion des résultats (Google Search Central, « How Google Search works »). Il précise que toutes les pages ne franchissent pas chaque étape et que l’indexation n’est pas garantie. Le même guide indique que les pages au contenu semblable sont regroupées et qu’une seule, la page canonique, est en principe affichée. Selon nous, beaucoup de diagnostics échouent parce qu’ils confondent ces étapes. Une page absente des résultats peut n’avoir jamais été visitée, avoir été visitée puis écartée, ou avoir été regroupée avec une autre. Chaque cas appelle un remède différent.
C’est la confusion la plus coûteuse. La documentation de Google indique que le fichier robots.txt n’est pas un moyen d’exclure une page des résultats : une adresse bloquée peut y figurer, sans description (Google Search Central, « Introduction to robots.txt »). Pour retirer une page, elle renvoie à la règle noindex ou à une protection par mot de passe. Elle pose une condition : pour que la règle noindex soit lue, la page ne doit pas être bloquée par robots.txt (Google Search Central, « Block Search indexing with noindex »). Bloquer et désindexer en même temps revient donc à cacher au robot l’instruction qu’on veut lui transmettre. Nous recommandons de retirer la page de l’index avec une balise noindex et de la laisser explorable. Bloquer ensuite son exploration expose l’adresse à revenir dans les résultats, sans description, si d’autres pages la citent.
Ces repères sont des propositions de pilotage, non des normes. Un écart ne se lit qu’avec le détail des motifs d’exclusion.
Le modèle Word gratuit de cahier des charges site internet d’Advalians détaille besoins, reprise du référencement et grille de conformité, avec le coût sur trois ans.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
L’exploration consiste à visiter et télécharger une page, l’indexation à l’enregistrer dans la base du moteur pour pouvoir l’afficher. Le robot d’indexation réalise la première. La seconde relève d’autres systèmes, qui jugent la page, la comparent aux contenus semblables et décident de la garder ou non.
En pratique, vérifiez les deux informations séparément dans la console du moteur : la date de dernière exploration, puis l’état d’indexation et son motif. Une page explorée mais non indexée demande un travail sur le contenu, pas sur l’accès.
Ajoutez une règle noindex à la page, dans une balise noindex du code ou dans l’en-tête de réponse du serveur. Laissez la page accessible au robot : s’il ne peut plus l’explorer, il ne verra jamais la règle.
Vérifiez ensuite que la page n’est plus listée dans le sitemap et que les liens internes vers elle sont justifiés. Attendez le passage suivant du robot, puis contrôlez l’état d’indexation dans la console. Ne bloquez pas ensuite son exploration : une adresse bloquée mais citée par des liens peut revenir dans les résultats, sans description.
Inspectez l’adresse dans la console du moteur : elle indique la date de dernière exploration, l’état d’indexation et l’URL canonique retenue. Si la canonique retenue diffère de la vôtre, la page a été regroupée avec une autre.
Pour un suivi régulier, comparez chaque mois la liste des pages de votre sitemap avec le rapport d’indexation. Classez les pages non indexées par motif : jamais explorées, explorées puis écartées, en double. Les journaux du serveur complètent ce suivi en montrant les visites réelles du robot.
La page peut rester dans les résultats. Le fichier robots.txt empêche l’exploration, pas l’indexation : une adresse bloquée mais connue par des liens peut s’afficher, sans description. Pire, le robot ne lit plus la page et ne peut donc plus y découvrir une règle noindex ajoutée ensuite.
Si une page bloquée apparaît encore, levez le blocage, ajoutez la règle noindex et laissez la page explorable tant qu’elle doit rester hors des résultats. Pour un contenu confidentiel, aucune de ces règles ne suffit : protégez-le par une authentification.
Non. Laissez-les explorer les pages que vous voulez voir dans les résultats, et les ressources nécessaires à leur affichage. Les adresses sans valeur pour un internaute venu d’un moteur peuvent être écartées : combinaisons de filtres, résultats de recherche interne, paniers, espaces clients.
Avant de bloquer une section, posez une question : contient-elle des pages déjà indexées ? Si oui, ne la bloquez pas : appliquez une règle noindex à ces pages et laissez-les explorables, car un blocage ne les retirerait pas des résultats. Pour un petit site bien relié, le gain d’un blocage est souvent faible et le risque d’erreur réel.
