En SEO, le user agent, ou agent utilisateur, désigne la chaîne d’identification qu’un navigateur ou un robot d’exploration transmet au serveur à chaque requête HTTP, ainsi que le nom par lequel un fichier robots.txt cible ce robot.
Le mécanisme repose sur l’en-tête User-Agent, défini par la spécification HTTP Semantics (RFC 9110). Il indique l’application qui formule la requête, et souvent sa version, son système et sa plateforme. Les robots d’indexation des moteurs de recherche y déclarent leur nom. Le serveur enregistre cette chaîne dans ses journaux, à côté de l’adresse IP et de l’adresse demandée.
Deux notions coexistent. La chaîne complète figure dans l’en-tête de chaque requête. Le jeton, plus court, sert dans la ligne user-agent du fichier robots.txt pour désigner un robot. Plusieurs robots d’un même moteur peuvent partager un jeton, par exemple une version pour mobile et une version pour ordinateur. Le protocole d’exclusion des robots (RFC 9309, 2022) prévoit une correspondance sans distinction de casse. Un robot qui ne trouve aucun groupe à son nom suit le groupe générique désigné par un astérisque.
Le user agent se distingue du user agent cloaking, qui exploite cette chaîne pour servir un contenu différent aux robots. Il se distingue aussi de l’adresse IP : le user agent est déclaratif et peut être usurpé, alors que l’adresse IP se vérifie. La notion intervient dans l’analyse de logs, la rédaction des règles d’exploration et le choix des robots admis sur un site.
Longtemps, le user agent n’intéressait que les équipes techniques. La multiplication des robots, dont ceux qui collectent des contenus pour des modèles d’IA, en fait un sujet de décision. Ouvrir ou fermer un site à un robot revient à choisir où ses contenus circulent. Un exemple vérifié : selon la liste des robots courants de Google (mise à jour en octobre 2026), le jeton Google-Extended contrôle l’usage des contenus pour l’entraînement des modèles Gemini et pour l’ancrage de leurs réponses. Le même document précise qu’il n’a aucun effet sur l’inclusion dans la recherche ni sur le classement. Le jeton dissocie donc l’indexation dans le moteur de l’usage des contenus par certains systèmes d’IA de l’éditeur. Il ne couvre pas les fonctionnalités d’IA intégrées aux résultats de recherche, qui relèvent des règles d’exploration et d’extrait du moteur.
Google indique que la chaîne d’agent utilisateur peut être usurpée. Sa page sur la vérification des requêtes (mise à jour en mars 2026) propose deux méthodes. La première est une recherche DNS inverse sur l’adresse IP, puis une recherche directe qui doit renvoyer la même adresse. La seconde compare l’adresse IP aux plages publiées par le moteur. Nous recommandons de ne jamais bloquer ni autoriser un trafic sur la seule foi du user agent.
Le RFC 9309 apporte une précision souvent méconnue. Un robot qui trouve un groupe à son nom applique ce groupe, et non plus le groupe générique. Ajouter un groupe pour un robot précis peut donc lui ouvrir des zones que le groupe générique fermait. Le même texte rappelle que robots.txt n’est pas un dispositif de contrôle d’accès : un contenu confidentiel se protège par authentification.
L’analyse des journaux du serveur fournit trois mesures utiles. La part des requêtes par robot vérifié. La part des requêtes qui se réclament d’un moteur sans l’être. La répartition de l’exploration par type de page, qui montre où le budget de crawl se dépense. Ces repères sont des propositions de pilotage, non des normes. Une hausse soudaine des requêtes d’un robot inconnu mérite une vérification de son adresse avant tout blocage.
En séances de prise de recul, Advalians vous aide à arbitrer vos priorités de visibilité et à les inscrire dans une feuille de route marketing partagée.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
Le user agent dit qui le visiteur prétend être, l’adresse IP permet de vérifier qui il est. N’importe quel programme peut envoyer une chaîne qui imite celle d’un robot de moteur. L’adresse IP, elle, se contrôle.
Pour vérifier un robot, faites une recherche DNS inverse sur l’adresse IP relevée dans vos journaux, vérifiez que le nom obtenu appartient au domaine du moteur, puis faites une recherche directe sur ce nom. Elle doit renvoyer l’adresse de départ. Sur de gros volumes, comparez plutôt les adresses aux plages publiées par le moteur.
Créez un groupe qui commence par une ligne user-agent suivie du jeton exact du robot, tel que le moteur le publie, puis listez les règles qui lui sont propres. La correspondance ne tient pas compte de la casse.
Point de vigilance : un robot qui trouve un groupe à son nom n’applique plus le groupe générique. Recopiez donc dans son groupe les interdictions générales qui doivent continuer à s’appliquer. Testez ensuite le fichier avec un outil de validation avant de le mettre en ligne, et conservez une copie datée de chaque version.
Analysez les journaux du serveur, seule source qui enregistre toutes les requêtes des robots. Les outils d’audience fondés sur un script ne les voient pas.
Procédez en trois étapes. Extrayez les requêtes sur une période d’au moins quatre semaines. Regroupez-les par user agent, puis vérifiez les adresses IP des robots de moteurs pour écarter les imitations. Croisez enfin les requêtes vérifiées avec le type de page visité. Vous saurez quels robots consomment vos ressources et quelles pages ils délaissent.
Adapter la présentation est admis, changer le contenu est risqué. Servir une mise en page différente à un navigateur mobile ne pose pas de problème si le texte, les liens et les informations restent les mêmes. Servir aux robots un contenu que les visiteurs ne voient pas relève du cloaking, que les règles des moteurs sanctionnent.
Critère pratique : récupérez la page avec le user agent d’un robot, puis avec celui d’un navigateur. Comparez le texte principal et les liens. Toute différence de fond doit être justifiée ou supprimée.
Cela dépend de ce que vous attendez de vos contenus. Bloquer les robots de collecte pour l’entraînement protège la réutilisation de vos textes, mais peut réduire votre présence dans les réponses des assistants. Certains éditeurs publient des jetons distincts pour la recherche et pour l’entraînement, ce qui permet de traiter les deux usages séparément.
Décidez par type de contenu : pages d’offre et d’expertise, que vous voulez voir citées, contenus payants ou exclusifs, à protéger. Rappelez-vous que robots.txt est une consigne respectée par les robots de bonne foi, pas une protection technique.
L’IA générative a d’abord été un accélérateur individuel : produire plus vite, reformuler..
