La Spiders & Bots List est une liste de référence qui recense les signatures de robots et d’agents d’exploration connus, afin de retirer leur activité des statistiques de fréquentation des sites et des comptages d’impressions publicitaires.
Son nom complet est l’« International Spiders & Bots List » de l’IAB et de l’ABC. Elle est publiée par l’Interactive Advertising Bureau (IAB), organisation professionnelle de la publicité numérique. Elle est gérée avec l’Audit Bureau of Circulations britannique (ABC UK) et l’Alliance for Audited Media, sous le contrôle d’un comité qui approuve les modifications. Elle est mise à jour chaque mois et accessible sur abonnement payant.
La liste se compose de deux fichiers de chaînes d’identification, appelées user agents, que chaque programme transmet au serveur. Le premier fichier recense les robots connus. Le second recense les navigateurs reconnus comme valides. Le filtrage dit en double passe s’appuie sur les deux : une visite est d’abord retenue si elle provient d’un navigateur valide, puis écartée si elle correspond à un robot. Par extension, l’expression désigne parfois toute liste de robots connus utilisée pour filtrer des données d’audience.
La liste se distingue du fichier robots.txt, par lequel un site indique aux robots les zones qu’ils ne doivent pas explorer : elle ne bloque rien, elle sert à nettoyer les chiffres après coup. Elle ne couvre pas non plus toute la pollution d’audience, car elle ne repère que les robots qui se déclarent. On l’emploie dans les outils de mesure d’audience, chez les éditeurs, les régies et les prestataires de mesure publicitaire.
Sans référentiel partagé, chaque éditeur, régie ou outil filtrerait les robots à sa façon, et les audiences ne seraient plus comparables. La page de l’IAB consacrée à la liste indique qu’elle est requise pour se conformer à ses lignes directrices de mesure côté client (Client Side Counting Measurement Guidelines). La page d’ABC UK précise qu’elle aide à filtrer l’activité non humaine connue, qui peut gonfler fortement les comptages d’impressions et de trafic. Pour un annonceur, c’est un point de contrôle : une audience vendue ou rapportée sans ce filtrage n’a pas la même valeur.
Le filtrage repose sur une correspondance exacte avec les chaînes d’identification recensées. Un programme qui se présente comme un navigateur ordinaire passe donc à travers. La liste traite les robots déclarés, pas ceux qui cherchent à imiter un internaute. Selon nous, c’est la limite à garder en tête : un trafic filtré par la liste est assaini, pas certifié humain. Les manipulations délibérées relèvent du gonflement d’audience et demandent d’autres contrôles.
Dans un outil d’analyse, le filtrage est souvent déjà appliqué. L’aide de Google Analytics (« Known bot-traffic exclusion », consultée en 2026) indique que le trafic des robots connus y est exclu automatiquement, à partir des recherches de l’éditeur et de la liste maintenue par l’IAB. La même page précise qu’on ne peut ni désactiver ce filtrage ni voir le volume exclu.
Pour une analyse fondée sur les fichiers log du serveur, l’abonnement donne accès aux fichiers à intégrer dans la chaîne de traitement. Nous recommandons d’y ajouter deux couches : l’exclusion d’adresses connues, comme les adresses IP de vos propres équipes et prestataires, et des règles de comportement, comme un nombre anormal de pages par minute.
Le livre blanc gratuit d’Advalians recense onze erreurs de mesure courantes et propose un test de fiabilité en 12 points, pour savoir si l’on peut se fier à ses chiffres.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
Le fichier robots.txt agit avant la visite : il indique aux robots les zones du site à ne pas explorer, sans pouvoir les y contraindre. La Spiders & Bots List agit après : elle sert à retirer des statistiques l’activité des robots connus, qu’ils aient ou non respecté ces consignes.
Les deux outils répondent à des questions différentes. Le premier gère l’exploration et la charge du serveur. La seconde fiabilise les chiffres d’audience. Un site a besoin des deux, mais aucun ne remplace l’autre.
Vérifiez d’abord si votre outil d’analyse l’applique déjà : certains outils excluent automatiquement les robots connus. Consultez sa documentation sur le filtrage des robots.
Si vous analysez vous-même les journaux du serveur, l’abonnement auprès de l’IAB donne accès aux fichiers mensuels. Intégrez-les dans votre traitement selon la méthode en double passe : retenez d’abord les navigateurs valides, puis écartez les robots recensés. Mettez à jour les fichiers chaque mois et conservez la version utilisée pour chaque période, afin de pouvoir expliquer une variation d’audience. Le sujet rejoint celui des fichiers log.
Comparez les visites enregistrées par le serveur à celles retenues par l’outil d’analyse, puis isolez les comportements atypiques qui subsistent après filtrage.
Repérez par exemple les visites sans aucun événement, les durées nulles, les pics réguliers à heure fixe, les séries de pages consultées en quelques secondes ou les provenances géographiques sans lien avec votre marché. Isolez-les dans un segment et suivez leur part chaque mois. Une hausse soudaine de ce segment signale un robot non déclaré, à exclure par une règle d’adresse ou de comportement.
Le risque est de croire son audience entièrement humaine. La liste ne repère que les robots qui se déclarent par une chaîne d’identification connue. Un programme qui imite un navigateur ordinaire n’est pas filtré.
Ce trafic résiduel gonfle les visites, abaisse les taux de conversion et fausse la comparaison entre canaux. Complétez donc le filtrage par une revue mensuelle des comportements atypiques et par l’exclusion des adresses identifiées. Pour un achat d’espace, demandez à la régie quel filtrage elle applique et si une mesure tierce le contrôle. Le phénomène est décrit dans la fiche pollution d’audience.
Pour la plupart des annonceurs, non. Si vous mesurez votre audience avec un outil d’analyse qui exclut déjà les robots connus, un abonnement direct n’apporte rien de plus.
L’abonnement se justifie si vous traitez vous-même des journaux de serveur, si vous vendez de l’audience ou des impressions publicitaires, ou si vous devez vous conformer aux lignes directrices de mesure de l’IAB. Avant de décider, comparez son coût annuel au poids des décisions qui reposent sur vos chiffres d’audience.
Modèles, grilles et guides prêts à l’emploi pour vos projets marketing et communication.
