Notre glossaire, méticuleusement élaboré, est votre boussole dans l’univers complexe et dynamique du marketing, de la communication et du digital. Ici, chaque terme est une clé que nous vous aidons à décrypter pour vous ouvrir a des concepts innovants et des stratégies éprouvées. Plongez dans nos thématiques pour éclairer votre chemin vers l’excellence et la créativité.
L’A/B testing, ou test A/B, est une méthode d’expérimentation qui compare deux versions d’un même élément en les présentant à deux groupes tirés au hasard, afin de déterminer laquelle obtient le meilleur résultat sur un indicateur fixé à l’avance.
La version A, dite témoin, correspond à l’existant. La version B, ou variante, modifie un seul paramètre : un titre, un visuel, un appel à l’action, un prix, l’objet d’un courriel, l’ordre des étapes d’un formulaire. Les visiteurs sont répartis de façon aléatoire et simultanée entre les deux versions. On observe ensuite leur comportement, par exemple un clic, une inscription ou un achat, puis on soumet l’écart constaté à un test statistique. Ce test apprécie si la différence peut s’expliquer par le simple hasard.
Quatre composantes rendent la méthode fiable : une hypothèse formulée avant le test, un indicateur principal, un échantillon assez large pour détecter l’écart attendu et un seuil de signification statistique fixé à l’avance. Sans elles, la comparaison reste une simple observation. Le même principe s’applique à plus de deux versions : on parle alors de test A/B/n.
Le test A/B se distingue du test multivarié, qui modifie plusieurs éléments à la fois et mesure leurs combinaisons, et du test utilisateur, qui observe qualitativement un petit nombre de personnes. Il s’inscrit dans une démarche plus large de test and learn. On l’emploie sur les pages web et les pages d’atterrissage, dans les applications, les campagnes d’emailing et les annonces, avec pour indicateur courant le taux de conversion.
Le test A/B réduit la part d’opinion dans un arbitrage : il départage deux options, il n’en invente pas. La qualité d’un programme de tests dépend donc moins de l’outil que de la qualité des hypothèses. Une bonne hypothèse relie un changement à un comportement attendu et à une raison : « en raccourcissant le formulaire, davantage de visiteurs le termineront, parce que l’effort demandé baisse ».
Nous recommandons de classer les tests par impact attendu et par trafic disponible. Une page peu visitée ne produit pas assez de données pour départager deux versions proches. Dans ce cas, renoncez au test chiffré et observez des utilisateurs : quelques entretiens apportent davantage qu’un test non concluant.
Un écart significatif sur l’indicateur principal est une condition, pas une conclusion. Regardez aussi l’intervalle autour de l’écart : un gain annoncé de plusieurs points peut, en réalité, couvrir une fourchette allant de presque rien à beaucoup. Vérifiez que la répartition réelle des visiteurs correspond à la répartition prévue, car un écart marqué trahit un défaut technique qui fausse la comparaison.
Avec un test statistique classique, dont l’échantillon est fixé d’avance, nous déconseillons de consulter les résultats en continu pour arrêter le test dès que le seuil est franchi. Cette pratique augmente le risque de conclure à tort à une différence. Seules les méthodes dites séquentielles, conçues pour un suivi continu, autorisent un arrêt anticipé. Fixez la règle d’arrêt avant le lancement et tenez-la. Enfin, un gain mesuré sur une page ne se transpose pas automatiquement à une autre audience : relisez le résultat à la lumière de l’entonnoir de conversion complet.
Selon Google Search Central (« Minimize A/B testing impact in Google Search », 2025), un test ne doit pas montrer un jeu d’URL au robot d’exploration et un autre aux visiteurs, ce qui constitue du cloaking. Pour les variantes servies sur des URL distinctes, Google recommande la balise canonique (rel=canonical) plutôt qu’une balise noindex, et préfère une redirection temporaire (302) à une redirection permanente. Il demande aussi d’arrêter le test dès que les données suffisent et de retirer rapidement les variantes.
Côté données personnelles, la CNIL limite l’exemption de consentement de la mesure d’audience à « une finalité strictement limitée à la seule mesure de l’audience » (CNIL, 2025). Nous recommandons de faire valider avec votre délégué à la protection des données le régime des traceurs de l’outil de test, sans présumer qu’il bénéficie de cette exemption.
Advalians réalise l’audit de performance de vos dispositifs, priorise les chantiers et définit les indicateurs et tableaux de bord qui éclairent vos décisions.
Un test A/B compare deux versions qui diffèrent par un seul élément, tandis qu’un test multivarié modifie plusieurs éléments à la fois et évalue chacune de leurs combinaisons. Le second répond à une question plus fine, mais il exige beaucoup plus de trafic, car chaque combinaison doit réunir un échantillon suffisant.
Critère de choix : si votre page reçoit un trafic modeste, enchaînez des tests A/B simples, un élément après l’autre. Réservez le multivarié aux pages très fréquentées, lorsque vous voulez comprendre l’interaction entre deux ou trois éléments.
Calculez-les avant le lancement, à partir de quatre données : le taux de conversion actuel, l’écart minimal que vous voulez détecter, le seuil de confiance et la puissance statistique souhaités. Un calculateur d’échantillon, disponible dans de nombreux outils de test, donne le nombre de visiteurs requis par version.
Divisez ce nombre par le trafic quotidien de la page pour obtenir la durée, puis arrondissez à des semaines entières. Si la durée dépasse quelques semaines, revoyez l’ambition du test : visez un changement plus fort ou une page plus fréquentée.
Un résultat est fiable lorsqu’il respecte les règles posées avant le test. Vérifiez cinq points : l’échantillon prévu est atteint, la durée est écoulée, l’écart est significatif au seuil choisi, la répartition réelle des visiteurs correspond à la répartition prévue, et les indicateurs de contrôle ne se dégradent pas.
Regardez enfin l’intervalle de confiance, pas seulement l’écart moyen. Si l’un de ces points échoue, relancez le test plutôt que d’interpréter un résultat douteux.
Oui, s’il est mal conçu. Les consignes officielles des moteurs de recherche interdisent de présenter un contenu différent au robot et aux visiteurs. Elles recommandent, pour les variantes sur URL distinctes, de désigner l’URL d’origine par l’attribut canonique et d’utiliser une redirection temporaire.
Limitez la durée du test et retirez les variantes dès la conclusion. Ne laissez pas tourner un test pendant des mois : le moteur peut y voir une tentative de tromperie. Les petits changements d’apparence ont, en général, peu d’effet sur le classement.
Renoncez-y lorsque le trafic est insuffisant, lorsque la correction est évidente ou lorsque la décision est déjà prise. Une anomalie technique, une mention légale manquante ou un lien cassé se corrigent sans test.
Renoncez-y aussi si le changement est irréversible ou touche à la confiance, comme un tarif ou des conditions de vente. Dans ces cas, préférez un test utilisateur ou un déploiement progressif sur un périmètre restreint, accompagné d’un suivi des indicateurs.
Par Thomas Bizot – Président du cabinet Advalians
Pourquoi certaines décisions marketing, pourtant bien intentionnées, mènent-elles à des échecs inattendus ?..
Dans un monde où la compétition commerciale est plus intense que jamais, affiner..
