La marge d’erreur est l’écart maximal probable, exprimé en points ou en unités, entre un résultat mesuré sur un échantillon et la valeur réelle de la population, pour un niveau de confiance donné, le plus souvent 95 %.
Elle mesure l’erreur d’échantillonnage, c’est-à-dire l’écart dû au seul hasard du tirage des personnes interrogées. Ajoutée au résultat et retranchée de celui-ci, elle forme l’intervalle de confiance, dont elle est la demi-largeur. Pour une proportion p issue d’un tirage aléatoire simple de n personnes, elle vaut environ 1,96 fois la racine carrée de p(1 – p)/n au niveau de 95 %. Elle est la plus forte quand la proportion vaut 50 %. Elle diminue comme la racine carrée de l’effectif : quadrupler l’échantillon divise la marge par deux.
Plusieurs paramètres la déterminent : la taille de l’échantillon, la proportion observée, le niveau de confiance et la méthode de tirage. Un échantillonnage stratifié peut la réduire. Un échantillonnage en grappe l’augmente en général, et la pondération des réponses tend à l’élargir. Quand l’échantillon représente une part importante d’une population de petite taille, un facteur de correction la réduit.
Elle se distingue du biais, erreur systématique qui déplace le résultat dans un sens donné et qu’aucune augmentation de l’effectif ne corrige. Elle se distingue aussi de la fiabilité d’un instrument de mesure, qui désigne la constance de ses résultats. La marge d’erreur accompagne la publication des sondages d’opinion, les baromètres de notoriété ou de satisfaction et les études quantitatives qui servent à dimensionner un marché.
La marge annoncée pour une étude vaut pour l’échantillon total. Elle ne vaut pas pour ses sous-groupes. À titre d’illustration, voici des calculs théoriques au niveau de 95 % pour une proportion de 50 %. Avec 1 000 répondants, la marge est d’environ 3,1 points. Pour un sous-groupe de 150 personnes extrait de ce même échantillon, elle passe à environ 8 points. Commenter l’écart entre deux régions de cette taille revient souvent à commenter du bruit.
L’écart entre deux résultats a lui aussi sa marge, plus large que celle de chacun. Pour deux échantillons indépendants de 1 000 personnes, la marge de la différence approche 4,4 points. Une progression de 3 points entre deux vagues d’un baromètre de cette taille n’est donc pas établie. Nous recommandons de fixer, avant le terrain, l’effectif minimal de tout sous-groupe qui sera commenté.
En France, la loi du 19 juillet 1977 relative à la publication et à la diffusion de certains sondages d’opinion, modifiée notamment par la loi du 25 avril 2016, encadre les sondages liés au débat électoral. Selon son article 2, dans la version consolidée publiée par la Commission des sondages, la première publication d’un tel sondage mentionne que tout sondage est affecté de marges d’erreur. Elle indique aussi les marges d’erreur des résultats publiés, « le cas échéant par référence à la méthode aléatoire ». Les études marketing privées non publiées ne relèvent pas de ce texte. Nous recommandons toutefois d’en reprendre la règle comme standard de transparence.
La formule suppose un tirage aléatoire. Or beaucoup d’études marketing reposent sur un échantillonnage par quotas ou sur un panel en ligne. Le sujet a fait débat. Un rapport d’information du Sénat de 2010, signé par Hugues Portelli et Jean-Pierre Sueur, rapporte que les instituts jugeaient alors la marge d’erreur sans portée pour cette méthode. Les rapporteurs estimaient au contraire que les quotas produisent des marges d’incertitude comparables à celles d’un tirage aléatoire. Notre position : utiliser la marge calculée comme un ordre de grandeur minimal, jamais comme une garantie, car elle ne dit rien des biais de recrutement.
Le livre blanc gratuit d’Advalians recense onze erreurs de mesure courantes, chacune avec son test et sa correction, pour savoir si vous pouvez vous fier à vos chiffres avant de décider.
Advalians, cabinet de conseil indépendant en marketing et communication, vous aide à clarifier vos choix et à décider.
La marge d’erreur mesure l’imprécision due au hasard du tirage ; le biais est une erreur systématique qui décale le résultat dans un sens. La marge se réduit en augmentant l’effectif. Le biais, non : un échantillon de 10 000 personnes recrutées uniquement parmi des clients fidèles reste biaisé.
Pour lire une étude, examinez d’abord les sources de biais : mode de recrutement, taux de réponse, formulation des questions, ordre des questions. Regardez ensuite la marge. Une étude à faible marge mais au recrutement douteux est moins utile qu’une étude plus petite et bien construite.
Pour une proportion issue d’un tirage aléatoire, multipliez 1,96 par la racine carrée de p(1 – p)/n pour un niveau de 95 %. Avec 600 répondants et un résultat de 50 %, la marge vaut environ 4 points.
Pour 500 clients tirés au hasard parmi 2 000, multipliez la marge par la racine de (N – n)/(N – 1), soit environ 0,87. Si les 500 sont ceux qui ont répondu à un envoi à tous, la formule ne s’applique pas : la non-réponse pèse plus que le hasard. Si l’échantillon est pondéré, la marge réelle est plus large : demandez à votre prestataire l’effet de la pondération.
Acceptez la marge qui reste inférieure à l’écart qui changerait votre décision. Si vous hésitez entre deux concepts et qu’un écart de 10 points vous ferait choisir, une marge de 4 à 5 points suffit. Si vous devez suivre une progression de 2 ou 3 points d’une vague à l’autre, il faut des effectifs beaucoup plus élevés.
À titre indicatif, au niveau de 95 % et pour une proportion proche de 50 %, environ 384 répondants donnent une marge de 5 points et environ 1 067 une marge de 3 points. Raisonnez sous-groupe par sous-groupe, car c’est souvent là que la précision manque.
Pas comme à une garantie : elle n’a qu’une valeur indicative. La formule suppose un tirage aléatoire, que la plupart des panels en ligne ne respectent pas, puisque leurs membres se sont inscrits volontairement.
Le risque est de prendre cette marge pour une mesure de qualité. Elle ignore les biais de recrutement propres au panel, comme la surreprésentation des personnes très connectées. Demandez au prestataire comment le panel est recruté et redressé, et comparez si possible quelques résultats à une donnée de référence connue. Le cas des échantillons construits par quotas est traité dans la fiche échantillonnage par quotas.
Seulement si la précision gagnée change la décision. La marge diminue comme la racine carrée de l’effectif : pour la diviser par deux, il faut quadrupler l’échantillon, donc le coût du terrain. Passer de 1 000 à 2 000 répondants ne la réduit que d’environ 3,1 à 2,2 points.
Augmentez l’effectif quand un sous-groupe décisif est trop petit, ou quand vous suivez de faibles évolutions dans le temps. Renoncez-y quand le budget serait mieux employé à réduire les biais : meilleur recrutement, questionnaire testé, relances pour limiter la non-réponse.
Modèles, grilles et guides prêts à l’emploi pour vos projets marketing et communication.
