Notre glossaire, méticuleusement élaboré, est votre boussole dans l’univers complexe et dynamique du marketing, de la communication et du digital. Ici, chaque terme est une clé que nous vous aidons à décrypter pour vous ouvrir a des concepts innovants et des stratégies éprouvées. Plongez dans nos thématiques pour éclairer votre chemin vers l’excellence et la créativité.
L’overfitting (surapprentissage) est une situation dans laquelle un modèle d’apprentissage automatique apprend trop précisément les données d’entraînement, au point de perdre sa capacité à généraliser à de nouvelles données. Il mémorise les cas particuliers, y compris le bruit ou les anomalies, au détriment des structures générales.
Le phénomène se repère en comparant deux mesures d’erreur. Sur les données d’entraînement, l’erreur continue de baisser ou se stabilise. Sur un jeu de validation, tenu à l’écart de l’apprentissage, elle remonte. Le modèle a alors appris des particularités propres à son échantillon, qui ne se retrouvent pas dans les cas réels.
Plusieurs facteurs y concourent : un jeu de données trop petit au regard du nombre de variables, des exemples peu représentatifs de la réalité, un bruit important, un modèle trop complexe ou un entraînement prolongé sans contrôle. Le Grand dictionnaire terminologique de l’Office québécois de la langue française retient les termes « surapprentissage » et « surajustement ». Il note que le phénomène survient notamment lorsque les données d’entraînement sont insuffisantes ou contiennent trop d’informations non pertinentes.
L’overfitting s’oppose au sous-apprentissage, où le modèle, trop simple, échoue déjà sur ses propres données d’entraînement. Il se distingue aussi de la fuite d’information, où une donnée indisponible au moment de la décision s’est glissée dans l’apprentissage : le test lui-même devient trompeur. Le surapprentissage concerne tous les modèles, des régressions aux réseaux de neurones. En marketing, il menace le scoring prédictif, la prévision des ventes, les modèles d’attribution et le media mix modeling.
Un modèle surajusté ne prévient pas. Il affiche d’excellents résultats lors de sa présentation, puis déçoit en production. Pour une direction marketing, le danger est de réallouer un budget ou de cibler des clients sur la foi d’un score de test flatteur. Nous recommandons d’exiger, pour tout modèle qui oriente une décision, deux chiffres présentés côte à côte : la performance sur l’entraînement et la performance sur des données jamais vues. Un écart important est un signal d’alerte en soi.
Le cours d’apprentissage automatique publié par Google pour les développeurs (Machine Learning Crash Course) décrit le signe classique : la perte baisse ou se stabilise sur l’entraînement et augmente sur la validation. Il cite deux causes, un jeu d’entraînement qui représente mal les données réelles et un modèle trop complexe. Il pose aussi des conditions de bonne généralisation, dont un jeu de données stationnaire, c’est-à-dire stable dans le temps.
À notre sens, cette condition de stabilité est la plus fragile en marketing. Saisonnalité, promotions, évolution de l’offre et des prix modifient les comportements. Un modèle peut alors coller au passé sans rien dire de l’avenir.
Suivez l’écart entre performance d’entraînement et performance de test, la stabilité des résultats d’une période de test à l’autre et la performance par segment. Les petits segments sont les premiers touchés. Il n’existe pas de seuil d’écart universel : nous proposons de fixer, avant le projet, l’écart toléré et la référence simple que le modèle doit battre. Ces garde-fous relèvent d’une démarche d’IA responsable.
En assistance à maîtrise d’ouvrage, Advalians évalue les dispositifs proposés par vos prestataires et vous restitue ses constats sous forme de priorités claires.
Le surapprentissage désigne un modèle trop ajusté à ses données d’entraînement : il y excelle mais se trompe sur de nouveaux cas. Le sous-apprentissage désigne un modèle trop simple : il se trompe déjà sur ses propres données d’entraînement.
Le diagnostic se lit sur deux erreurs. Erreur faible à l’entraînement et forte en test : surapprentissage, il faut simplifier, régulariser ou enrichir les données. Erreurs fortes des deux côtés : sous-apprentissage, il faut des variables plus informatives ou un modèle plus riche. Un bon modèle présente des erreurs proches et faibles sur les deux jeux.
Séparez les données dès le départ et entraînez le modèle sur une période ancienne, puis testez-le sur la période la plus récente. Limitez le nombre de variables au regard du nombre de clients ayant connu l’événement visé, comme un achat ou un départ.
Comparez ensuite le modèle à une référence simple, par exemple une segmentation existante. Appliquez une régularisation et une validation croisée pendant la mise au point. Réservez un jeu de test intact pour la décision finale, et ne le consultez qu’une fois.
Demandez la performance du modèle sur trois jeux : entraînement, validation et test. Un écart net entre l’entraînement et le test signale un surapprentissage. Exigez que le test porte sur une période postérieure à l’entraînement.
Demandez aussi la performance par segment et sur plusieurs périodes successives : un modèle robuste varie peu. Méfiez-vous des scores presque parfaits : sur l’entraînement, ils signalent souvent un surapprentissage ; sur le test, plutôt une fuite d’information. Enfin, prévoyez une phase pilote en conditions réelles, mesurée contre un groupe témoin, avant tout déploiement complet.
La plus courante consiste à réutiliser le même jeu de test pour comparer de nombreuses versions du modèle. Le choix final s’ajuste alors aux particularités de ce jeu, et le score annoncé devient trop optimiste.
Deuxième erreur : préparer les données sur l’ensemble du fichier avant de le découper, par exemple calculer des moyennes ou normaliser les variables. La préparation intègre alors une information issue du test. Cette fuite d’information gonfle le score et peut cacher un défaut de généralisation. Gardez un jeu de test isolé dès le départ, appliquez-lui seulement les transformations apprises sur l’entraînement et ne l’utilisez qu’une fois.
Oui lorsque les données sont rares, bruitées ou couvrent peu de périodes : un modèle simple généralise souvent mieux et s’explique plus facilement. C’est fréquent pour un scoring construit sur quelques milliers de clients.
Un modèle plus complexe se justifie lorsque les données sont abondantes et variées, et que son gain sur un jeu de test récent dépasse un seuil fixé à l’avance. Dans tous les cas, gardez le modèle simple comme référence : s’il fait presque aussi bien, retenez-le pour son coût et sa lisibilité.
Par Thomas Bizot – Président du cabinet Advalians
