Notre glossaire, méticuleusement élaboré, est votre boussole dans l’univers complexe et dynamique du marketing, de la communication et du digital. Ici, chaque terme est une clé que nous vous aidons à décrypter pour vous ouvrir a des concepts innovants et des stratégies éprouvées. Plongez dans nos thématiques pour éclairer votre chemin vers l’excellence et la créativité.
Le tuning, ou réglage d’un modèle, désigne l’ensemble des opérations qui ajustent un modèle d’apprentissage automatique, ses hyperparamètres, ses paramètres ou ses seuils de décision, afin d’améliorer sa performance sur une tâche donnée.
Le terme couvre plusieurs niveaux d’intervention. Le réglage des hyperparamètres porte sur les choix fixés avant l’entraînement : taux d’apprentissage, nombre de couches, taille des lots de données, intensité de la régularisation. Ces valeurs ne sont pas apprises par le modèle. L’équipe les choisit, puis compare plusieurs combinaisons par essais successifs. L’ajustement des paramètres consiste à poursuivre l’entraînement d’un modèle préentraîné sur des données propres à un domaine : c’est le fine-tuning. Le réglage du seuil de décision fixe enfin le score à partir duquel un cas est classé dans une catégorie, sans modifier le modèle ni les probabilités qu’il produit.
Une démarche de tuning réunit un espace de recherche, c’est-à-dire les valeurs candidates de chaque réglage, une méthode d’exploration, un protocole de validation et une mesure de performance. Les méthodes d’exploration vont de la recherche exhaustive sur une grille au tirage aléatoire de combinaisons. Des méthodes adaptatives concentrent les essais sur les zones prometteuses. La validation croisée compare les combinaisons sans toucher aux données réservées à l’évaluation finale.
Le tuning est donc un terme plus large que le fine-tuning, qui n’en est qu’une forme. Il se distingue aussi du prompt engineering, qui oriente un modèle par ses consignes sans le modifier. Il s’applique à tout modèle de machine learning, du modèle de classification au réseau de neurones. En marketing, il concerne les modèles de prévision, de classification de messages clients ou de segmentation, réglés par des équipes data ou par des prestataires.
Le tuning a la réputation d’un travail technique réservé aux spécialistes. Sa question centrale est pourtant une question de pilotage : quelle erreur coûte le plus cher à l’entreprise ? Un modèle qui repère les clients prêts à partir ne se règle pas de la même façon s’il faut éviter les fausses alertes ou ne manquer aucun départ. Nous recommandons de fixer ce critère, avec les métiers, avant le premier essai. Notre point de vue : le réglage affine un modèle, il ne corrige ni des données pauvres ni une tâche mal définie.
Dans « Random Search for Hyper-Parameter Optimization » (Journal of Machine Learning Research, 2012), James Bergstra et Yoshua Bengio montrent que des essais tirés au hasard sont plus efficaces qu’une grille pour régler les hyperparamètres. Leur explication : pour la plupart des jeux de données, seuls quelques hyperparamètres comptent vraiment, et ce ne sont pas toujours les mêmes. La documentation de la bibliothèque libre scikit-learn ajoute une règle de méthode. Le modèle retenu doit être évalué sur des données qui n’ont pas servi à la recherche des réglages : elle recommande de séparer un jeu de développement et un jeu d’évaluation.
Nous proposons quatre repères de pilotage, qui ne sont pas des normes :
En pilotage de projet externalisé, Advalians cadre votre projet de modèle, coordonne équipes internes et prestataires et assure un reporting régulier.
Le tuning désigne tout réglage d’un modèle : ses hyperparamètres, ses paramètres ou ses seuils de décision. Le fine-tuning en est une forme précise : il poursuit l’entraînement d’un modèle préentraîné sur des données d’un domaine, ce qui modifie ses paramètres.
Critère pratique : si l’opération exige de nouvelles données annotées et un nouvel entraînement, c’est un fine-tuning. Si elle consiste à choisir des valeurs de réglage ou un seuil, puis à comparer des résultats, c’est un tuning au sens courant. Précisez toujours lequel dans une demande à un prestataire.
Commencez par fixer la mesure de réussite et mettez de côté un jeu de test que personne ne consulte pendant le réglage. Mesurez ensuite le modèle avec ses réglages par défaut : c’est votre référence.
Définissez un budget, par exemple un nombre d’essais et une date d’arrêt. Préférez un tirage aléatoire des combinaisons à une grille exhaustive quand les réglages sont nombreux. Comparez les combinaisons par validation croisée. Évaluez enfin la meilleure une seule fois sur le jeu de test, puis consignez les réglages retenus et les données utilisées.
Comparez le modèle réglé à sa référence, sur le même jeu de test, jamais utilisé pendant le réglage. C’est le seul écart qui compte.
Vérifiez ensuite que ce gain dépasse la variation naturelle du score : relancez l’entraînement plusieurs fois et observez l’amplitude des résultats. Un gain plus faible que cette amplitude relève du hasard. Contrôlez aussi l’écart entre le score de validation et le score de test. S’il se creuse, le réglage s’est adapté aux données de validation. Traduisez enfin le gain en effet métier, par exemple le nombre de fausses alertes évitées.
Le principal risque est de régler le modèle sur les données qui servent à l’évaluer. Le score affiché devient alors optimiste, et la performance réelle décevra une fois le modèle en production. C’est une forme de surapprentissage, portée par le réglage plutôt que par l’entraînement.
Pour l’éviter, séparez trois jeux de données dès le départ : entraînement, validation et test. Interdisez tout retour sur les réglages après la mesure finale. Si vous devez reprendre le réglage, constituez un nouveau jeu de test ou utilisez une validation croisée imbriquée.
En règle générale, commencez par les données et la définition de la tâche. Un réglage fin apporte peu si les exemples sont rares, mal annotés ou peu représentatifs des cas réels. C’est notre recommandation, non une loi : certains modèles restent très sensibles à leurs réglages.
Investissez dans le tuning lorsque les données sont stables et propres, que le modèle approche du seuil métier et qu’un faible gain a une valeur réelle. Renoncez à un réglage poussé si la tâche change souvent ou si le gain attendu reste inférieur à la variation naturelle du score.
Par Thomas Bizot – Président du cabinet Advalians
