Notre glossaire, méticuleusement élaboré, est votre boussole dans l’univers complexe et dynamique du marketing, de la communication et du digital. Ici, chaque terme est une clé que nous vous aidons à décrypter pour vous ouvrir a des concepts innovants et des stratégies éprouvées. Plongez dans nos thématiques pour éclairer votre chemin vers l’excellence et la créativité.
Les transformers, ou transformeurs selon le terme officiel français, forment une architecture de réseau de neurones qui traite une séquence en parallèle grâce à un mécanisme d’attention, et qui sert de base à la plupart des grands modèles de langage.
L’architecture a été présentée en 2017 par Ashish Vaswani et ses coauteurs dans l’article « Attention Is All You Need ». Elle repose uniquement sur des mécanismes d’attention, sans récurrence ni convolution. Les auteurs l’ont évaluée sur la traduction automatique et l’ont décrite comme plus parallélisable et plus rapide à entraîner que les modèles antérieurs. Le principe de l’autoattention est le suivant : chaque token d’une séquence est mis en relation avec tous les autres, et le modèle pondère leur importance pour construire une représentation qui tient compte du contexte. Comme l’architecture ne lit pas les éléments dans l’ordre, une information de position est ajoutée à chaque token.
Un transformer empile des couches identiques. Chacune associe une attention dite multitête, qui examine plusieurs types de relations à la fois, et un petit réseau de calcul appliqué à chaque position. Le modèle d’origine comptait un encodeur, qui analyse la séquence d’entrée, et un décodeur, qui génère la sortie, avec six couches chacun dans sa version de base. Les variantes n’en gardent souvent qu’une partie : l’encodeur seul pour classer ou analyser un texte, le décodeur seul pour générer du texte.
La Commission d’enrichissement de la langue française a défini le transformeur en 2024 comme un « réseau de neurones artificiels qui réalise un traitement parallèle des données d’entraînement ». Il se distingue des réseaux récurrents, qui traitent les éléments un par un. Il se distingue aussi du modèle de langage, qui est un modèle entraîné, alors que le transformer en décrit l’architecture. Le terme s’emploie en traitement automatique du langage naturel, mais aussi pour l’image et le son.
Un responsable marketing n’a pas besoin de programmer un transformer. Comprendre son principe aide en revanche à lire les forces et les limites des outils qui en dépendent. L’attention donne aux modèles leur aisance avec le contexte : un pronom est rattaché au bon nom, un terme ambigu est interprété selon la phrase. Le modèle, lui, ne vérifie rien : entraîné à produire la suite la plus probable, il calcule des relations entre tokens, pas la vérité d’un énoncé. C’est l’une des origines des hallucinations. Il éclaire aussi la sensibilité des réponses à la formulation du prompt : chaque mot de la consigne entre dans le calcul du contexte.
Selon l’article de 2017, le coût de calcul d’une couche d’autoattention croît avec le carré de la longueur de la séquence. Doubler la taille d’un document traité d’un bloc multiplie donc ce poste par quatre, toutes choses égales par ailleurs. Des techniques d’optimisation existent, mais la conséquence pratique demeure : les textes longs coûtent plus cher et répondent plus lentement.
Nous recommandons d’en tirer une règle simple. Avant d’envoyer un corpus entier à un modèle, demandez-vous si un extrait suffit. Le RAG, qui ne transmet que les passages pertinents, répond souvent mieux à ce besoin qu’une fenêtre de contexte toujours plus grande.
En 2020, Alexey Dosovitskiy et ses coauteurs ont montré, dans l’article « An Image is Worth 16×16 Words », qu’un transformer appliqué directement à des séquences de fragments d’image, pré-entraîné sur de grandes quantités de données, classait les images aussi bien que les meilleurs réseaux convolutifs. La Commission d’enrichissement de la langue française cite aussi la génération de texte, d’image et d’audio parmi ses usages. Cette polyvalence explique l’essor de la multimodalité : une même famille d’architectures traite plusieurs types de contenus.
Sans lien commercial avec les fournisseurs d’outils, Advalians évalue vos dispositifs et vos pratiques, priorise les chantiers et formalise une feuille de route partagée.
Le transformer est une architecture, c’est-à-dire un plan de construction ; le modèle de langage est un modèle entraîné qui peut reposer sur ce plan. Un transformer non entraîné ne sait rien faire. Un modèle de langage peut à l’inverse utiliser une autre architecture, comme les réseaux récurrents : avec les réseaux convolutifs, ils dominaient avant 2017 selon l’article fondateur.
Pour un acheteur d’outil, la distinction est utile : savoir qu’un produit repose sur un transformer ne dit rien de sa qualité. Celle-ci dépend des données d’entraînement, de la taille du modèle et des réglages. Demandez donc des tests sur vos cas, pas une description technique.
Partez de la tâche. Pour classer des avis, détecter un sentiment, extraire des noms ou rapprocher des textes, un modèle de type encodeur suffit souvent : il est plus léger et ses sorties sont faciles à contrôler. Pour rédiger, reformuler, résumer ou dialoguer, il faut un modèle génératif, fondé sur un décodeur.
Étape suivante : lorsque la tâche est une classification, testez les deux options sur une centaine d’exemples annotés. Si le modèle léger atteint la qualité requise, retenez-le : il coûtera moins cher à chaque traitement.
Comparez-les sur vos propres cas, avec une grille identique. Réunissez un jeu de test de trente à cinquante demandes représentatives, dont des cas limites. Faites-le traiter par chaque outil dans les mêmes conditions. Notez l’exactitude, le respect des consignes, le temps de réponse et le coût par tâche.
Les classements publiés sur des bancs d’essai généralistes donnent une indication de départ. Ils ne remplacent pas un test sur votre langue, votre secteur et vos formats. Refaites la comparaison à chaque changement de version du modèle.
Le premier risque est économique : le calcul de l’attention croît avec le carré de la longueur de la séquence, donc le coût et le temps de réponse augmentent vite. Le second est la perte d’information : au-delà de la longueur maximale acceptée, le texte est tronqué ou refusé selon l’outil.
Pour limiter ces risques, découpez le document en sections cohérentes et traitez-les séparément. Vérifiez ensuite sur un échantillon que les informations situées au début, au milieu et à la fin du document sont bien reprises dans la synthèse.
Non. Pour une tâche simple et stable, des règles ou un modèle statistique classique peuvent suffire : repérer des mots-clés, trier des messages selon des catégories fixes, détecter un code produit. Ils sont moins coûteux, plus rapides et plus faciles à expliquer.
Réservez le transformer aux tâches où le contexte change le sens : nuance d’un avis, ironie, reformulation, synthèse. Critère de choix : si des règles simples traitent correctement la grande majorité de vos cas de test, commencez par elles et mesurez ce qui reste.
Par Thomas Bizot – Président du cabinet Advalians
