Notre glossaire, méticuleusement élaboré, est votre boussole dans l’univers complexe et dynamique du marketing, de la communication et du digital. Ici, chaque terme est une clé que nous vous aidons à décrypter pour vous ouvrir a des concepts innovants et des stratégies éprouvées. Plongez dans nos thématiques pour éclairer votre chemin vers l’excellence et la créativité.
Un token, ou jeton textuel selon le terme officiel français, est l’unité élémentaire de texte qu’un modèle de langage lit et produit, obtenue par un découpage automatique du texte en mots, fragments de mots ou caractères.
La Commission d’enrichissement de la langue française l’a défini en 2024 comme la « donnée élémentaire d’un grand modèle de langage ». Le découpage est réalisé par un outil de segmentation, le tokenizer en anglais, qui dispose d’un vocabulaire fixe. Un mot fréquent forme en général un seul token. Un mot rare ou long est divisé en plusieurs fragments. L’usage de ces fragments de mots en traduction automatique neuronale a été proposé en 2015 par Rico Sennrich, Barry Haddow et Alexandra Birch. Chaque token reçoit ensuite un numéro, puis une représentation numérique, appelée embedding, que le modèle traite.
Le token sert d’unité de compte à trois niveaux. Le modèle génère sa réponse token après token, en choisissant chaque fois parmi les suites probables. La fenêtre de contexte, c’est-à-dire le volume maximal qu’un modèle peut traiter en une fois, s’exprime en tokens. Le coût d’usage des modèles commerciaux est le plus souvent calculé en tokens, en distinguant ceux de la requête et ceux de la réponse. La Commission note que le nombre de jetons textuels sert aussi à estimer et à facturer le coût de fonctionnement des modèles commerciaux.
Le token ne se confond pas avec le mot : le rapport entre les deux varie selon la langue, le vocabulaire de l’outil de segmentation et la nature du texte. Il se distingue aussi de l’embedding, qui est la représentation chiffrée d’un token et non le fragment de texte lui-même. Hors de l’IA, le terme désigne d’autres réalités, comme un jeton d’authentification en sécurité informatique ou un actif numérique sur une chaîne de blocs. En marketing, il intervient dans le budget des outils d’IA, la longueur des contenus traités et le choix des modèles.
Pour une direction marketing, le token est d’abord une unité économique. Il détermine ce que coûte un prompt, le temps de réponse et la quantité de documents qu’un outil peut prendre en compte. Un abonnement par utilisateur masque cette réalité. Une intégration par interface de programmation la rend visible, car la facturation suit alors le volume de tokens consommés.
Le volume de tokens pèse aussi sur l’inférence : plus la requête et la réponse sont longues, plus le calcul est lourd et la latence élevée. Nous recommandons donc de raisonner en coût par tâche utile, et non en prix unitaire du token.
Le découpage dépend du vocabulaire appris par l’outil de segmentation. Une étude d’Aleksandar Petrov et de ses coauteurs, « Language Model Tokenizers Introduce Unfairness Between Languages », présentée à la conférence NeurIPS en 2023, l’illustre. Un même texte traduit dans différentes langues peut produire des nombres de tokens très différents, avec des écarts allant jusqu’à quinze fois dans certains cas. Les auteurs en relèvent les conséquences : coût du service, temps de traitement et quantité de contexte disponible.
Pour une équipe francophone, la leçon est pratique. Les ordres de grandeur publiés pour l’anglais ne s’appliquent pas tels quels. Mesurez le nombre de tokens sur vos propres textes, avec l’outil de segmentation du modèle retenu.
Advalians assure à temps partagé le pilotage de vos plans d’action, la coordination des ressources internes et externes, le suivi budgétaire et le reporting.
Un token est une unité de découpage propre à chaque modèle ; un mot est une unité de la langue. Un mot courant correspond souvent à un seul token. Un mot long, rare ou composé peut en former plusieurs. La ponctuation est également découpée en tokens.
Le rapport entre mots et tokens varie donc selon la langue, le vocabulaire de l’outil de segmentation et le type de texte. Pour vos estimations, ne retenez pas un ratio générique : mesurez-le sur un échantillon de vos propres contenus, avec le modèle que vous comptez utiliser.
Partez d’un échantillon réel plutôt que d’une règle générale. Sélectionnez une vingtaine de tâches représentatives, avec leurs textes sources et les réponses attendues. Comptez les tokens de la requête et de la réponse avec l’outil de comptage du modèle retenu, ou relevez la consommation affichée après quelques essais.
Multipliez ensuite la moyenne par le nombre de tâches prévues chaque mois. Ajoutez une marge pour les reprises et les échanges successifs, qui renvoient l’historique au modèle. Appliquez enfin le tarif en vigueur, en distinguant tokens d’entrée et tokens de sortie.
Suivez le coût par tâche aboutie plutôt que le volume brut. Quatre indicateurs suffisent en général :
Une hausse soudaine de la taille moyenne des requêtes signale souvent un historique de conversation non purgé ou des documents envoyés en entier.
Selon l’outil, la requête est refusée, le texte est tronqué ou la réponse s’interrompt avant la fin. Le risque principal est silencieux : une partie du document peut être ignorée sans message d’erreur visible, et la synthèse produite paraît complète alors qu’elle ne l’est pas.
Pour l’éviter, vérifiez la taille des documents avant envoi. Découpez les textes longs en sections traitées séparément, puis consolidez les résultats. Contrôlez enfin qu’une information placée en fin de document figure bien dans la réponse.
Pas uniquement. Le prix par token ne dit rien du nombre de tokens nécessaires ni de la qualité obtenue. Un modèle moins cher peut demander plus de reprises, ou découper le même texte en davantage de tokens.
Comparez plutôt le coût par tâche réussie. Faites traiter le même lot de cas par deux ou trois modèles, notez la qualité des réponses, puis divisez le coût total par le nombre de résultats utilisables. Le prix par token devient un critère décisif pour les traitements massifs et simples, comme le classement de milliers de messages.
Par Thomas Bizot – Président du cabinet Advalians
