Une faible latence est critique dans les cas d’usage interactifs : chatbots, assistants vocaux, recommandations dynamiques, analyse vidéo en direct, etc. La latence dépend de plusieurs facteurs : la complexité du modèle, l’architecture matérielle (CPU, GPU, TPU), l’optimisation logicielle, la taille du batch, ou encore la charge du système. Elle peut aussi varier en fonction de la localisation du serveur (latence réseau). Pour l’utilisateur final, une latence élevée nuit à l’expérience : lenteur, ruptures de dialogue, ou manque de fluidité. Pour les équipes techniques, réduire la latence implique d’arbitrer entre précision du modèle et vitesse d’exécution, de choisir des formats de modèles adaptés (distilled, quantized) et de monitorer les performances en continu. La latence devient aussi un enjeu de coût, car elle impacte la consommation de ressources et l’échelle de déploiement.