L’architecture transformeur a remplacé les modèles séquentiels traditionnels (RNN, LSTM) dans la plupart des applications NLP. Grâce à son parallélisme, elle est plus rapide à entraîner et plus performante pour gérer des dépendances longues dans les textes. Elle repose sur des blocs d’attention (self-attention), des couches normalisées et des mécanismes d’encodage/décodage. C’est l’ossature de tous les grands modèles de langage (GPT, BERT, T5, etc.), mais aussi de modèles multimodaux. Les transformeurs sont également utilisés en vision par ordinateur, en bioinformatique ou dans la modélisation de séries temporelles. Leur souplesse et leur capacité à capturer des représentations profondes en font une technologie-clé. Toutefois, ils sont coûteux en ressources et nécessitent des méthodes d’optimisation spécifiques (quantization, pruning, distillation) pour les rendre déployables à grande échelle.