L'architecture Transformer, introduite dans l'article 'Attention Is All You Need' de 2017, a revolutionne l'IA. Elle utilise l'auto-attention pour traiter simultanement toutes les parties de l'entree plutot que sequentiellement. Cela permet un entrainement efficace sur de grands jeux de donnees et alimente pratiquement tous les modeles de langage modernes.











