Architecture de réseau de neurones qui est à la base de tous les LLMs modernes. Inventée en 2017, elle a révolutionné l'IA.
AvancéLe Transformer est l'architecture qui a tout changé en IA. Présenté dans le papier 'Attention Is All You Need' (Google, 2017), il résout un problème clé : permettre à l'IA de comprendre les relations entre tous les mots d'un texte simultanément, au lieu de les lire un par un. Le mécanisme central s'appelle 'attention' : l'IA peut se concentrer sur les mots importants peu importe leur position dans le texte. GPT = Generative Pre-trained Transformer. BERT = Bidirectional Encoder Representations from Transformers. Tous les LLMs modernes sont des Transformers.
Avant le Transformer, l'IA lisait un texte comme un lecteur qui ne pouvait voir qu'un mot à la fois, en oubliant le début quand il arrivait à la fin. Le Transformer, c'est comme un lecteur avec une vision panoramique : il voit tous les mots en même temps et comprend leurs relations.
Quand Claude analyse ton code de 500 lignes, le mécanisme d'attention du Transformer lui permet de comprendre que la variable déclarée à la ligne 10 est utilisée à la ligne 487. Sans cette architecture, l'IA ne pourrait pas maintenir cette cohérence sur de longs textes.
Tu veux maîtriser ces concepts concrètement ?
LE LABO IA t'apprend à construire, automatiser et vendre avec l'IA.
Découvrir le programme