BAIYUN SI / AI LEXICON
Transformer Architecture du modèle basée sur des mécanismes d’attention
En 2017, une architecture de réseau de neurones centrée sur les mécanismes d’attention a été proposée.
Transformer a été proposé par l’article Attention Is All You Need. L’article original étudiait les tâches de transformation de séquences, en utilisant des mécanismes d’attention pour établir des relations entre les informations d’entrée et de sortie.
Le mécanisme d’attention permet au modèle de combiner des informations provenant d’autres emplacements de la séquence lors du traitement de la position actuelle. Le Transformer original se compose d’un encodeur et d’un décodeur, et des recherches ultérieures ont développé différentes structures à partir de cela.
Un Transformer est une architecture, pas un produit unique, ni la même chose que toute l’IA. La capacité d’un modèle réel dépend également de facteurs tels que les données d’entraînement, les objectifs d’entraînement, l’échelle et la mise en œuvre technique.
Relations avec la communauté Baiyun
Comprendre une certaine structure sous-jacente aide à établir des attentes raisonnables concernant les outils discutés dans la communauté Baiyun. Il n’est pas nécessaire de devenir chercheur pour commencer à pratiquer, mais il faut se demander constamment : pourquoi est-ce efficace, et où est-il sujet à l’erreur ?
Pour aller plus loin
Retour au voyage de la lumière Rejoignez la communauté Baiyun SI