Transformer 基于注意力机制的模型架构

Transformer 由论文 Attention Is All You Need 提出。原论文研究序列转换任务，使用注意力机制建立输入与输出信息之间的关系。

注意力机制让模型在处理当前位置时，结合序列中其他位置的信息。原始 Transformer 由编码器与解码器构成，后续研究在这一基础上发展出不同结构。

Transformer 是一种架构，不是某个单独产品，也不等同于所有 AI。一个实际模型的能力，还取决于训练数据、训练目标、规模与工程实现等因素。