Transformer 基於注意力機制的模型架構

Transformer 由論文 Attention Is All You Need 提出。 原論文研究序列轉換任務，使用注意力機制建立輸入與輸出信息之間的關係。

注意力機制讓模型在處理當前位置時，結合序列中其他位置的信息。 原始 Transformer 由編碼器與解碼器構成，後續研究在這一基礎上發展出不同結構。

Transformer 是一種架構，不是某個單獨產品，也不等同於所有 AI。 一個實際模型的能力，還取決於訓練數據、訓練目標、規模與工程實現等因素。