Transformer 注意メカニズムに基づくモデルアーキテクチャ

トランスフォーマーは論文『Attention Is All You Need』によって提案されました。 元の論文では、配列変換タスクを研究し、注意メカニズムを用いて入力情報と出力情報の関係を確立しました。

注意メカニズムにより、モデルは現在位置を処理する際にシーケンス内の他の場所からの情報を組み合わせることができます。 元のトランスフォーマーはエンコーダーとデコーダで構成されており、その後の研究ではこれを基に様々な構造が開発されました。

トランスフォーマーは単一の製品ではなくアーキテクチャであり、すべてのAIと同じでもありません。 実際のモデルの能力は、訓練データ、訓練目標、スケール、工学的実装などの要素にも依存します。