Transformer 주의 메커니즘에 기반한 모델 아키텍처

트랜스포머는 논문 『Attention Is All You Need』에서 제안되었습니다. 원래 논문은 입력과 출력 정보 간의 관계를 확립하기 위해 주의 메커니즘을 이용한 서열 변환 과제를 연구했습니다.

주의 메커니즘은 현재 위치를 처리할 때 모델이 시퀀스 내 다른 위치에서 얻은 정보를 결합할 수 있게 합니다. 원래 트랜스포머는 인코더와 디코더로 구성되어 있으며, 이후 연구들은 이를 바탕으로 다양한 구조를 개발했습니다.

트랜스포머는 단일 제품이 아니라 아키텍처이며, 모든 AI와 동일하지도 않습니다. 실제 모델의 능력은 학습 데이터, 학습 목표, 규모, 공학 구현과 같은 요소들에 따라 달라집니다.