Transformer Kiến trúc mô hình dựa trên cơ chế chú ý

Transformer được đề xuất bởi bài báo Attention Is All You Need. Bài báo gốc nghiên cứu các nhiệm vụ chuyển đổi chuỗi, sử dụng cơ chế chú ý để thiết lập mối quan hệ giữa thông tin đầu vào và đầu ra.

Cơ chế chú ý cho phép mô hình kết hợp thông tin từ các vị trí khác trong chuỗi khi xử lý vị trí hiện tại. Transformer nguyên bản gồm một bộ mã hóa và một bộ giải mã, và các nghiên cứu sau đó đã phát triển các cấu trúc khác nhau dựa trên điều này.

Transformer là một kiến trúc, không phải một sản phẩm duy nhất, cũng không giống với tất cả AI. Khả năng của một mô hình thực tế cũng phụ thuộc vào các yếu tố như dữ liệu huấn luyện, mục tiêu huấn luyện, quy mô và việc triển khai kỹ thuật.