Token Đơn vị cơ bản để xử lý văn bản

Trong mô hình văn bản, đầu vào được chia thành các token trước. Một token có thể là một đoạn văn bản, một phần của từ hoặc một ký hiệu; nó không thể được cố định và đồng nhất với một ký tự tiếng Trung hoặc một từ tiếng Anh.

Mô hình đọc token đầu vào rồi tạo ra token đầu ra. Phương pháp phân đoạn cụ thể, giới hạn ngữ cảnh và các ràng buộc đầu ra phụ thuộc vào mô hình và giao diện; Cùng một đoạn văn có thể được tính khác nhau trong các mô hình khác nhau.

Việc sử dụng đầu vào, đầu ra và bộ nhớ đệm có thể được định giá khác nhau. Khi so sánh chi phí cuộc gọi, bạn nên xem xét kết quả tác vụ và mức sử dụng thực tế, thay vì so sánh độ dài văn bản hiển thị của một yêu cầu đơn lẻ.