Token 텍스트 처리의 기본 단위

텍스트 모델에서는 입력이 먼저 토큰으로 나뉩니다. 토큰은 텍스트 조각, 단어의 일부, 또는 기호일 수 있으며, 고정되거나 한자나 영어 단어와 동일하게 동일시될 수 없습니다.

모델은 입력 토큰을 읽은 후 출력 토큰을 생성합니다. 구체적인 세분화 방법, 맥락 제한, 출력 제약 조건은 모델과 인터페이스에 따라 다릅니다; 같은 지문이 모델에 따라 다르게 계산될 수 있습니다.

입력, 출력, 캐시 사용량은 서로 다르게 가격이 책정될 수 있습니다. 통화 비용을 비교할 때는 단일 요청의 보이는 텍스트 길이보다는 작업 결과와 실제 사용량을 고려해야 합니다.