Token 模型處理文本的基本單位

在文字模型中，輸入會先被拆成 Token。 一個 Token 可能是一段文字、一個詞的一部分或一個符號，不能把它固定等同於一個漢字或一個英文單詞。

模型讀取輸入 Token，再生成輸出 Token。 具體的分詞方式、上下文上限和輸出限制取決於模型與介面; 同樣一段文字，在不同模型裡的計數可能不同。

輸入、輸出和快取用量可能採用不同價格。 比較調用成本時，應結合任務結果與實際用量，不能只比較一次請求的可見文字長度。