Token 模型处理文本的基本单位

在文本模型中，输入会先被拆成 Token。一个 Token 可能是一段文字、一个词的一部分或一个符号，不能把它固定等同于一个汉字或一个英文单词。

模型读取输入 Token，再生成输出 Token。具体的分词方式、上下文上限和输出限制取决于模型与接口；同样一段文字，在不同模型里的计数可能不同。

输入、输出和缓存用量可能采用不同价格。比较调用成本时，应结合任务结果与实际用量，不能只比较一次请求的可见文字长度。