Token L’unité de base pour traiter le texte

Dans les modèles textuels, les entrées sont d’abord divisées en jetons. Un jeton peut être un texte, une partie d’un mot ou un symbole ; il ne peut pas être fixé ni assimilé à un caractère chinois ou à un mot anglais.

Le modèle lit le jeton d’entrée puis génère le jeton de sortie. La méthode de segmentation spécifique, la limite de contexte et les contraintes de sortie dépendent du modèle et de l’interface ; Le même passage peut compter différemment selon les modèles.

L’utilisation des entrées, sorties et caches peut être tarifée différemment. Lorsque vous comparez les coûts d’appel, vous devez prendre en compte les résultats de la tâche et l’utilisation réelle, plutôt que de comparer la longueur visible du texte d’une seule requête.