BAIYUN SI / AI LEXICON
Token Базовый блок для обработки текста
Базовая единица обработки информации в моделях также служит основой для измерения использования во многих сервисах ИИ.
В текстовых моделях входные данные сначала делятся на токены. Жетон может быть кусочком текста, частью слова или символом; его нельзя фиксировать и приравнивать к китайскому иероглифу или английскому слову.
Модель считывает входной токен и затем генерирует выходной токен. Конкретный метод сегментации, лимит контекста и ограничения выхода зависят от модели и интерфейса; Один и тот же отрывок может считаться по-разному в разных моделях.
Использование ввода, вывода и использования кэша может оцениваться по-разному. При сравнении стоимости звонков следует учитывать результаты задачи и фактическое использование, а не сравнивать видимую длину текста одного запроса.
Связь с общиной Байюнь
Теперь для Baiyun отправной точкой стала предложение токенов. Мы хотим прояснить модель и правила ценообразования, чтобы обучение, разработка и бизнес-практика могли видеть наше реальное потребление. Конкретные правила зависят от объявлений платформы.
Дополнительная литература
Возвращение в путешествие света Присоединяйтесь к сообществу Baiyun SI