BAIYUN SI / AI LEXICON
Token Die Grundeinheit zur Textverarbeitung
Die grundlegende Einheit zur Informationsverarbeitung in Modellen bildet auch die Grundlage für die Messung der Nutzung in vielen KI-Diensten.
In Textmodellen werden Eingaben zunächst in Tokens aufgeteilt. Ein Token kann ein Textstück, ein Teil eines Wortes oder ein Symbol sein; es kann nicht festgelegt und mit einem chinesischen oder englischen Wort gleichgesetzt werden.
Das Modell liest das Eingabetoken und erzeugt dann das Ausgabetoken. Die spezifische Segmentierungsmethode, das Kontextlimit und die Ausgabebeschränkungen hängen vom Modell und der Schnittstelle ab; Derselbe Abschnitt kann in verschiedenen Modellen unterschiedlich zählen.
Eingabe-, Ausgabe- und Cache-Nutzung kann unterschiedlich bepreist sein. Beim Vergleich der Anrufkosten sollten Sie die Aufgabenergebnisse und die tatsächliche Nutzung berücksichtigen, anstatt die sichtbare Textlänge einer einzelnen Anfrage zu vergleichen.
Beziehung zur Baiyun-Gemeinschaft
Token-Versorgung ist jetzt Baiyuns Ausgangspunkt. Wir möchten das Modell und die Preisregeln klarstellen, damit Lernen, Entwicklung und Geschäftspraxis unseren tatsächlichen Konsum sehen können. Spezifische Regeln unterliegen der Ankündigung der Plattform.
Weiterführende Literatur
Rückkehr zur Reise des Lichts Tritt der Baiyun SI-Gemeinschaft bei