Plain-language definition
一句话定义
大模型处理文本的最小单位，可能是一个词、一个字，甚至一个词根。模型按 token 计价、计长度。
Original definition
英文原文定义
A token is the basic unit of text processed by a language model — a chunk that may be a word, subword, or character — produced by a tokenizer.
Two levels
分难度讲解
入门版
对人类是「字」或「词」，对模型是「token」。一个英文单词常被切成 1-2 个 token，一个中文字常是 1-2 个 token。模型的输入输出、价格、上下文长度，都按 token 计算。
进阶版
主流分词算法：BPE（GPT 系列）、WordPiece（BERT）、SentencePiece、Unigram。token id 是词表中的索引。1 token ≈ 0.75 个英文单词 ≈ 0.5 个汉字。上下文窗口（如 128k）以 token 计。
Real-world example
真实例子
「ChatGPT is great」可能被切成 4 个 token：Chat / G / PT / is / great（具体取决于 tokenizer）。
Keep exploring