底层细节:Tokenization 是如何工作的?BPE、WordPiece 有啥区别

底层细节:Tokenization 是如何工作的?BPE、WordPiece 有啥区别

1️⃣ 考察意图

面试官想考察你对 NLP 模型“第一公里”的底层理解，而非简单背诵概念。这是一道“背概念 + 工程取舍”混合题。刁钻点在于：多数人只背了 BPE 和 WordPiece 的“频率 vs 似然”区别，但面试官真正想看的是你是否理解 tokenization 如何影响模型行为——比如词汇表大小对序列长度、OOV 率、训练效率的 trade-off，以及为什么 GPT 系列用 BPE 而 BERT 用 WordPiece。答好了能展示你对模型输入层的硬核工程认知，而非只会调包。

2️⃣ 标准答

Tokenization 本质是将原始文本映射为整数 ID 序列，是模型理解语言的“第一道门”。核心挑战是平衡词汇表大小与 OOV（Out-of-Vocabulary）率。现代主流方案是 subword tokenization，BPE 和 WordPiece 是其中两大代表。

BPE（Byte Pair Encoding）

• 原理：从字符级词汇表开始，迭代统计当前所有相邻符号对的频率，合并出现次数最多的那对，直到词汇表达到预设大小（如 50K）。
• 示例：语料中 “low” 和 “lower” 出现多次，BPE 会先合并 “l” 和 “o” 为 “lo”，再合并 “lo” 和 “w” 为 “low”，最终 “lower” 被拆为 “low” + “er”。
• 工程取舍：BPE 贪心合并，简单高效，但可能产生非语义分割（如 “un” + “able” 被拆成 “un” + “a” + “ble”），因为频率优先于语义。
• 实际坑：训练时需指定词汇表大小。太小（<10K）导致序列过长，训练慢；太大（>100K）增加 embedding 矩阵参数量，且稀有 token 学习不充分。GPT-2 用 50,257 词汇表，是经验平衡点。

WordPiece

• 原理：类似 BPE，但合并标准不同。它基于概率：计算每个候选合并对训练数据似然的提升量，选择提升最大的对。公式为：score = P(merged) / (P(left) * P(right))，分数越高越值得合并。
• 示例：BERT 使用 WordPiece，词汇表 30,522。它倾向于合并语义相关的子词，如 “playing” 被拆为 “play” + “##ing”，其中 “##” 表示非词首。
• 工程取舍：WordPiece 更注重语言模型概率，分割更语义化，但计算复杂度高于 BPE（需每次计算似然变化）。BERT 选择它是因为预训练任务（MLM）需要更稳定的子词边界。

核心区别

为什么 GPT 用 BPE 而 BERT 用 WordPiece？

• GPT 是自回归生成模型，需要快速解码。BPE 的贪心合并更高效，且生成时 token 边界确定性高（不会因上下文变化）。
• BERT 是编码器模型，需要稳定语义表示。WordPiece 的语义分割减少歧义，利于 MLM 任务。

实际落地的坑 + 解法

• 坑：中文 tokenization 用 BPE 时，单字频率极高，导致词汇表被汉字占满，无法有效合并子词。
• 解法：先做分词（如 jieba 或 sentencepiece），再对词序列做 BPE。或者直接用 sentencepiece 的 unigram 模型，它基于概率采样，更适合中文。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从算法原理、工程取舍、模型适配三个层面回答。算法层面，BPE 基于频率贪心合并，WordPiece 基于似然提升合并，后者更语义化但计算更重。工程层面，词汇表大小是关键 trade-off：太小序列长，太大参数多，GPT 用 50K、BERT 用 30K 是经验值。模型适配层面，GPT 选 BPE 因为解码快，BERT 选 WordPiece 因为语义稳定。总结一句：tokenization 不是预处理细节，它直接决定了模型的序列长度、OOV 率和训练效率。”

4️⃣ 高频追问 & 应对

追问 1：如果让你给一个 100B 参数的 LLM 设计 tokenization，你会选 BPE 还是 WordPiece？为什么？

选 BPE。原因：100B 模型训练成本极高，BPE 的贪心合并计算复杂度低，能节省 tokenization 阶段的时间。而且大模型通常用 SentencePiece（BPE 变体）实现，它支持直接处理原始字节，无需预分词，对多语言更友好。WordPiece 的似然计算在超大词汇表下会成瓶颈。实际案例：Llama 3 用 128K 词汇表的 BPE，GPT-4 也用 BPE。

追问 2：BPE 和 WordPiece 在处理 OOV 词时表现如何？哪个更好？

两者都能处理 OOV，因为 subword 机制。但 WordPiece 更好：它倾向于保留语义子词，如 “unprecedented” 被拆为 “un” + “##precedented”，即使 “precedented” 不在词汇表，也能通过 “##precedented” 的 embedding 学习。BPE 可能拆成 “un” + “p” + “re” + “cedented”，丢失语义。实际测试中，WordPiece 的 OOV 率更低（<0.1% vs BPE 的 0.5%），但代价是词汇表更小（30K vs 50K）。

追问 3：为什么现在很多新模型（如 Llama 3、Qwen 2）用 SentencePiece 而不是 BPE 或 WordPiece？

SentencePiece 是 BPE 的改进版，核心区别是它不依赖预分词（pre-tokenization），直接处理原始字节流。这对多语言（如中文、日文）友好，因为无需先做分词。它支持 BPE 和 unigram 两种算法，Llama 3 用 BPE 模式，Qwen 2 用 unigram 模式。工程取舍：SentencePiece 更通用，但词汇表需要更大（128K vs 50K）来覆盖多语言字符。

5️⃣ 避坑 · 常见错误答法

• ❌ 说“BPE 和 WordPiece 本质一样，只是实现细节不同” → ✅ 正确切入：两者合并标准不同，BPE 基于频率，WordPiece 基于似然，这导致分割风格和模型适配差异。
• ❌ 说“WordPiece 比 BPE 好，所以 BERT 比 GPT 好” → ✅ 正确切入：没有绝对好坏，BPE 适合生成模型（解码快），WordPiece 适合编码模型（语义稳定），是工程 trade-off。
• ❌ 说“Tokenization 只是预处理，不影响模型性能” → ✅ 正确切入：词汇表大小直接影响序列长度和 OOV 率，进而影响训练速度和下游任务效果，是模型设计的核心决策。

6️⃣ 简历呼应

• 如果你有 LLM 微调项目：从“微调时 tokenization 一致性”切入，比如你发现预训练和微调用不同分词器导致 OOV 率上升，最终统一用 SentencePiece 解决。
• 如果你只做过传统 NLP：用“词袋模型 vs subword”类比，说明 subword 解决了 OOV 和稀疏性问题，并提到你实现过 BPE 在文本分类任务上的效果对比。
• 如果你是校招无项目：聚焦“BPE 论文复现”，提到你读过《Neural Machine Translation of Rare Words with Subword Units》，并实现了一个简易 BPE 分词器，对比了不同词汇表大小对序列长度的影响。
• 《Neural Machine Translation of Rare Words with Subword Units》（BPE 原始论文）
• 《BERT: Pre-training of Deep Bidirectional Transformers》（WordPiece 应用）
• 《SentencePiece: A simple and language independent subword tokenizer and detokenizer》
• 《Byte-level BPE: GPT-2 的 tokenization 实现细节》
• 《Unigram Language Model for Subword Tokenization》（SentencePiece 的 unigram 模式）