为什么需要子词(Subword)切分

1️⃣ 考察意图

面试官想考察你对 NLP 基础组件的工程取舍理解，而非背诵 BPE 定义。刁钻点在于：子词切分不是“万能药”，它是在词表大小、OOV 率、语义完整性和计算效率之间做权衡。答好了能展示你从“调包侠”到“懂原理”的硬实力——知道为什么 GPT-4 用 100k 词表而 BERT 用 30k，以及为什么多语言模型必须用 SentencePiece。

2️⃣ 标准答

核心矛盾：固定词表 vs. 开放词汇

词级切分（如 Word2Vec 的 10k 词表）遇到 OOV（Out-of-Vocabulary）直接崩——比如“tokenization”不在词表里，模型只能给 UNK 标记，信息丢失。
字符级切分（如 char-CNN）词表极小（~100），但序列长度爆炸，模型难以捕捉“ing”这种有意义的子词单元，且计算成本高（Transformer 的注意力复杂度 O(n²) 扛不住长序列）。

子词切分的本质：在字符和词之间找平衡——高频词保留完整形态，低频词拆成有意义的子单元（如“tokenization” → “token” + “ization”）。

三大主流算法及工程取舍

BPE（Byte Pair Encoding）：GPT 系列标配

原理：从字符级开始，统计并合并最频繁的相邻字符对，直到词表达到预设大小（如 50k）。
坑：贪心合并可能破坏语义边界。例如“un”和“happy”在“unhappy”中合并，但“un”在“unable”中可能被错误拆成“un”+“able” → 解决：训练时加入语言模型引导（如 BPE-dropout 正则化）。
实际落地：OpenAI 的 GPT-2 用 50k BPE 词表，但发现数字（如“12345”）会被拆成碎片 → 解法：对数字做特殊处理（如每个数字单独 token），避免语义丢失。

WordPiece：BERT 系列

原理：用似然增益（likelihood gain）替代频率，合并能最大化训练数据概率的字符对。
取舍：比 BPE 更“语义敏感”，但计算开销大（需要完整语料库的似然计算）。Google 在 BERT 中用了 30k 词表，因为下游任务（分类、QA）对罕见词容忍度高，小词表节省显存。

Unigram Language Model：SentencePiece 的默认算法（如 T5、XLNet）

原理：从大词表开始，逐步剪枝掉使似然下降最小的 token，直到目标词表大小。
优势：天然支持多语言（不依赖空格分割，直接处理 raw text），且能输出多个候选切分（用于数据增强）。
坑：剪枝时可能丢掉低频但关键的 token（如化学分子式） → 解法：对领域词表做 warm-start，先注入专业术语再剪枝。

实际落地的坑 + 解法

坑 1：词表大小选择词表太小（<10k）→ 切分过细，序列变长，推理慢；词表太大（>100k）→ embedding 矩阵占显存（100k × 768 ≈ 300MB），且罕见 token 训练不充分。解法：根据任务调——翻译任务（如 NMT）需要大词表（32k-50k）保留语义，分类任务（如情感分析）可用小词表（16k）加速。
坑 2：多语言不平衡中英文混合语料中，英文 token 合并更快（因为空格分割），中文被拆成单字 → 中文语义丢失。解法：用 SentencePiece 的 character_coverage 参数（设为 0.9995）强制保留所有字符，或对中文做预分词（如 jieba 切词后再训练 BPE）。
坑 3：推理时 OOV即使子词词表，也可能遇到训练时没见过的字符（如 emoji 新版本）。解法：用 byte-level BPE（如 GPT-4 的 tiktoken），将字符转为 UTF-8 字节（256 个基础 token），彻底消除 OOV。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，词级切分有 OOV 问题，字符级切分序列太长，子词在两者间做平衡；第二，主流算法有 BPE（贪心合并）、WordPiece（似然增益）、Unigram（剪枝），各有取舍——BPE 快但可能破坏语义，WordPiece 语义好但计算贵；第三，实际落地要调词表大小（翻译 50k vs 分类 16k），用 SentencePiece 处理多语言，用 byte-level 消除 OOV。总结一句：子词切分是 NLP 系统的‘地基’，选错了后面全崩。”

4️⃣ 高频追问 & 应对

追问 1：为什么 GPT-4 用 100k 词表而 BERT 只用 30k？这不是矛盾吗？

不矛盾。GPT-4 是生成模型，需要输出完整词汇（包括罕见词、拼写变体），大词表减少生成时的序列长度（100k 词表下“tokenization”是一个 token，30k 下可能是 3 个），提升推理速度。BERT 是编码模型，下游任务（分类、QA）对罕见词不敏感，小词表节省显存（embedding 矩阵小 3 倍），且预训练时每个 token 训练更充分。这是典型的任务驱动词表设计。

追问 2：如果我要在中文 + 英文混合语料上训练一个子词分词器，有什么坑？

最大坑是中文没有空格，BPE 会把中文单字当成独立 token，导致“苹果”被拆成“苹”+“果”，语义丢失。解法：用 SentencePiece 的 split_by_unicode_script 参数（默认 true），它会按 Unicode 脚本分割（中文 vs 英文），避免跨语言合并。或者先对中文做预分词（如 jieba 切词），再训练 BPE，这样“苹果”作为一个 token 保留。另外，词表大小建议 32k-50k，太小中文单字太多，太大英文 token 稀疏。

追问 3：子词切分有没有可能引入噪声？比如“unbelievable”被拆成“un”+“believe”+“able”，但“un”在“uncle”里是噪声。

对，这是子词切分的固有 trade-off。BPE 的贪心合并无法感知语义边界。解法：① 用 Unigram 模型，它输出多个候选切分，训练时用语言模型选择最可能的（如 T5 的做法）；② 在微调阶段做子词正则化（subword regularization），训练时随机采样不同切分（如 BPE-dropout），让模型学会容忍噪声；③ 对高频歧义 token（如“un”）做白名单，强制不拆分（如“uncle”保留完整）。

5️⃣ 避坑 · 常见错误答法

❌ “子词切分就是 BPE，BPE 就是合并高频字符对。”→ ✅ 子词切分是思想，BPE/WordPiece/Unigram 是具体实现，各有优劣。面试官想听你对 WordPiece 和 Unigram 的了解，以及为什么 GPT 选 BPE 而 T5 选 Unigram。
❌ “词表越大越好，能覆盖所有词汇。”→ ✅ 词表大有显存和训练稀疏问题。实际中 50k 是黄金平衡点（GPT-3 用 50k，LLaMA 用 32k），超过 100k 收益递减。
❌ “子词切分能完美解决 OOV。”→ ✅ 不能。byte-level BPE 能消除 OOV，但标准 BPE 对训练集外的 Unicode 字符（如新 emoji）仍会报错。正确说法是“大幅降低 OOV 率，但无法彻底消除”。

6️⃣ 简历呼应

如果你有 RAG 项目：从“检索时 query 和 document 的 tokenization 一致性”切入——如果 query 用 BPE 切分而 document 用 WordPiece，embedding 空间不对齐，导致检索召回率下降。你可以在项目中统一用 SentencePiece 训练一个 32k 词表，并对比不同分词器对 Recall@10 的影响。
如果你只做过传统 NLP：用“词袋模型 vs. 子词”类比——词袋模型（如 TF-IDF）遇到新词直接忽略，子词切分相当于把“unhappiness”拆成“un”+“happiness”，保留语义。你可以说“这就像把化学分子式拆成元素周期表，组合无限但基础单元有限”。
如果你是校招无项目：聚焦论文复现——详细描述 BPE 的合并过程（如“aa”合并成“a”后，再合并“ab”），并指出 GPT-2 论文中 BPE 的改进（对数字做特殊处理）。展示你对原始论文的阅读深度。
《Neural Machine Translation of Rare Words with Subword Units》（BPE 原始论文，Sennrich et al., 2016）
《SentencePiece: A simple and language independent subword tokenizer and detokenizer》（Kudo & Richardson, 2018）
《Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates》（Kudo, 2018）
tiktoken 官方文档（OpenAI 的 byte-level BPE 实现，支持 GPT-4 的 100k 词表）
《LLaMA: Open and Efficient Foundation Language Models》（Touvron et al., 2023，其中 32k 词表的设计取舍）

—— 本场面试完 ——