大模型分词器是什么
1️⃣ 考察意图
面试官想确认你是否理解分词器（Tokenizer）作为大模型“第一道关卡”的核心原理，而非仅停留在“分词就是把句子拆成词”的浅层认知。考察类型是背概念 + 工程取舍，刁钻点在于：多数候选人能背出BPE流程，但说不清为什么GPT系列用BPE而BERT用WordPiece、为什么SentencePiece能处理中文无空格问题、以及分词错误如何导致模型“幻觉”。答好了能展示你对数据预处理、词汇表设计、OOV（Out-of-Vocabulary）处理的硬核理解，这是大模型训练和微调的基础功。
2️⃣ 标准答
大模型分词器（Tokenizer）是将原始文本映射为整数ID序列的组件，是模型输入的第一层。它决定了词汇表大小、序列长度、以及模型对罕见词的处理能力。主流算法有三类：BPE、WordPiece、SentencePiece（Unigram）。
- BPE（Byte Pair Encoding）：GPT系列（GPT-2、GPT-3、GPT-4）的默认选择。从字符级开始，迭代合并最频繁的相邻token对，直到词汇表达到预设大小（如GPT-2的50,257）。为什么这么做：BPE能平衡词汇表大小和序列长度——词汇表越大，每个token信息密度越高，但模型参数和计算量暴增；词汇表太小，序列变长，注意力计算成本上升。GPT-4的词汇表约100k，是权衡后的结果。
- 实际落地的坑：BPE对数字和标点敏感。例如“123456”可能被拆成“12”“34”“56”，导致模型学不到数字的数值意义。解法：在训练前对数字做正则化（如按位拆分），或使用byte-level BPE（如GPT-2的Byte-level BPE），直接对UTF-8字节编码，避免OOV。
- WordPiece：BERT家族（BERT、RoBERTa）使用。与BPE类似，但合并标准不是频率，而是互信息（Mutual Information）——选择能最大提升语料似然度的token对。工程取舍：WordPiece更“聪明”，但训练更慢，因为每次合并需计算似然增益。BERT的词汇表30,522，比BPE小，因为WordPiece倾向于保留更完整的词根。
- SentencePiece（Unigram）：T5、LLaMA、Gemma使用。它不依赖空格分词，直接处理原始文本（包括中文无空格场景）。核心是Unigram语言模型：从大量候选token开始，逐步剪枝掉使似然度下降最小的token，直到词汇表达标。为什么这么做：中文没有空格，BPE/WordPiece需要预分词器（如jieba），引入误差；SentencePiece直接对字符序列建模，更鲁棒。LLaMA的词汇表32k，用SentencePiece训练，支持多语言。
- 实际落地的坑：SentencePiece的词汇表包含大量“碎片”token（如“ing”被拆成“in”+“g”），导致序列变长。解法：在训练时设置
character_coverage=0.9995（覆盖99.95%字符），减少罕见字符的碎片化。
特殊Token：所有分词器都需定义特殊token，如[CLS]（分类）、[SEP]（分隔）、[PAD]（填充）、[UNK]（未知）。坑：如果训练和推理时特殊token的ID不一致（如HuggingFace的tokenizer.add_special_tokens没调用），模型输出会乱码。解法：始终用tokenizer.save_pretrained保存配置，加载时用from_pretrained确保一致性。
对模型性能的影响：分词粒度直接决定模型理解能力。例如，“unbelievable”若被拆成“un”“believe”“able”，模型能学到词根语义；若被拆成“un”“be”“lie”“vable”，则语义丢失。中文场景更明显：“人工智能”若被拆成“人”“工”“智”“能”，模型需额外学习组合关系；若用SentencePiece拆成“人工智能”，则保留完整语义。trade-off：细粒度（字符级）序列长、计算贵；粗粒度（词级）词汇表大、OOV多。子词（subword）是折中方案。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从算法原理、工程取舍、实际坑点三个层面回答。算法层面，主流分词器有BPE（GPT系列）、WordPiece（BERT）、SentencePiece（LLaMA），核心都是子词合并，但合并标准不同。工程取舍上，BPE简单但数字处理差，WordPiece更智能但训练慢，SentencePiece支持无空格语言。实际坑点包括特殊token ID不一致、中文碎片化，解法是统一保存配置和调整character_coverage。总结一句：分词器是模型的第一道关卡，选错或配错会直接导致训练不稳定或推理乱码。”
4️⃣ 高频追问 & 应对
追问 1：BPE和WordPiece的具体合并标准有什么区别？能举个例子吗？
BPE合并频率最高的相邻token对，例如在语料中“th”出现100次、“he”出现80次，BPE会先合并“th”为“th”。WordPiece合并能最大提升语料似然度的对，即计算互信息：P(token_pair) / (P(token1) * P(token2))。例如“th”和“he”虽然频率高，但“th”和“e”的互信息可能更大（因为“the”常见），WordPiece会优先合并“th”+“e”为“the”。实际应用：BERT的词汇表里“the”是独立token，而GPT-2的BPE可能把“the”拆成“th”+“e”，导致语义损失。
追问 2：中文场景下，SentencePiece相比BPE有什么优势？有什么缺点？
优势：BPE依赖空格分词，中文需要预分词器（如jieba），但jieba分词结果不唯一（“南京市长江大桥”可能被拆成“南京/市长/江大桥”或“南京市/长江大桥”），引入误差。SentencePiece直接对字符序列建模，无需预分词，更鲁棒。缺点：SentencePiece的词汇表包含大量单字符token（如“的”“了”），导致序列长度比BPE长20-30%（因为中文平均词长2-3字，SentencePiece可能拆成单字）。解法：在训练时设置
byte_fallback=True，对罕见字符用字节编码，减少碎片。
追问 3：如果我想在微调时添加新词汇（如领域术语），应该怎么做？有什么风险？
做法：用
tokenizer.add_tokens([“新词”])扩展词汇表，然后调整模型embedding层大小（model.resize_token_embeddings）。风险：新token的embedding是随机初始化的，微调时可能破坏原有语义空间。解法：用原词汇表中语义相近的token的embedding均值初始化新token（如“深度学习”用“deep”+“learning”的embedding平均）。trade-off：扩展词汇表会增加模型参数量（每个新token增加embedding维度个参数），如果新词太多（>1000），需考虑重新训练部分embedding层。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“分词器就是把句子拆成单词，用空格分隔就行” → ✅ 正确切入：强调子词（subword）算法，说明为什么词级分词会导致OOV（如“unbelievable”不在词汇表时被映射为[UNK]），而子词能保留语义。
- ❌ 说“BPE和WordPiece一样，都是合并频率最高的对” → ✅ 正确切入：明确指出WordPiece用互信息，BPE用频率，并举例说明差异（如“the”的合并顺序不同）。
- ❌ 说“SentencePiece只用于中文，英文用BPE就行” → ✅ 正确切入：SentencePiece是语言无关的，T5和LLaMA在英文上也用SentencePiece，因为它能统一处理所有语言，减少工程复杂度。
6️⃣ 简历呼应
- 如果你有RAG项目：从“分词器对检索召回率的影响”切入——例如，BPE分词导致“深度学习”被拆成“深”“度”“学”“习”，检索时与文档中的“deep learning”不匹配，需用SentencePiece或自定义词汇表。展示你如何通过调整分词器提升检索准确率5%。
- 如果你只做过传统NLP：用“分词器类比词性标注中的分词”迁移——传统NLP用jieba分词，大模型用子词分词，核心都是解决OOV问题。展示你理解从“词级”到“子词级”的演进逻辑，以及如何用BPE代码实现一个简易分词器。
- 如果你是校招无项目：聚焦“从零实现BPE”的demo——在GitHub上开源一个BPE训练脚本，用WikiText-2语料，展示词汇表构建和分词结果对比。面试时直接说“我复现了BPE，并发现词汇表大小对序列长度的影响”，体现动手能力。
- 《Neural Machine Translation of Rare Words with Subword Units》（BPE原始论文，Sennrich et al., 2016）
- 《SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing》（Kudo & Richardson, 2018）
- HuggingFace Tokenizers文档：快速实现BPE/WordPiece/SentencePiece
- 《BERT: Pre-training of Deep Bidirectional Transformers》中关于WordPiece的词汇表设计
- LLaMA官方代码库中tokenizer.model的配置参数详解