Bert与传统的文本表示模型（如word2vec或GloVe）有什么不同
1️⃣ 考察意图
面试官想考察你对 NLP 表示学习演进的理解深度，而非简单背诵概念。这是典型的“背概念+工程取舍”混合题：刁钻点在于，很多人只答“静态 vs 动态”，但面试官真正想看的是：你是否理解为什么 BERT 能取代 Word2Vec 成为主流？其代价是什么？答好了能展示你对模型本质（上下文建模、双向注意力、预训练范式）的透彻认知，以及在实际场景中做技术选型的工程判断力。
2️⃣ 标准答
核心差异：从静态词向量到动态上下文表示
Word2Vec（CBOW/Skip-gram）和 GloVe 都属于静态词向量模型：每个词在训练后只有一个固定向量，无法区分“bank”在“river bank”和“bank account”中的不同语义。BERT 则生成上下文相关的动态表示，同一词在不同句子中向量不同。
1. 表示生成机制
- Word2Vec：基于局部滑动窗口（窗口大小通常 5-10），用中心词预测上下文（Skip-gram）或反之（CBOW）。本质是浅层神经网络，输出是词表大小的 softmax。
- GloVe：基于全局词-词共现矩阵，通过矩阵分解学习词向量。优点是能捕捉全局统计信息，但仍是静态。
- BERT：使用 Transformer 编码器，通过双向自注意力（Self-Attention）让每个 token 的表示融合整个序列信息。例如“bank”在句子中会同时关注“river”和“account”，生成不同向量。
2. 上下文建模能力
- 静态模型：每个词只有唯一向量，多义词（如“apple”指水果或公司）被平均到同一空间，导致语义模糊。
- BERT：通过位置编码（RoPE/绝对位置编码） 和注意力掩码，能区分“I love apple”和“Apple released iPhone”中的“apple”。实际落地中，BERT 在词义消歧（WSD）任务上比 Word2Vec 提升 15-20 个点（【通用知识】）。
3. 训练范式与迁移能力
- 传统词向量：作为输入层特征，需要下游任务重新训练模型（如 BiLSTM+CRF）。Word2Vec 训练后冻结，无法针对任务微调。
- BERT：预训练+微调范式。先在海量无标注数据（BookCorpus+Wikipedia，约 3.3B 词）上通过 MLM（Masked Language Model）和 NSP（Next Sentence Prediction）预训练，然后在下游任务上微调全部参数。这使得 BERT 能学到通用语言知识，迁移到情感分类、NER、QA 等任务时，仅需少量标注数据即可达到 SOTA。
4. 工程取舍与代价
- 计算成本：Word2Vec 训练只需几小时（CPU），BERT-base 需 4 天（8 块 V100）。推理时，Word2Vec 是 O(1) 查表，BERT 需 O(n²) 注意力计算（n 为序列长度）。实际落地中，BERT 在延迟敏感场景（如实时搜索）可能无法满足 SLA，需用蒸馏（DistilBERT）或量化。
- 可解释性：Word2Vec 有清晰的线性类比关系（king - man + woman ≈ queen），BERT 的表示更复杂，难以直接解释。
- 资源需求：Word2Vec 模型仅几百 MB，BERT-base 约 440MB（FP32），部署在移动端或边缘设备时需压缩。
实际落地的坑 + 解法：
- 坑：直接用 BERT 做文本分类时，如果输入长度超过 512 token，直接截断会丢失关键信息。
- 解法：采用滑动窗口或分块+聚合策略（如 Longformer/BigBird 的稀疏注意力），或先用 BM25 检索相关片段再送入 BERT。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从表示生成机制、上下文建模能力、训练范式与工程代价三个层面回答。第一，Word2Vec/GloVe 是静态词向量，每个词只有一个固定表示；BERT 通过双向 Transformer 生成上下文相关的动态表示。第二，静态模型无法处理多义词，BERT 能根据上下文区分语义。第三，BERT 采用预训练+微调范式，迁移能力更强，但计算成本高、推理慢。总结一句：BERT 用更大的计算代价换来了更强的上下文建模能力，是 NLP 从特征工程走向预训练范式的关键转折。”
4️⃣ 高频追问 & 应对
追问 1：BERT 的双向注意力为什么比 Word2Vec 的 CBOW 更好？CBOW 不也是用上下文预测中心词吗？
关键区别在于“双向”的定义。CBOW 的上下文是窗口内所有词的平均，但本质是单向的：它把左右词拼在一起做一次预测，没有建模词与词之间的交互。BERT 的自注意力机制让每个词能直接关注所有其他词，计算 pairwise 的注意力权重，能捕捉“bank”和“river”之间的强关联，而 CBOW 只能学到“bank”附近出现“river”的概率更高。实际效果上，BERT 在 GLUE 基准上比 CBOW+BiLSTM 高 10+ 个点。
追问 2：如果资源受限，你会怎么选？为什么不用 BERT？
分场景：如果任务是文本分类且数据量小（<10K 条），用 Word2Vec + 线性分类器可能更快且效果不差。如果任务需要语义理解（如 QA），但延迟要求 <50ms，我会用 DistilBERT（速度提升 60%，精度下降 <3%）或 TinyBERT。如果必须用 BERT，我会做量化（INT8 减少 4 倍内存）和剪枝（移除冗余注意力头）。核心取舍：在精度损失可接受范围内，优先满足延迟和内存约束。
追问 3：BERT 的 MLM 预训练有什么缺点？Word2Vec 有类似问题吗？
BERT 的 MLM 假设被 mask 的词是独立的，但实际上词之间有关联（如“New York”被 mask 后，模型需同时预测两个词）。这导致 BERT 在生成任务上表现差（因为生成是自回归的）。Word2Vec 没有这个问题，因为它只做局部预测。改进方案：XLNet 用排列语言模型解决独立性假设，ELECTRA 用判别式预训练更高效。实际落地中，如果任务需要生成（如摘要），直接用 BERT 做 encoder 会不如 T5 或 GPT。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“BERT 比 Word2Vec 好，所以永远用 BERT” → ✅ 正确切入：强调 trade-off，指出 BERT 计算成本高、推理慢，在资源受限或延迟敏感场景下 Word2Vec 仍有优势。
- ❌ 说“Word2Vec 是静态的，所以不能用于上下文” → ✅ 正确切入：Word2Vec 可以配合 BiLSTM 等模型捕捉上下文，但词向量本身不变；BERT 的表示是动态生成的，两者本质不同。
- ❌ 说“BERT 用 Transformer，Word2Vec 用神经网络，所以 BERT 更先进” → ✅ 正确切入：Transformer 的核心是自注意力，能建模长距离依赖；Word2Vec 的窗口限制导致无法捕捉远距离语义，这才是关键差异。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索阶段用 BM25/DPR，重排序用 BERT”切入，对比静态检索（Word2Vec 做语义检索）和动态表示（BERT 做 rerank）的效果差异，强调 BERT 在语义匹配上的优势。
- 如果你只做过传统 NLP：用“情感分类任务”类比，说明 Word2Vec+BiLSTM 在 IMDb 上准确率约 88%，BERT 可达 93%+，但推理速度慢 10 倍，引出工程取舍。
- 如果你是校招无项目：聚焦“BERT 的 MLM 预训练原理”，复现一个简单的 BERT 变体（如 TinyBERT）做文本分类 demo，对比 Word2Vec 的线性类比（king - man + woman ≈ queen），展示对两种范式的理解。
7️⃣ 延伸阅读
- 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》（Devlin et al., 2019）
- 《Efficient Estimation of Word Representations in Vector Space》（Mikolov et al., 2013）
- 《GloVe: Global Vectors for Word Representation》（Pennington et al., 2014）
- 《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》（Sanh et al., 2019）
- 《XLNet: Generalized Autoregressive Pretraining for Language Understanding》（Yang et al., 2019）