📌 Q1: CNNs and RNNs don’t use positional embeddings. Why do transformers use positional embeddings

P0 · rag

🏷 标签：transformer, positional-encoding, self-attention, sequence-modeling

1️⃣ 考察意图

面试官想验证你是否真正理解 Transformer 架构的核心设计动机，而非死记硬背。考察类型是工程取舍，刁钻点在于：表面问“为什么用”，实际在问“为什么 CNN/RNN 不需要，而 Transformer 必须用”。答好了能展示你对自注意力机制的置换不变性（permutation invariance）有深刻认知，并能对比不同序列建模范式的本质差异。这直接区分了“调包侠”和“懂原理的工程师”。

2️⃣ 标准答

核心原因：自注意力机制是置换不变的（permutation invariant），天然丢失了序列顺序信息。

CNN 为什么不需要？ CNN 通过局部感受野和滑动窗口隐式编码位置。例如，一个 3x3 卷积核在图像上滑动时，不同位置的像素被不同卷积核参数处理，顺序信息被编码在权重矩阵的空间结构中。对于 1D 文本，1D 卷积同样通过窗口位置隐含了顺序。但 CNN 只能捕捉局部依赖，长程依赖需要堆叠层数。
RNN 为什么不需要？ RNN 通过递归隐状态（hidden state）天然建模顺序。每个时间步的输入 x_t 与上一时刻的隐状态 h_{t-1} 结合，生成 h_t。这个递推过程强制模型按时间顺序处理，位置信息被编码在隐状态的更新路径中。但 RNN 存在梯度消失/爆炸问题，且无法并行。
Transformer 的困境： 自注意力计算 Attention(Q,K,V) = softmax(QK^T / sqrt(d_k)) V 中，Q 和 K 的点积只关心内容相似度，与 token 在序列中的绝对或相对位置无关。例如，“我打你”和“你打我”的 token 集合相同，自注意力会给出完全相同的注意力权重，模型无法区分这两个句子。这就是置换不变性——输入顺序打乱，输出不变。

解决方案：注入位置编码（Positional Encoding）

绝对位置编码（如原始 Transformer 的正弦/余弦编码）： 为每个位置 pos 生成一个固定向量，维度 d_model。公式：PE(pos, 2i) = sin(pos / 10000^(2i/d_model))，PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))。为什么用正弦/余弦？ ① 值域在 [-1,1]，稳定训练；② 不同频率允许模型学习相对位置关系（因为 PE(pos+k) 可以表示为 PE(pos) 的线性变换）。实际落地的坑： 正弦编码是固定的，无法适应不同长度的序列。在长文本场景（如 8K 上下文），高频部分可能过拟合短距离，低频部分区分度不足。解法： 改用可学习位置编码（如 BERT），让模型自己从数据中学习位置向量，但需要固定最大长度。
相对位置编码（如 Transformer-XL, T5）： 不直接编码绝对位置，而是编码 token 之间的相对偏移。例如，T5 使用一组可学习的相对位置偏置（relative position bias），加到注意力分数上。为什么这么做？ ① 泛化到任意长度序列，不受最大长度限制；② 更符合语言直觉——“相邻词”比“第 5 个词”更重要。工程取舍： 相对位置编码计算复杂度更高（需要为每对 token 计算偏移），但效果通常更好。
旋转位置编码（RoPE, Rotary Position Embedding）： 将位置信息通过旋转矩阵注入到 Q 和 K 的向量中。具体地，对 q 和 k 的每对维度 (2i, 2i+1) 应用一个角度为 pos * theta_i 的旋转。为什么 RoPE 成为主流（如 Llama, Mistral）？ ① 天然支持相对位置：q_m 和 k_n 的点积结果只依赖于 m-n；② 位置信息与内容信息解耦，不影响内容表示；③ 可扩展到长上下文（如 128K）。实际落地的坑： RoPE 的 theta 基值（base）选择很关键。默认 base=10000 在短文本上没问题，但长文本（>4K）时高频旋转过快，导致远距离 token 的注意力分数衰减。解法： 增大 base 值（如 base=500000 或 1000000），或使用 NTK-aware 缩放（动态调整频率）。

总结： Transformer 必须用位置编码，因为自注意力机制本身是“词袋模型”——只看内容不看顺序。位置编码是打破置换不变性的关键设计，其变体（绝对、相对、RoPE）的演进反映了对长上下文泛化和计算效率的持续追求。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，根本原因——自注意力是置换不变的，输入顺序打乱输出不变，而 CNN 靠局部感受野、RNN 靠递归隐状态天然编码了位置。第二，解决方案——通过位置编码注入顺序信息，经典的正弦/余弦编码、可学习编码、相对位置编码（T5）和旋转位置编码（RoPE）各有取舍。第三，工程实践——RoPE 因支持相对位置和长上下文成为主流，但需要调优 base 值避免高频衰减。总结一句：位置编码是打破自注意力置换不变性的必要设计，其演进方向是更好的长距离泛化能力。”

4️⃣ 高频追问 & 应对

追问 1：如果我把位置编码去掉，只靠 token 的语义信息，模型还能工作吗？会有什么现象？

能工作，但效果极差。模型会退化为“词袋模型”，无法区分“我打你”和“你打我”。在序列分类任务（如情感分析）上，如果句子长度固定且顺序不重要（如“这部电影很棒” vs “很棒这部电影”），模型可能还能学到一些模式。但在翻译、生成等依赖顺序的任务上，性能会断崖式下跌。实际实验：在 WMT 翻译任务上去掉位置编码，BLEU 分数会从 28+ 掉到 10 以下，模型基本在随机猜词。

追问 2：为什么现在主流模型（如 Llama, GPT-4）都用 RoPE 而不是原始的正弦编码？

三个原因：① 相对位置建模：RoPE 的点积结果只依赖 token 间的相对偏移，泛化到任意长度序列，而正弦编码是绝对位置，无法外推到训练时未见过的长度。② 内容-位置解耦：RoPE 通过旋转操作将位置信息与内容向量相乘，不影响内容表示，而正弦编码是直接相加，可能干扰语义。③ 长上下文友好：通过调整 base 值或使用 NTK-aware 缩放，RoPE 可以轻松扩展到 128K 甚至 1M 上下文，而正弦编码在长距离上区分度下降。工程取舍：RoPE 实现稍复杂（需要复数运算），但收益远大于成本。

追问 3：可学习位置编码和正弦编码相比，哪个更好？在什么场景下选哪个？

没有绝对好坏，取决于场景。可学习位置编码（如 BERT）的优势是灵活，模型可以从数据中学习最优的位置表示，在固定长度（如 512）的任务上通常比正弦编码收敛更快、效果略好。缺点是无法外推：训练时最大长度是 512，推理时给 600 的序列，第 513 个位置没有对应向量，只能截断或随机初始化。正弦编码的优势是可外推：理论上可以处理任意长度（虽然高频部分会衰减）。工程取舍：如果你的任务序列长度固定（如 BERT 的 512），用可学习编码；如果长度变化大或需要长上下文（如对话、文档摘要），用正弦编码或 RoPE。实际落地：Google 的 T5 用相对位置偏置，Meta 的 Llama 用 RoPE，都是为长上下文设计的。

5️⃣ 避坑 · 常见错误答法

❌ 回答“因为 Transformer 没有循环或卷积结构，所以需要位置编码” → ✅ 必须进一步解释“为什么没有这些结构就需要”——因为自注意力是置换不变的，这是根本原因。只说“没有”是现象，说“置换不变”才是本质。
❌ 回答“位置编码就是给每个位置加一个向量” → ✅ 需要区分绝对/相对/旋转编码的动机和取舍，并给出具体方法名（正弦/余弦、RoPE、T5 偏置）。只说“加向量”太笼统，面试官会追问“怎么加？为什么这么加？”
❌ 回答“CNN 和 RNN 不需要位置编码，因为它们天然有位置信息” → ✅ 必须具体说明“CNN 通过局部感受野和滑动窗口，RNN 通过递归隐状态”。只说“天然有”是废话，要给出机制。

6️⃣ 简历呼应

如果你有 RAG 项目：从“长上下文检索”角度切入。例如，在构建 RAG 系统时，文档分块后需要拼接成上下文，位置编码（尤其是 RoPE）决定了模型能否区分不同文档块的位置。可以提你如何调整 RoPE 的 base 值来支持 32K 上下文，并对比了不同 chunking 策略下的检索准确率。
如果你只做过传统 NLP：用“序列标注 vs 分类”类比。例如，在命名实体识别（NER）中，位置信息至关重要（“北京”在句首 vs 句尾含义不同），而情感分类可能对顺序不敏感。可以提你如何通过位置编码的变体（如相对位置）来改进序列标注模型的 F1 分数。
如果你是校招无项目：聚焦“论文复现 demo”。例如，你复现了 Transformer 的原始论文，并做了消融实验：去掉位置编码后，在机器翻译任务上 BLEU 下降 15 个点。可以提你对比了正弦编码和可学习编码的收敛曲线，并分析了 RoPE 的数学原理。
《Attention Is All You Need》（Vaswani et al., 2017）—— 原始 Transformer 论文，位置编码的起源
《RoFormer: Enhanced Transformer with Rotary Position Embedding》（Su et al., 2021）—— RoPE 论文，理解旋转位置编码的数学原理
《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》（Dai et al., 2019）—— 相对位置编码的经典实现
《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》（T5, Raffel et al., 2020）—— T5 的相对位置偏置设计
《NTK-aware Scaled RoPE》（Reddit 博客，2023）—— 解释如何通过 NTK 理论调整 RoPE 的 base 值来支持超长上下文

—— 本场面试完 ——