Sinusoidal 位置编码和 Learned 位置编码有什么区别？各有什么优劣
1️⃣ 考察意图
面试官想看你能否深入对比两种经典位置编码方案，而非简单背诵定义。刁钻点在于：很多人只答"一个是固定的，一个是学习的"，但说不出外推能力、参数效率、训练稳定性等深层差异。答好了能展示你对位置编码设计空间的理解，以及在不同场景下做选型的工程判断力。
2️⃣ 标准答
Sinusoidal 和 Learned 位置编码代表了两种截然不同的设计哲学：函数式 vs 参数式。
1. Sinusoidal 位置编码（原版 Transformer）
- 原理：用不同频率的 sin/cos 函数生成位置向量。对于位置 m 和维度 i，编码为
PE(m, 2i) = sin(m / 10000^(2i/d))，PE(m, 2i+1) = cos(m / 10000^(2i/d)) - 特点：固定值，不参与训练。不同维度对应不同频率的波形——低频维度编码粗粒度位置（如句子级别），高频维度编码细粒度位置（如词级别）
- 理论优势：可外推——即使训练时最大长度是 512，推理时也能生成 10000 的位置编码，因为 sin/cos 函数对任意输入都有定义
- 实际局限：外推质量差——虽然能生成位置编码，但模型在训练时没见过这些频率组合，attention score 在训练长度外会"崩溃"（attention 分布变得均匀，失去聚焦能力）
2. Learned 位置编码（GPT-2, BERT）
- 原理：位置 embedding 是一个
nn.Embedding(max_len, d_model)的可训练参数，每个位置对应一个学习到的向量 - 特点：灵活——模型可以根据任务需求学习最优的位置表示。BERT 用 512 位置，GPT-2 用 1024 位置
- 理论局限：无法外推——如果训练时 max_len=1024，推理时输入 1025 个 token 就会越界。需要截断或用滑动窗口
- 实际优势：在训练长度内，Learned 编码的表达能力通常优于 Sinusoidal——因为它可以学习到任务特定的位置模式（如代码中的缩进模式、对话中的轮次模式）
3. 详细对比
| 维度 | Sinusoidal | Learned |
|---|---|---|
| 参数量 | 0（固定公式） | max_len × d_model（如 2048×4096=8M） |
| 外推能力 | 理论可外推，实际质量差 | 完全不可外推 |
| 表达能力 | 有限（固定函数族） | 强（可学习任意模式） |
| 训练稳定性 | 高（不参与训练） | 中（位置参数可能与 token 参数竞争） |
| 适用场景 | 短文本、资源受限 | 中等长度文本、任务特定 |
4. 为什么现代 LLM 都弃用了这两种？
- Sinusoidal 外推质量差，Learned 无法外推——都不满足现代 LLM 对长文本（128K-1M）的需求
- RoPE 和 ALiBi 提供了更好的外推能力，同时不牺牲表达能力
- 但 Learned 位置编码在某些场景仍有价值：如对话系统中的"轮次编码"（turn embedding）、文档中的"段落编码"（segment embedding）
3️⃣ 答题模板（30 秒电梯版）
"Sinusoidal 用 sin/cos 函数生成固定位置向量，零参数、理论可外推，但实际外推质量差——attention 在训练长度外会崩溃。Learned 用可训练 embedding，表达能力强但完全无法外推——max_len 固定。现代 LLM 弃用两者，转向 RoPE（旋转编码，外推强）或 ALiBi（距离 bias，外推极强），因为需要处理 128K+ 长文本。"
4️⃣ 高频追问 & 应对
追问 1：Sinusoidal 理论上可外推，为什么实际外推质量差？
外推质量差的根本原因是"分布偏移"——模型在训练时只见过位置 0-511 的编码，推理时遇到 512+ 的编码时，这些新编码虽然数学上有定义，但不在训练分布内。具体表现：attention score 在训练长度外变得均匀（所有位置的 attention weight 趋近于 1/N），模型失去聚焦能力。实验证据：在 512 长度训练的模型，在 1024 长度上 perplexity 上升 50%+。解法：位置插值（Position Interpolation）——将位置索引缩放到训练范围内，但这需要微调。
追问 2：Learned 位置编码如果 max_len 设得很大（如 32768），是不是就能处理长文本了？
理论上可以，但实际不可行：(1) 参数量爆炸——32768×4096=134M 参数，占模型总参数的显著比例；(2) 训练数据不足——如果训练数据中 99% 的序列长度 <4096，那么位置 4096-32768 的 embedding 几乎没被训练过，等于随机初始化；(3) 训练成本——需要大量长序列数据才能训好所有位置 embedding。这就是为什么 RoPE/ALiBi 更优——它们不需要为每个位置学习独立参数。
追问 3：BERT 用 Learned 位置编码但只支持 512，如果要扩展 BERT 的上下文长度怎么做？
方案：(1) 用 RoPE 替换 Learned 位置编码——修改 BERT 的位置 embedding 层，在注意力计算时用 RoPE 旋转。需要微调但不需要从头训练；(2) 位置插值——将位置 512+ 缩放到 0-512 范围，用插值后的位置查询 Learned embedding。需要少量微调；(3) 滑动窗口——将长文本分成 512 的块，每块独立编码后拼接。不需要修改但会丢失跨块上下文。实际中方案 1 最常用，因为 RoPE 的外推能力可以让 BERT 直接处理 4K-8K 长度。
5️⃣ 避坑 · 常见错误答法
- ❌ "Sinusoidal 可以外推，所以比 Learned 好" → ✅ "Sinusoidal 理论可外推但实际质量差——attention 在训练长度外会崩溃。两者各有优劣，现代 LLM 都不用了，转向 RoPE/ALiBi。"
- ❌ "Learned 位置编码参数太多，不好" → ✅ "参数量不是主要问题（8M 相比模型总参数可忽略）。主要问题是无法外推——max_len 固定限制了应用场景。"
- ❌ "位置编码只是个小细节，不影响模型性能" → ✅ "位置编码直接影响模型的长文本能力。选错位置编码会导致模型在长序列上性能断崖式下降。LLaMA 选 RoPE 而非 Learned 是它能扩展到 128K 的关键原因之一。"
6️⃣ 简历呼应
- 如果你有 LLM 项目：从"位置编码选型"切入，描述你对比 Sinusoidal 和 Learned（或 RoPE）的实验，给出 perplexity 和下游任务数据
- 如果你只做过 NLP：用 BERT 的 512 限制为例，说明 Learned 位置编码的局限性，以及你理解的解决方案
- 如果你是校招：实现 Sinusoidal 和 Learned 位置编码（各 10 行代码），在小型模型上对比外推能力，写博客分析
- "Attention Is All You Need" (Vaswani et al., 2017)
- "BERT: Pre-training of Deep Bidirectional Transformers" (Devlin et al., 2018)
- "Language Models are Unsupervised Multitask Learners" (GPT-2, Radford et al., 2019)