为什么要用位置编码?为什么要用sin_cos
1️⃣ 考察意图
面试官想考察你对 Transformer 架构底层设计的理解深度，而非简单背诵。核心是两点：一是你是否清楚自注意力机制“置换不变性”这个根本缺陷，以及位置编码如何弥补；二是你能否解释 sin/cos 编码背后的数学直觉和工程取舍——为什么选周期函数、为什么用不同频率、为什么能外推。刁钻点在于：很多人只背了公式，却说不清“sin/cos 如何编码相对位置”以及“为什么比可学习编码更适合长序列”。答好了能展示你对序列建模本质的把握，以及从论文到落地的工程视野。
2️⃣ 标准答
一、为什么需要位置编码
Transformer 的自注意力机制本质是集合操作：计算 Q 和 K 的点积时，输入 token 的顺序被完全忽略（置换不变性）。例如，“我打你”和“你打我”在自注意力层中会得到相同的注意力权重，因为词袋顺序被抹平了。因此，必须显式注入位置信息，让模型能区分“主语”和“宾语”的语法角色。
二、sin/cos 位置编码的设计动机
原始 Transformer 论文（Vaswani et al., 2017）选择正弦和余弦函数，基于三个关键考量：
- 相对位置编码能力：sin/cos 函数具有线性变换性质——对于任意偏移量 k，位置 pos+k 的编码可以表示为位置 pos 编码的线性函数。这意味着模型可以隐式学习到相对位置关系（如“前一个词”），而不需要显式参数。具体地，通过三角恒等式：
- sin(pos+k) = sin(pos)cos(k) + cos(pos)sin(k)
- cos(pos+k) = cos(pos)cos(k) - sin(pos)sin(k)模型只需学习一个线性变换矩阵，就能从 pos 的编码推导出 pos+k 的编码。
- 外推能力：sin/cos 函数是周期性的，且频率随维度指数衰减（从 2π 到 10000·2π）。这意味着即使训练时最大序列长度是 512，模型在推理时也能处理 1024 长度的序列——因为编码值始终在 [-1,1] 范围内，且频率模式可泛化。相比之下，可学习位置编码（如 BERT）需要预设 max_len，超出部分只能截断或随机初始化。
- 梯度稳定性：所有编码值被限制在 [-1,1] 之间，避免了像 one-hot 编码那样产生极端值，有利于训练初期梯度稳定。同时，不同频率的混合使得模型能同时捕捉短距离（高频）和长距离（低频）依赖。
三、具体实现与工程取舍
实现上，对每个位置 pos 和每个维度 i（0 ≤ i < d_model/2）：
- PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
- PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))
这里有一个关键 trade-off：频率基数的选择。论文用 10000 作为基数，这是一个经验值。如果基数太小（如 100），高频维度过多，模型会过度关注局部位置，忽略长距离依赖；基数太大（如 100000），低频维度过多，长距离信息丰富但短距离分辨率不足。10000 在大多数 NLP 任务中平衡了这两者。
实际落地的坑：在训练时，如果序列长度分布极不均匀（例如大部分样本长度 < 50，少数样本长度 > 500），sin/cos 编码在长序列部分会因频率过低而几乎为常数，导致模型无法区分长距离位置。解法：可以动态调整基数，或者对长序列做分段位置编码（如 ALiBi 的线性偏置）。
四、与其他方案的对比
| 方案 | 优点 | 缺点 |
|---|---|---|
| sin/cos（原始） | 可外推、无需训练参数 | 无法自适应任务 |
| 可学习（BERT） | 灵活、能拟合任务特定模式 | 固定 max_len、需额外参数 |
| RoPE（LLaMA） | 兼具绝对和相对编码、旋转矩阵可外推 | 实现稍复杂、需修改 attention 计算 |
| ALiBi（BLOOM） | 极简、强外推 | 只编码距离、不编码方向 |
当前主流（2024）是 RoPE，因为它通过旋转矩阵将位置信息注入 Q 和 K，使得注意力分数自然依赖相对位置，且支持线性外推（如 LLaMA 3 扩展到 128K 上下文）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，为什么需要位置编码——自注意力是置换不变的，必须注入顺序信息；第二，为什么选 sin/cos——因为它能通过线性变换编码相对位置、天然支持外推、且梯度稳定；第三，与其他方案对比——sin/cos 无需训练参数但不够灵活，而 RoPE 在 LLaMA 等模型中更优，因为它把位置信息直接注入注意力计算。总结一句：sin/cos 是工程上优雅的折中，但现代方案已演进到 RoPE。”
4️⃣ 高频追问 & 应对
追问 1：sin/cos 编码如何具体编码相对位置？你能用公式推导一下吗？
应对策略：直接写出三角恒等式。假设位置 pos 的编码是 [sin(pos/ω), cos(pos/ω)]，那么位置 pos+k 的编码是 [sin(pos/ω)cos(k/ω) + cos(pos/ω)sin(k/ω), cos(pos/ω)cos(k/ω) - sin(pos/ω)sin(k/ω)]。这可以写成线性变换：PE(pos+k) = M(k) · PE(pos)，其中 M(k) 是旋转矩阵。因此，模型只需学习一个与 k 相关的线性变换，就能从 pos 的编码推导出 pos+k 的编码，从而隐式捕获相对位置。
追问 2：如果训练时最大长度是 512，测试时出现 1024 长度的序列，sin/cos 编码能正常工作吗？有什么限制？
应对策略：能工作，但有精度损失。因为 sin/cos 是周期函数，位置 1024 的编码值仍在 [-1,1] 内，且频率模式延续。但问题在于：训练时模型从未见过 pos > 512 的编码，注意力权重可能无法泛化。实际中，LLaMA 等模型用 RoPE 并配合“线性外推”技巧（如 NTK-aware scaling），通过调整频率基数来缓解。如果直接用原始 sin/cos，建议在训练时随机截断长序列或使用“位置编码插值”（如 Positional Interpolation）。
追问 3：为什么 RoPE 比 sin/cos 更受欢迎？它解决了什么核心问题？
应对策略：RoPE 的核心创新是把位置信息注入 Q 和 K 的旋转矩阵中，使得注意力分数直接依赖相对位置，而不是在 embedding 上加偏置。这解决了两个问题：一是 sin/cos 加在 embedding 上后，后续线性层可能破坏位置信息；二是 RoPE 的旋转操作天然支持“相对位置衰减”——距离越远的 token，其 Q 和 K 向量夹角越大，点积越小，这符合语言直觉。此外，RoPE 可以通过调整旋转频率实现高效外推（如 YaRN 方法）。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“sin/cos 编码是因为它简单，不需要训练参数” → ✅ 正确切入：强调 sin/cos 的数学性质（线性变换、周期性、外推能力），简单只是附带好处。
- ❌ 说“sin/cos 编码可以完美处理任意长度序列” → ✅ 正确切入：承认外推能力有限，需要配合插值或缩放技巧，并举例说明（如 LLaMA 的 NTK-aware scaling）。
- ❌ 说“位置编码只是给 embedding 加一个向量” → ✅ 正确切入：区分绝对位置编码（加在输入层）和相对位置编码（注入注意力计算），并说明 RoPE 如何改变计算方式。
6️⃣ 简历呼应
- 如果你有 Transformer 训练项目：从“实际训练中位置编码对收敛速度的影响”切入，对比 sin/cos 和可学习编码在 1K-10K 序列上的 loss 曲线，并提到你如何用 RoPE 解决外推问题。
- 如果你只做过传统 NLP（如 LSTM）：用“LSTM 的循环结构天然编码顺序，而 Transformer 需要显式注入”作为类比，然后过渡到 sin/cos 的设计动机。
- 如果你是校招无项目：聚焦“Attention Is All You Need”论文的推导，复现 sin/cos 编码并测试外推能力（如训练 512 长度、测试 1024 长度），在 GitHub 上开源 demo。
- “Attention Is All You Need” (Vaswani et al., 2017) - 原始位置编码公式
- “RoFormer: Enhanced Transformer with Rotary Position Embedding” (Su et al., 2021) - RoPE 论文
- “Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation” (Press et al., 2021) - ALiBi 方案
- “Positional Interpolation for Extending Context Window” (Chen et al., 2023) - 位置插值技巧
- “NTK-Aware Scaling for RoPE” (bloc97, 2023) - 高效外推的社区实践