ALiBi (Attention with Linear Biases)思路是什么
1️⃣ 考察意图
面试官想考察你对位置编码的深度理解，尤其是长度外推这一关键工程问题。ALiBi 是 2022 年由 Press 等人提出的经典方案，属于背概念 + 工程取舍型问题。刁钻点在于：很多人只背了“加线性偏置”的结论，却说不清为什么线性偏置能外推、斜率如何设计、与 RoPE 的优劣对比。答好了能展示你对 Transformer 位置编码设计空间的系统认知，以及在实际部署中如何权衡外推能力与训练效率。
2️⃣ 标准答
背景：为什么需要 ALiBi？
标准 Transformer 使用绝对位置编码（如正弦编码）或可学习位置嵌入，但它们在训练时只能看到固定长度（如 512），推理时遇到更长序列就会性能崩溃——这就是长度外推失败。ALiBi 的动机是：让模型在训练时隐式学习相对位置关系，从而自然外推到任意长度。
核心思路：注意力分数加线性偏置
ALiBi 不修改 Query/Key 的编码方式，而是直接在 softmax 之前的注意力分数上添加一个与 token 距离成线性负相关的偏置：
Attention(Q, K, V) = softmax( QK^T / sqrt(d) + bias ) * V**bias = -m * |i - j| 其中 i 和 j 是 token 位置索引，m 是每个注意力头独有的斜率（slope）。这个偏置让模型在计算注意力时，天然惩罚远距离 token**，迫使注意力集中在近邻，从而隐式编码了相对位置。
关键设计：斜率如何选取？
ALiBi 使用几何序列分配每个头的斜率。对于 n 个头，斜率序列为：
m = 2^(-8/n * k) for k = 1, 2, ..., n 例如 8 头时，斜率约为 [1/2, 1/4, 1/8, 1/16, 1/32, 1/64, 1/128, 1/256]。这样设计的原因：
- 头分工：低斜率头（如 1/256）几乎不惩罚远距离，负责全局依赖；高斜率头（如 1/2）强烈惩罚远距离，负责局部模式。
- 几何级数：确保斜率覆盖多个数量级，适应不同粒度。
为什么 ALiBi 能外推？
因为偏置只依赖于距离 |i-j|，与绝对位置无关。训练时模型看到的最大距离是 512，推理时遇到 1024 的距离，偏置值只是线性外推（如 -m*1024），softmax 后的注意力分布依然合理。相比之下，绝对位置编码在未见过的位置上会输出随机值。
工程取舍与落地坑
- 优势：无需学习位置嵌入，节省参数量；训练速度更快（因为不需要位置编码的矩阵运算）；外推能力极强，在 2x 训练长度上性能几乎不降。
- 劣势：线性偏置假设“距离越远越不重要”，但某些任务（如长距离依赖的推理）可能需要更灵活的衰减模式。RoPE 通过旋转矩阵提供了更丰富的相对位置表达，在复杂任务上通常优于 ALiBi。
- 实际坑：斜率序列的几何基数
2^(-8/n)是经验值，对头数敏感。如果头数很少（如 2 头），斜率分布会过于稀疏，导致某些头无法捕获有效距离。解法：可改用对数均匀采样或手动调参。
与 RoPE 对比
| 维度 | ALiBi | RoPE |
|---|---|---|
| 外推能力 | 强（线性外推） | 中等（需位置插值） |
| 训练效率 | 高（无额外计算） | 低（需旋转矩阵） |
| 表达能力 | 简单线性衰减 | 复杂旋转编码 |
| 主流模型 | BLOOM, MPT | LLaMA, GPT-4 |
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从动机、数学形式、工程取舍三个层面回答。动机是解决长度外推问题，避免绝对位置编码在长序列上的失效。核心思路是在注意力分数上加一个与距离成线性负相关的偏置，每个头用不同斜率（几何序列）。优势是无需学习参数、外推能力强，但线性衰减假设可能不如 RoPE 灵活。总结一句：ALiBi 用简单偏置换来了强大的外推能力，适合对长序列要求高的场景。”
4️⃣ 高频追问 & 应对
追问 1：ALiBi 的斜率为什么用几何序列？能不能用等差数列？
几何序列能覆盖多个数量级（从 1/2 到 1/256），让不同头关注不同粒度的距离。等差数列（如 0.1, 0.2, 0.3...）会导致斜率集中在中间范围，无法同时捕获极短和极长距离。实验表明，几何序列在 8 头时最优，头数变化时只需调整基数
2^(-8/n)即可保持分布合理。
追问 2：ALiBi 和 RoPE 哪个更适合你的项目？为什么？
取决于任务。如果项目需要强外推能力（如对话系统处理超长上下文），ALiBi 更优，因为它无需位置插值。如果任务需要精细的相对位置建模（如代码生成中的变量引用），RoPE 更优。实际中，我会先做小规模对比实验：在 512 长度训练，测试 1024 长度上的 perplexity，ALiBi 通常比 RoPE 低 5-10%，但 RoPE 在短序列上略好。
追问 3：ALiBi 在训练时如何与 causal mask 共存？
ALiBi 的偏置是直接加到注意力分数上的，causal mask 也是加一个
-inf矩阵。实现时先计算QK^T，然后加上 ALiBi 偏置，最后加上 causal mask。注意偏置只对非掩码位置生效，掩码位置仍为-inf。代码上只需一行：scores += alibi_bias + causal_mask。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“ALiBi 是修改 Q/K 的编码方式” → ✅ 正确说法：ALiBi 不修改 Q/K，只修改注意力分数计算过程，加一个偏置项。
- ❌ 说“ALiBi 的斜率对所有头都一样” → ✅ 每个头有不同斜率，按几何序列分配，这是设计核心。
- ❌ 说“ALiBi 比 RoPE 在所有场景都好” → ✅ 要说明 trade-off：ALiBi 外推强但表达简单，RoPE 灵活但外推需额外处理。
6️⃣ 简历呼应
- 如果你有 LLM 训练项目：从“我们在训练 7B 模型时对比了 ALiBi 和 RoPE，发现 ALiBi 在 2x 外推时 perplexity 仅上升 0.3，而 RoPE 需要位置插值才能稳定”切入，展示实战经验。
- 如果你只做过传统 NLP：用“ALiBi 类似在注意力中加一个距离惩罚项，类似于 CRF 中的转移矩阵”类比，体现迁移能力。
- 如果你是校招无项目：聚焦“我在小 Transformer 上复现了 ALiBi，在 WikiText-103 上训练 512 长度，测试 1024 长度时 perplexity 仅上升 5%，验证了外推能力”，展示动手能力。
- 《Train Short, Test Long: Attention with Linear Biases Enables Inductive Length Extrapolation》 (Press et al., 2022)
- 《RoFormer: Enhanced Transformer with Rotary Position Embedding》 (Su et al., 2021)
- 《Transformer 位置编码综述：从绝对到相对，从正弦到 ALiBi》
- 《Length Extrapolation of Transformers: A Survey from the Perspective of Position Encoding》
- 开源实现：Hugging Face Transformers 中
BloomModel的 ALiBi 实现源码