How do you make sure that attention layer focuses on the right part of the input
1️⃣ 考察意图
面试官想考察你对 Transformer 注意力机制的深度理解，而非简单背诵公式。这是典型的工程取舍 + 系统设计类问题，刁钻点在于：候选人常只回答“softmax 自动学习”，但面试官真正想看的是当模型注意力发散（如长文本、噪声输入）时，你能否从数据、架构、训练三个层面给出可落地的诊断与修复方案。答好了能展示你对 LLM 内部机制的掌控力，以及从论文到生产的工程直觉。
2️⃣ 标准答
确保注意力聚焦正确位置，不是靠“模型自己学”，而是靠显式约束 + 隐式引导 + 事后诊断三管齐下。以下从四个层面展开：
1. 位置编码：给注意力“空间感”
- RoPE（旋转位置编码）：通过旋转矩阵将位置信息注入 Q/K 点积，让注意力自然感知相对距离。例如 LLaMA 系列使用 RoPE，默认 base=10000，长文本时可通过调整 base（如 500000）扩展上下文。坑：RoPE 的 base 过小会导致远距离 token 注意力衰减过快，过大则位置区分度下降——需要根据最大序列长度调参。
- ALiBi（线性偏置注意力）：直接给 QK 点积加一个与距离成正比的负偏置，强制模型更关注近邻 token。取舍：ALiBi 无需位置嵌入，推理更快，但牺牲了长距离依赖建模能力，适合短上下文任务。
2. 注意力掩码：硬性规则约束
- 因果掩码（Causal Mask）：标准自回归生成必用，确保 token 只关注自己和之前位置。实战坑：在 prefix-LM（如 GLM）中，需要区分 prefix 和生成部分，掩码设计错误会导致训练-推理不一致。
- 稀疏注意力模式：Longformer 的滑动窗口 + 全局 token，BigBird 的随机 + 窗口 + 全局组合。工程取舍：稀疏注意力降低计算复杂度从 O(n²) 到 O(n)，但需要手动设计模式（如窗口大小 512，全局 token 数 32），对特定任务（如代码生成）可能不如全注意力。
3. 训练技巧：让注意力“学对”
- 注意力 dropout：在 softmax 后随机 mask 部分注意力权重，防止模型过度依赖少数 token。具体值：默认 0.1，但长文本任务可提至 0.2-0.3，避免注意力坍缩。
- 标签平滑：在训练时软化目标分布，间接鼓励注意力分布更均匀，减少过拟合。例如从硬标签（0/1）改为 0.9/0.1。
- 数据多样性：如果训练数据中大量样本的“关键信息”总在固定位置（如开头），模型会学会偷懒。解法：随机打乱段落顺序、插入无关噪声段落，迫使注意力真正学会定位。
4. 诊断工具：发现注意力“走神”
- 注意力熵监控：计算每层注意力分布的熵。熵过低（<0.5）表示注意力坍缩到少数 token（如 [SEP] 或句号），过高（>3.0）表示均匀分散无重点。典型值：健康注意力熵在 1.0-2.5 之间。
- 注意力可视化：用 BertViz 或 HuggingFace 的
attention_probs提取权重，绘制热力图。实战案例：某对话模型在长上下文（>4K）时，第 12 层注意力几乎全集中在第一个 token 上，通过增加局部注意力偏置（类似 ALiBi）修复。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从四个层面回答：第一，位置编码（如 RoPE、ALiBi）给注意力空间感知；第二，掩码机制（因果掩码、稀疏注意力）做硬性约束；第三，训练技巧（注意力 dropout、标签平滑、数据多样性）引导模型学对；第四，诊断工具（注意力熵、可视化）发现并修复问题。总结一句：确保注意力聚焦不是靠模型自觉，而是靠显式约束 + 隐式引导 + 事后诊断的组合拳。”
4️⃣ 高频追问 & 应对
追问 1：你提到注意力熵，具体怎么算？阈值怎么定？
注意力熵 = -Σ(αᵢ * log(αᵢ))，其中 αᵢ 是 softmax 后第 i 个位置的权重。阈值通过实验确定：在验证集上计算每层平均熵，取 5% 和 95% 分位数作为上下界。例如 GPT-2 第 0 层平均熵约 2.8，第 11 层约 1.2。如果某层熵持续低于 0.5，说明注意力坍缩——常见原因是位置编码未正确初始化或训练数据中特殊 token（如 [CLS]）被过度关注。
追问 2：如果模型在长文本上注意力发散，你优先改什么？为什么？
优先改位置编码参数，因为成本最低。例如 RoPE 的 base 从 10000 调到 500000（如 YaRN 论文做法），或换用 ALiBi。如果效果不够，再改架构：在最后 4 层加滑动窗口注意力（窗口大小 512），保留前 8 层全注意力。取舍：改参数只需微调，改架构需重新训练，但后者对长文本效果更稳定。
追问 3：稀疏注意力中，如何选择全局 token？有自动方法吗？
手动选择：在 Longformer 中，[CLS] 和特殊分隔符设为全局 token。自动方法：用可学习的路由机制（如 Routing Transformer），让模型自己决定哪些 token 是全局的。但坑：自动路由增加训练复杂度，且不稳定——实践中更推荐基于任务启发式选择（如代码任务中函数名、类名设为全局）。
5️⃣ 避坑 · 常见错误答法
- ❌ “注意力机制通过 softmax 自动学习关注重要部分，所以不需要额外处理。” → ✅ “softmax 只是归一化，模型可能学到错误模式（如关注 [SEP] token），必须用位置编码、掩码、训练技巧主动引导。”
- ❌ “用更大的模型或更多数据就能解决注意力发散。” → ✅ “数据和模型规模不能替代架构约束。例如 GPT-3 在长文本上仍有注意力坍缩问题，需要显式稀疏注意力或位置编码改进。”
- ❌ “注意力可视化只是调试工具，不影响模型性能。” → ✅ “可视化能发现注意力坍缩或分散，指导架构调整（如增加局部注意力），直接提升下游任务指标（如长文本 QA 的 F1 提升 5-10%）。”
6️⃣ 简历呼应
- 如果你有 LLM 微调项目：从“微调长文本模型时发现注意力发散”切入，具体描述如何用注意力熵监控定位问题层，并通过调整 RoPE base 或加滑动窗口修复。
- 如果你只做过传统 NLP：用“序列标注任务中 CRF 约束类似注意力掩码”类比，展示你理解“显式约束”在序列建模中的通用性。
- 如果你是校招无项目：聚焦“复现 Longformer 论文中的稀疏注意力实现”，强调你理解滑动窗口 + 全局 token 的工程取舍，并做过注意力可视化 demo。
- RoPE 论文：RoFormer: Enhanced Transformer with Rotary Position Embedding
- ALiBi 论文：Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation
- Longformer 论文：Longformer: The Long-Document Transformer
- 注意力可视化工具：BertViz (GitHub)
- 注意力熵分析：Analyzing and Improving the Attention Mechanism in Transformer (ACL 2020)