What is the role of self-attention in the Transformer model, and why is it called “self-attention”
1️⃣ 考察意图
面试官想确认你是否真正理解Transformer的核心机制，而非仅仅背诵“QKV”三个字母。这道题看似基础，但刁钻点在于：“self”到底指什么？ 很多人能说出“自注意力捕获序列内部依赖”，但说不出“self”指的是Q、K、V全部来自同一输入序列，与交叉注意力（Cross-Attention）形成对比。答好了能展示：①对注意力机制数学定义的清晰掌握；②对Transformer架构中不同注意力类型（自注意力 vs. 交叉注意力）的区分能力；③对O(n²)复杂度及优化方向的工程意识。这是考察背概念+工程取舍的混合型题目。
2️⃣ 标准答
自注意力的定义与数学形式
自注意力（Self-Attention）是Transformer的核心操作。给定一个输入序列 X = [x_1, x_2, ..., x_n]，每个 x_i 通过三个不同的线性变换得到 Query（Q）、Key（K）、Value（V）：
- Q = XW_Q, K = XW_K, V = XW_V
- 注意力权重计算：Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V
核心作用：捕获序列内部长距离依赖
- 替代RNN/CNN的局部建模：RNN通过循环逐步传递信息，存在梯度消失/爆炸问题，且无法并行计算。CNN通过卷积核只能看到局部窗口。自注意力通过全连接的计算方式，让每个位置直接与序列中所有其他位置交互，一步捕获全局依赖。
- 并行计算：所有位置的Q、K、V可以同时计算，矩阵乘法天然支持GPU并行，训练速度远快于RNN。
- 多头注意力（Multi-Head Attention）：将Q、K、V投影到多个子空间，每个头独立计算注意力，最后拼接。这允许模型在不同表示子空间关注不同位置的信息（例如一个头关注语法关系，另一个头关注语义相似性）。
为什么叫“self-attention”？
“Self”指的是注意力计算发生在同一个序列内部。具体来说：
- Q、K、V全部来自同一个输入序列 X。
- 与交叉注意力（Cross-Attention）对比：在Transformer解码器中，交叉注意力的Q来自解码器上一层的输出，但K和V来自编码器的输出。这意味着注意力是在两个不同序列之间计算的。
- 因此，“self”强调了源和目标相同这一特性。
工程取舍与复杂度优化
- 复杂度：标准自注意力是O(n²)时间复杂度和O(n²)空间复杂度（存储注意力矩阵）。对于长序列（如文档、代码），这是主要瓶颈。
- 实际落地的坑：在训练长文本模型（如GPT-3处理8K tokens）时，O(n²)显存消耗会直接导致OOM。一个常见解法是FlashAttention（2022）：通过分块计算和重计算，将显存复杂度从O(n²)降到O(n)，同时保持计算精度。另一个解法是稀疏注意力（如Longformer的滑动窗口+全局token，或BigBird的随机+窗口+全局组合），牺牲部分全局信息换取线性复杂度。
- 为什么不用线性注意力？ 线性注意力（如Performer的FAVOR+）通过核方法将复杂度降到O(n)，但实际精度在长序列任务上往往不如稀疏注意力，且工程实现更复杂。这是一个典型的精度 vs. 速度取舍。
与交叉注意力的对比总结
| 特性 | 自注意力 | 交叉注意力 |
|---|---|---|
| Q来源 | 同一序列 | 解码器层输出 |
| K/V来源 | 同一序列 | 编码器输出 |
| 典型位置 | 编码器、解码器自注意力层 | 解码器交叉注意力层 |
| 作用 | 捕获序列内部依赖 | 将编码器信息注入解码器 |
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，数学定义上，自注意力通过Q、K、V计算每个位置与其他所有位置的加权和，公式是softmax(QK^T/√d)V；第二，核心作用是捕获序列内部长距离依赖，替代RNN/CNN的局部建模，且支持并行计算；第三，‘self’指的是Q、K、V全部来自同一个输入序列，与交叉注意力（Q来自解码器、K/V来自编码器）形成对比。总结一句：自注意力是Transformer实现全局上下文建模和并行训练的基础。”
4️⃣ 高频追问 & 应对
追问 1：为什么自注意力中要除以√d_k（缩放因子）？
防止softmax的梯度消失。当d_k很大时，QK^T的点积值会变得很大（方差约为d_k），导致softmax进入梯度饱和区（接近0或1），反向传播时梯度极小。除以√d_k将方差归一化到1，保持梯度稳定。这是《Attention Is All You Need》原文中的设计，后续研究（如GPT-2）也沿用此设置。
追问 2：自注意力与卷积神经网络（CNN）相比，有什么本质区别？
自注意力是内容感知的：权重取决于输入内容（Q和K的点积），而CNN的卷积核是位置固定的（权重与输入无关）。这意味着自注意力可以动态调整关注区域，而CNN只能通过堆叠层数扩大感受野。但CNN的平移不变性和局部性更适合图像任务，所以ViT（Vision Transformer）需要大量数据预训练才能超越CNN。
追问 3：如果输入序列长度是10万，你会怎么处理自注意力？
标准O(n²)不可行。我会选择稀疏注意力方案：比如Longformer的滑动窗口（窗口大小512）+全局token（每512个token设一个），复杂度降到O(n)。或者用FlashAttention（分块计算+重计算）直接跑，但显存仍可能不够。更激进的做法是使用线性注意力（如Performer），但需要验证精度是否可接受。实际工程中，通常先做分块（将长文本切分成多个512长度的chunk），然后在chunk内做自注意力，chunk间用交叉注意力或全局token连接。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“自注意力就是注意力机制，只是换了个名字” → ✅ 必须明确区分：自注意力是注意力的一种特例，强调Q、K、V同源；而注意力机制（如Bahdanau Attention）通常指编码器-解码器之间的交叉注意力。
- ❌ 说“自注意力复杂度是O(n²)，所以不好” → ✅ 应该给出trade-off：虽然复杂度高，但并行计算和全局建模能力是优势；实际中通过FlashAttention、稀疏注意力等优化可以缓解。
- ❌ 说“self-attention和multi-head attention是同一个东西” → ✅ 必须区分：自注意力是计算方式，多头注意力是并行计算多个自注意力头并拼接结果，两者是正交概念。
6️⃣ 简历呼应
- 如果你有RAG项目：从检索增强的角度切入，说明自注意力如何让模型在生成时关注检索到的文档片段（交叉注意力），而自注意力用于理解当前生成上下文。可以提到在RAG中，长文档的chunking策略与自注意力复杂度直接相关。
- 如果你只做过传统NLP（如LSTM/CRF）：用序列标注任务类比，说明LSTM只能通过双向传递捕获上下文，而自注意力一步到位。可以提到在命名实体识别中，自注意力比BiLSTM快3-5倍且精度更高（【通用知识】）。
- 如果你是校招无项目：聚焦论文复现，说明你实现过简化版Transformer（如The Annotated Transformer），并对比了自注意力与LSTM在文本分类上的训练速度和准确率，记录过具体数字（如训练时间减少60%，准确率提升2%）。
- 《Attention Is All You Need》（Vaswani et al., 2017）—— 原始论文，定义自注意力与多头注意力
- 《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》（Dao et al., 2022）—— 解决O(n²)显存问题的工程优化
- 《Longformer: The Long-Document Transformer》（Beltagy et al., 2020）—— 稀疏注意力在长文本上的应用
- 《Efficient Transformers: A Survey》（Tay et al., 2020）—— 综述各种注意力优化方法（稀疏、线性、低秩等）
- The Annotated Transformer（Harvard NLP 博客）—— 逐行代码实现Transformer，适合动手复现