| Q15 | What is the role of self-attention in the Transformer model, and why is it called “self-attention”
1️⃣ 考察意图
面试官想确认你是否真正理解Transformer的核心创新，而非仅仅背诵“QKV点积”的公式。考察类型是概念+工程取舍：既要讲清自注意力的数学原理和“自”的语义，也要点明它为何取代RNN成为标配。刁钻点在于：很多人能背出公式，但说不清为什么叫“自”（self）——即Q、K、V来自同一序列，而非跨序列（如交叉注意力）。答好了能展示你对序列建模本质的洞察，以及从并行计算、长距离依赖到O(n²)复杂度trade-off的工程思维。
2️⃣ 标准答
自注意力的核心角色：动态上下文聚合
自注意力（Self-Attention）是Transformer的“引擎”，它让每个token在计算表示时，能动态地“看”序列中所有其他token，并基于相关性加权聚合信息。这解决了RNN的两个根本问题：长距离依赖丢失（RNN随步长衰减）和无法并行（RNN必须串行计算）。
数学原理：QKV三步走
- 线性投影：输入序列X（形状为n×d_model，n为序列长度）通过三个可学习权重矩阵W_Q、W_K、W_V，得到Query、Key、Value矩阵：Q = XW_Q, K = XW_K, V = XW_V。每个矩阵形状为n×d_k（d_k通常等于d_model/h，h为注意力头数）。
- 注意力分数计算：计算Q与K的点积，得到n×n的分数矩阵：S = QK^T / √d_k。除以√d_k是为了防止点积值随维度增大而爆炸，导致softmax梯度消失（这是《Attention Is All You Need》论文中的关键设计）。
- 加权求和：对S按行做softmax归一化，得到注意力权重A = softmax(S, dim=-1)，然后与V相乘：Output = AV。最终输出形状为n×d_k。
为什么叫“自”注意力？
“自”字强调注意力在同一序列内部进行。Q、K、V都来自同一个输入序列X，而不是像交叉注意力（Cross-Attention）那样，Q来自解码器、K和V来自编码器。换句话说，模型在“自己看自己”——每个token通过与其他token的交互，学习序列内部的依赖关系。例如在句子“The cat sat on the mat”中，“cat”会通过自注意力与“sat”和“mat”建立高权重，捕获主谓宾关系。
工程取舍与落地坑
- 优势：并行计算（一次矩阵乘法即可计算所有位置的关系），O(1)步长捕获任意距离依赖（RNN需要O(n)步）。
- 代价：O(n²)计算复杂度（n为序列长度），导致长文本（如10k tokens）显存爆炸。实际落地坑：在训练GPT-3等大模型时，如果直接使用全自注意力，8k tokens的序列在单卡A100上会OOM。解法是使用稀疏注意力（如Longformer的滑动窗口+全局token）或FlashAttention（通过分块计算和IO感知优化，将显存占用从O(n²)降到O(n)）。
- 另一个坑：位置编码缺失。自注意力本身是排列不变的（permutation-invariant），即“I love you”和“you love I”会得到相同表示。必须注入位置信息，常用方案是RoPE（旋转位置编码，LLaMA系列使用）或ALiBi（基于距离的偏置，Bloom使用）。
与交叉注意力的对比
- 自注意力：Q、K、V同源，用于编码器内部（BERT）或解码器内部（GPT的因果掩码自注意力）。
- 交叉注意力：Q来自解码器，K、V来自编码器，用于Seq2Seq模型（如T5、机器翻译）的解码器层，让解码器关注输入序列。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，自注意力的角色是让每个token动态聚合序列中所有其他token的信息，解决RNN的长距离依赖和并行问题；第二，数学上通过Q、K、V点积和softmax加权求和实现，除以√d_k防止梯度消失；第三，‘自’的含义是Q、K、V都来自同一输入序列，而非跨序列。总结一句：自注意力是Transformer的核心，它用O(n²)复杂度换来了并行和全局依赖建模能力。”
4️⃣ 高频追问 & 应对
追问 1：为什么自注意力要除以√d_k？不除会怎样？
这是《Attention Is All You Need》论文中的关键设计。如果不除，当d_k很大时（如512），QK^T的点积值会很大（方差为d_k），导致softmax的输入进入饱和区，梯度极小，训练不稳定。除以√d_k后，点积值的方差被归一化到1，softmax梯度更健康。实际中，如果d_k=64，不除的话训练初期loss会震荡甚至不收敛。一个替代方案是使用缩放点积注意力（Scaled Dot-Product Attention），这是标准做法。
追问 2：自注意力的O(n²)复杂度怎么优化？你用过哪些方法？
常用优化有三类：1）稀疏注意力：如Longformer的滑动窗口（窗口大小w，复杂度O(nw)）+全局token（如[CLS]），适合文档级任务；2）线性注意力：如Performer用核方法近似softmax，将复杂度降到O(n)；3）FlashAttention：通过分块计算和IO感知优化，不减少计算量但减少显存读写，实际训练中8k序列在A100上显存占用从40GB降到15GB。我在项目中用过FlashAttention，配合xFormers库，训练16k tokens的LLaMA-7B时显存节省了60%。
追问 3：自注意力在解码器中为什么要加因果掩码（causal mask）？
因果掩码确保解码器在预测第i个token时，只能看到前i-1个token，不能看到未来信息。具体实现是在softmax之前，将上三角矩阵（i>j的位置）设为-∞，这样softmax后权重为0。如果不加，模型会“作弊”直接复制未来token，导致训练和推理不一致。这是自回归生成（如GPT）的核心设计。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“自注意力就是注意力机制，只是名字不同” → ✅ 必须明确区分：自注意力的Q、K、V同源，而传统注意力（如Bahdanau Attention）是交叉注意力，Q来自解码器，K、V来自编码器。
- ❌ 只背公式，不提“除以√d_k”的原因 → ✅ 必须解释缩放动机：防止点积值过大导致softmax梯度消失，这是工程细节的体现。
- ❌ 说“自注意力复杂度是O(n²)，所以不好，应该用RNN” → ✅ 要给出trade-off：O(n²)换来了并行和全局依赖，且可通过FlashAttention等优化缓解，RNN的O(n)串行计算在长序列上更慢。
6️⃣ 简历呼应
- 如果你有LLM训练项目：从FlashAttention优化角度切入，讲你如何用xFormers库将自注意力显存占用降低50%，并对比训练速度和loss曲线。
- 如果你只做过传统NLP（如LSTM情感分类）：用LSTM的串行和长距离遗忘问题类比，说明自注意力如何通过并行和全局依赖解决，并提你复现过Transformer的IMDb分类实验。
- 如果你是校招无项目：聚焦论文《Attention Is All You Need》的复现demo，讲你从零实现自注意力层，在玩具数据集（如复制任务）上验证了并行和长距离能力，并对比了有无缩放因子的训练稳定性。
- 《Attention Is All You Need》（Vaswani et al., 2017）——Transformer原始论文
- 《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》（Dao et al., 2022）
- 《RoFormer: Enhanced Transformer with Rotary Position Embedding》（Su et al., 2021）——RoPE论文
- 《Longformer: The Long-Document Transformer》（Beltagy et al., 2020）——稀疏注意力实践
- 博客：Jay Alammar的“The Illustrated Transformer”——可视化理解自注意力