Encoder与decoder的中Attention区别
1️⃣ 考察意图
面试官想考察你对Transformer架构底层原理的掌握深度，而非简单背诵。核心是区分三种注意力机制的角色：Encoder的Self-Attention（全局双向编码）、Decoder的Masked Self-Attention（因果自回归）、Decoder的Cross-Attention（跨序列对齐）。刁钻点在于：你是否理解为什么Decoder需要两种注意力？掩码机制如何影响计算图和反向传播？答好了能展示你对序列建模本质的洞察，以及从工程角度（如KV Cache、FlashAttention）优化生成效率的能力。
2️⃣ 标准答
核心差异：角色与掩码
- Encoder Self-Attention：每个token可以关注输入序列的所有位置（包括未来）。使用无掩码或仅用
padding mask（忽略<pad>）。输出是全局上下文表示，适合理解任务（如分类、语义匹配）。 - Decoder Masked Self-Attention：每个token只能关注当前及之前位置。使用因果掩码（causal mask），即上三角矩阵置为
-inf，softmax后权重为0。这是自回归生成的基础，防止信息泄露。 - Decoder Cross-Attention：Query来自Decoder当前层，Key/Value来自Encoder最后一层输出。无因果掩码，Decoder可以关注Encoder的所有位置。这是序列到序列对齐的关键（如翻译、摘要）。
计算与工程细节
- 掩码叠加：Decoder实际使用
padding mask + causal mask。例如batch中序列长度不同，需同时忽略<pad>和未来位置。实现时通常将两个mask做logical_and或直接相加（-inf传播）。 - 多头注意力：三者均使用多头，但Cross-Attention的Key/Value来自Encoder，需注意维度对齐。实践中，Decoder的Self-Attention和Cross-Attention通常共享相同的头数（如8头），但权重独立。
- KV Cache：Decoder生成时，Self-Attention的Key/Value可缓存（避免重复计算），但Cross-Attention的Key/Value来自Encoder，只需计算一次。这是推理优化的关键：生成第t个token时，Self-Attention的KV长度从t-1变为t，而Cross-Attention的KV长度固定为输入序列长度。
实际落地的坑与解法
- 坑1：Decoder的Cross-Attention梯度消失。当输入序列很长（如文档摘要），Encoder输出维度高，Decoder的Cross-Attention注意力分布可能过于平滑（softmax后接近均匀分布）。解法：使用温度缩放（temperature scaling）或稀疏注意力（如Top-k注意力）强制聚焦关键位置。
- 坑2：因果掩码与FlashAttention不兼容。FlashAttention通过分块计算避免显存爆炸，但因果掩码需要特殊处理。解法：使用FlashAttention-2或xformers，它们原生支持因果掩码的块内掩码优化。
- 坑3：Encoder-Decoder维度不匹配。当Encoder和Decoder的隐藏维度不同（如T5使用相同维度，但某些变体不同），Cross-Attention需要线性投影对齐。解法：在Encoder输出后加一个线性层（
nn.Linear(d_encoder, d_decoder)）。
为什么这么设计？
- Encoder双向：理解任务需要全局上下文（如情感分析中“not bad”需要看完整句）。
- Decoder因果：生成任务必须逐步预测，未来信息不可见（否则模型作弊）。
- Cross-Attention：将Encoder的全局理解注入Decoder的生成过程，实现条件生成。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，角色分工——Encoder的Self-Attention是双向全局编码，Decoder的Self-Attention是因果自回归，Cross-Attention是跨序列对齐。第二，掩码机制——Encoder只用padding mask，Decoder叠加causal mask和padding mask，Cross-Attention无因果掩码。第三，工程影响——Decoder的KV Cache优化生成，但Cross-Attention的Key/Value固定；因果掩码需与FlashAttention兼容。总结一句：Encoder负责理解，Decoder负责生成，Cross-Attention是桥梁。”
4️⃣ 高频追问 & 应对
追问 1：为什么Decoder需要两种注意力？能不能只用一种？
不能。如果只用Self-Attention，Decoder无法获取输入序列信息（如翻译任务不知道源语言是什么）。如果只用Cross-Attention，Decoder无法建模已生成token的依赖关系（如“I am”后必须跟“a”而非“an”）。两者缺一不可：Self-Attention保证自回归一致性，Cross-Attention注入条件信息。实际中，Decoder的每一层先做Masked Self-Attention，再做Cross-Attention，顺序固定。
追问 2：Cross-Attention的Query、Key、Value分别来自哪里？维度如何对齐？
Query来自Decoder当前层的隐藏状态（形状
[batch, tgt_len, d_model]），Key和Value来自Encoder最后一层输出（形状[batch, src_len, d_model]）。如果Encoder和Decoder的d_model不同（如某些变体），需在Encoder输出后加线性投影对齐。计算时，Query与Key做点积，得到[batch, tgt_len, src_len]的注意力分数，再softmax后与Value加权求和。注意：Cross-Attention的Key/Value在Decoder生成过程中不变（除非Encoder输出动态变化，如非自回归模型）。
追问 3：如何实现Decoder的因果掩码？给出具体代码逻辑。
假设序列长度
L，因果掩码是一个上三角矩阵（对角线及以下为0，以上为-inf）。在PyTorch中：mask = torch.triu(torch.ones(L, L), diagonal=1).bool()，然后attn_scores = attn_scores.masked_fill(mask, float('-inf'))。实际使用时需叠加padding mask：combined_mask = causal_mask & padding_mask（padding mask中<pad>位置为True）。注意：FlashAttention-2支持causal=True参数，自动处理块内掩码，无需手动构造矩阵。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“Encoder和Decoder的Attention完全一样，只是输入不同” → ✅ 正确：角色和掩码机制完全不同，Encoder是双向，Decoder是因果+跨序列。
- ❌ 说“Cross-Attention的Key/Value来自Decoder自身” → ✅ 正确：Key/Value来自Encoder，Query来自Decoder，这是序列对齐的关键。
- ❌ 说“Decoder的Self-Attention不需要掩码，因为生成时已经知道所有token” → ✅ 正确：训练时必须用因果掩码防止未来信息泄露，推理时通过KV Cache逐步生成，但掩码逻辑仍存在。
6️⃣ 简历呼应
- 如果你有RAG项目：从Cross-Attention类比检索增强——Encoder输出相当于检索到的文档表示，Decoder的Cross-Attention相当于在生成时动态关注文档。强调如何用稀疏注意力优化长文档场景。
- 如果你只做过传统NLP：用Seq2Seq模型（如LSTM）的编码器-解码器结构类比，说明Attention机制如何替代固定上下文向量。强调Transformer的并行计算优势。
- 如果你是校招无项目：聚焦论文复现，如从零实现一个简化版Transformer（PyTorch），打印Encoder和Decoder各层的注意力热图，对比其关注模式。展示对掩码实现和维度对齐的代码理解。
- 《Attention Is All You Need》（原始论文，理解三种注意力的数学定义）
- 《The Annotated Transformer》（Harvard NLP，带代码的逐行解析）
- 《FlashAttention: Fast and Memory-Efficient Exact Attention》（理解因果掩码的工程优化）
- 《T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》（Encoder-Decoder架构的工业级实践）
- 《xformers: A Modular and Hackable Transformer Library》（开源库，支持因果掩码和稀疏注意力）