高频八股:大语言模型中的注意力机制?多头 vs 单头优势在哪
1️⃣ 考察意图
面试官想验证你对Transformer核心机制的理解深度，而非简单背诵公式。考察类型是概念+工程取舍。刁钻点在于：多数人能背出“多头注意力让模型关注不同子空间”，但说不清为什么需要多个头、单头在什么场景下反而更好。答好了能展示你对模型设计trade-off的直觉——知道何时用多头、何时用GQA/MQA优化，以及如何用具体数字（头数、维度分配）支撑判断。这直接对应大模型训练和推理优化的硬实力。
2️⃣ 标准答
注意力机制本质：通过Query和Key的相似度计算权重，加权聚合Value。公式是 Attention(Q,K,V) = softmax(QK^T/√d)V。缩放因子 √d 防止softmax进入梯度饱和区。
单头注意力：所有信息压缩到一个注意力分布中。计算量小，但表达能力受限——一个头只能捕捉一种关系模式（如词性依赖），无法同时建模句法和语义。
多头注意力（MHA）：将Q、K、V线性投影到h个不同的低维子空间（每个头维度 d_k = d_model/h），并行计算注意力后拼接再投影。核心优势：
- 多子空间学习：每个头在不同子空间学习不同关系。例如，一个头关注“主谓一致”，另一个头关注“指代消解”，第三个头关注“位置编码”。实验证明【通用知识】，8个头在机器翻译中比单头BLEU提升2-3点。
- 互补信息：单头可能丢失低频模式（如罕见语法结构），多头通过集成降低方差。
- 计算效率：虽然总FLOPs与单头相同（因为维度被分割），但并行计算在GPU上更高效。
实际落地的坑：
- 头数过多：头数超过16后，收益递减甚至下降（信息碎片化）。例如，GPT-3使用96头，但后续研究（如《Are Sixteen Heads Really Better than One?》）发现剪掉部分头后性能几乎不变。解法：用head importance scoring（如基于梯度或attention entropy）动态剪枝。
- KV缓存爆炸：MHA在推理时需缓存每个头的KV，内存随头数线性增长。解法：改用Grouped Query Attention（GQA）——将query头分组，每组共享一个KV头。例如，LLaMA 2 70B使用8个KV头对应64个query头，推理KV缓存减少87.5%，性能几乎无损。
- 训练不稳定：多头注意力在长序列（>4K tokens）中，softmax分布可能过于尖锐。解法：结合FlashAttention做分块计算，或使用RoPE位置编码缓解长距离衰减。
工程取舍总结：
- 训练阶段：MHA是默认选择（8-16头），平衡表达力和计算。
- 推理阶段：优先GQA或MQA（Multi-Query Attention，所有query共享一个KV头），牺牲少量精度换取内存和延迟。
- 小模型（<1B参数）：单头或2-4头可能更优，因为参数冗余导致过拟合。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从机制、优势、工程取舍三个层面回答。机制上，注意力通过QK相似度加权聚合V，单头压缩所有信息到一个分布，多头在h个子空间并行学习不同关系。优势上，多头提升表达能力，捕捉互补模式，且计算效率高。工程取舍上，训练用8-16头MHA，推理用GQA/MQA减少KV缓存，小模型可减少头数防过拟合。总结一句：多头是Transformer表达力的核心，但需根据模型规模和部署场景动态调整。”
4️⃣ 高频追问 & 应对
追问 1：为什么多头注意力中每个头的维度是 d_k = d_model/h？如果维度不相等会怎样？
这是为了保持总参数量和计算量不变。如果每个头维度不同，拼接后投影矩阵的维度不匹配，需要额外调整。实际中，有些变体（如《Multi-Head Attention with Disparate Heads》）尝试让头维度不同，但实验显示收益有限，且增加工程复杂度。标准做法是等分，因为GPU对均匀维度计算更高效。
追问 2：你说多头能捕捉不同关系，具体怎么证明？有没有可视化证据？
有。经典论文《Attention is All You Need》中可视化显示，不同头关注不同句法模式：一个头聚焦“动词-宾语”，另一个头聚焦“名词-修饰语”。更系统的分析来自《What Does BERT Look At?》，通过attention entropy和head importance scoring发现，低层头更关注局部语法，高层头更关注语义。你也可以用BertViz工具在自己的模型上验证。
追问 3：GQA和MQA在性能上差多少？什么时候该用哪个？
MQA（所有query共享一个KV头）推理速度最快，但精度损失约0.5-1% BLEU（机器翻译）或perplexity上升0.1-0.2。GQA（分组共享）是折中方案：8组KV头对应64个query头时，精度损失几乎可忽略（<0.1%），KV缓存减少87.5%。推荐：对延迟敏感（如实时对话）用MQA；对精度要求高（如文档摘要）用GQA，组数设为总头数的1/8到1/4。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“多头注意力就是多个单头注意力并行，结果取平均” → ✅ 正确说法是“每个头在不同子空间独立计算注意力，拼接后通过线性投影融合，不是简单平均”。
- ❌ 说“头数越多越好，能捕捉更多信息” → ✅ 正确说法是“头数超过16后收益递减，甚至因信息碎片化导致性能下降，需用head pruning或GQA优化”。
- ❌ 说“单头注意力完全没用，已被淘汰” → ✅ 正确说法是“单头在小模型（<1B）或推理延迟敏感场景（如边缘设备）仍有优势，计算量小且不易过拟合”。
6️⃣ 简历呼应
- 如果你有RAG项目：从“检索-阅读”流程切入，说明多头注意力在阅读器中对query和文档的交叉注意力如何提升答案抽取精度，对比单头在长文档中的信息丢失。
- 如果你只做过传统NLP（如LSTM）：用“特征工程”类比——单头像单一特征提取器，多头像多个特征提取器并行，每个关注不同模式（如词性、语义、位置），最后融合。
- 如果你是校招无项目：聚焦论文复现——在小型Transformer（如6层、8头）上对比单头/多头在WMT14英德翻译的BLEU分数，并分析训练速度（多头因并行计算更快），展示对《Attention is All You Need》的深入理解。
- 《Attention is All You Need》（Vaswani et al., 2017）——多头注意力原始论文
- 《Are Sixteen Heads Really Better than One?》（Michel et al., 2019）——head pruning分析
- 《Fast Transformer Decoding: One Write-Head is All You Need》（Shazeer, 2019）——MQA论文
- 《GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints》（Ainslie et al., 2023）——GQA论文
- 《FlashAttention: Fast and Memory-Efficient Exact Attention》（Dao et al., 2022）——长序列优化