Why does the Transformer model use multiple self-attention heads instead of a single self-attention head
1️⃣ 考察意图
面试官想验证你是否真正理解多头注意力（MHA）的设计动机，而非仅背诵“多个头能关注不同位置”。这是典型的工程取舍考察：为什么不用单头？多头到底带来了什么单头做不到的？刁钻点在于，很多人答“多头并行计算不同子空间”，但说不清“子空间”的数学含义，或混淆了“头数”与“模型容量”的关系。答好了能展示你对Transformer表示能力的底层理解，以及从计算效率到表征多样性的权衡能力。
2️⃣ 标准答
多头注意力（Multi-Head Attention, MHA）的核心设计动机是：在固定计算量下，通过将注意力机制分解到多个低维子空间，让模型同时学习多种不同类型的注意力模式。单头注意力（Single-Head Attention）受限于单一QKV投影，只能捕获一种关系（如位置或语义），而MHA通过h个头并行，每个头在d_k = d_model / h的维度上独立计算，最后拼接投影回d_model。
具体优势拆解：
- 表征多样性：单头注意力本质是“加权平均”，容易陷入“平均化陷阱”——所有位置权重趋同，丢失细粒度信息。MHA的每个头可以关注不同模式：例如在机器翻译中，一个头关注语法依赖（主谓一致），另一个头关注长距离语义（指代消解），第三个头关注位置编码（相对距离）。实验证明（如Vaswani et al., 2017），8个头中约2-3个会学到位置模式，其余关注内容。
- 计算效率：这是关键trade-off。单头如果保持总维度d_model=512，计算复杂度O(n²·d_model)不变，但每个位置只能做一次注意力。MHA将QKV投影到h个d_k维子空间，每个头计算复杂度O(n²·d_k)，总复杂度O(n²·h·d_k)=O(n²·d_model)，与单头相同。但MHA通过并行化（GPU矩阵乘法）实际更快，且每个头维度降低后，softmax的方差更小，训练更稳定。
- 实际落地的坑：头数不是越多越好。当h过大（如>64），每个头维度d_k过小（<4），注意力分布会退化——所有位置权重接近均匀分布，失去区分能力。经验法则：d_k至少8-16，常用h=8（d_model=512）或h=16（d_model=1024）。在LLM中（如GPT-3），头数随d_model线性增长，但会引入冗余：约30%的头可以剪枝而不影响下游性能（Michel et al., 2019）。
- 与单头的对比实验：在WMT14英德翻译任务上，8头MHA的BLEU比单头高1.2-1.5点（Vaswani et al., 2017）。单头在短句上表现接近，但在长句（>50词）上显著下降，因为单头无法同时建模局部语法和全局语义。
为什么不是“多个单头拼接”？ 因为MHA的每个头在低维子空间独立计算，然后通过输出投影层融合，这等价于在d_model维空间上做了一次“多视角投影”。单头如果强行增加维度（如d_model=4096），计算量会爆炸（O(n²·4096)），且训练不稳定（softmax输入值过大导致梯度消失）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，表征多样性——单头只能学一种注意力模式，多头通过h个低维子空间并行，同时捕获语法、语义、位置等不同关系；第二，计算效率——总计算量O(n²·d_model)与单头相同，但每个头维度降低后softmax更稳定，且GPU并行更高效；第三，工程取舍——头数不是越多越好，d_k至少8-16，否则注意力退化。总结一句：多头注意力是在固定计算预算下，通过子空间分解实现多模式学习的优雅设计。”
4️⃣ 高频追问 & 应对
追问 1：如果我把单头注意力的维度翻倍（d_model=1024），效果会不会比8头（d_model=512）更好？
不会。单头d_model=1024时，计算复杂度O(n²·1024)是8头（每个头d_k=64）的2倍，但效果反而可能更差。原因：单头softmax的输入是1024维的QK点积，方差更大（≈d_model），导致softmax分布极端（接近one-hot），梯度消失。而8头每个头d_k=64，方差小，梯度更健康。实验上，在相同FLOPs下，8头比单头BLEU高1.2-1.5点。如果非要单头，需要加温度缩放或LayerNorm，但不如直接多头。
追问 2：在LLM中，为什么有些模型（如GPT-3）用96个头？头数可以无限增加吗？
不能。头数受d_model和d_k下限约束。GPT-3的d_model=12288，每个头d_k=128（96头），符合经验法则。如果头数翻倍到192，d_k=64，注意力分布开始退化（所有位置权重接近均匀）。更关键的是，头数增加会带来冗余：约30%的头可以剪枝而不影响下游性能（Michel et al., 2019）。实际工程中，头数选择是d_model/d_k的比值，d_k通常取64或128。
追问 3：多头注意力中的每个头真的学到不同模式吗？有没有可能所有头学到相同模式？
有可能，尤其在训练初期或数据量不足时。可视化实验（Clark et al., 2019）显示，约20-30%的头会学到相似模式（如都关注位置）。但通过随机初始化不同投影矩阵，以及训练过程中的梯度差异，多数头会分化。工程上，可以通过“头多样性损失”（如KL散度惩罚）强制头差异化，但会牺牲一点性能。更实用的做法是：在微调时固定部分头，只更新关键头（如语法头），减少过拟合。
5️⃣ 避坑 · 常见错误答法
- ❌ “多头注意力让模型关注不同位置，单头只能关注一个位置。” → ✅ 正确说法：多头让模型在不同子空间学习不同类型的关系（如语法、语义、位置），而非简单“不同位置”。单头也能关注多个位置，但只能学一种加权模式。
- ❌ “头数越多越好，因为能捕获更多信息。” → ✅ 头数过多导致d_k过小，注意力退化；且存在冗余，30%的头可剪枝。经验值：d_k≥8，常用h=8或16。
- ❌ “多头注意力计算量是单头的h倍。” → ✅ 总计算量相同（O(n²·d_model)），因为每个头维度降低到d_model/h。实际由于并行和矩阵乘法优化，多头甚至更快。
6️⃣ 简历呼应
- 如果你有RAG项目：从“多路检索”类比切入——多头注意力类似多个检索器并行，每个头关注不同特征（如BM25关注词频、DPR关注语义），最后融合结果。可以提你在RAG中如何用多头注意力做query扩展。
- 如果你只做过传统NLP：用“多任务学习”类比——单头注意力像单任务模型（只做分类），多头像多任务共享底层（同时做NER、POS、情感分析）。可以提你如何用多头注意力改进文本分类的F1值。
- 如果你是校招无项目：聚焦论文复现——提你复现了Vaswani et al. 2017的8头注意力，并对比了单头在长句上的BLEU下降。可以展示你画出的注意力头可视化图（如语法头 vs 位置头）。
- Vaswani et al., 2017 - "Attention Is All You Need"（原始论文，Section 3.2）
- Michel et al., 2019 - "Are Sixteen Heads Really Better than One?"（头剪枝分析）
- Clark et al., 2019 - "What Does BERT Look At? An Analysis of BERT's Attention"（注意力头可视化）
- Tenney et al., 2019 - "BERT Rediscovers the Classical NLP Pipeline"（头功能分化）
- 博客：The Illustrated Transformer by Jay Alammar（多头注意力图解）