| Q17 | What is the purpose of the decoder in a Transformer model
1️⃣ 考察意图
面试官想看你是否真懂Transformer解码器的核心机制，而非仅背结构图。这是“背概念+工程取舍”混合题，刁钻点在于：解码器不仅是“生成器”，其自回归特性、掩码机制、交叉注意力如何协同工作，以及为什么GPT系列能仅用解码器完成所有任务。答好了能展示你对自回归生成、序列建模的底层理解，以及从模型设计到训练推理的工程直觉。
2️⃣ 标准答
解码器在Transformer中的核心目的是自回归生成：逐步预测下一个token，同时利用已生成内容作为上下文。结构上，它由三层堆叠：掩码自注意力、交叉注意力、前馈网络（FFN）。下面拆解关键点：
- **掩码自注意力（Masked Self-Attention）**这是解码器的灵魂。它通过上三角掩码（mask）让每个位置只能关注自身及之前的位置，防止“看到未来token”。例如，在GPT-2的12层解码器中，每层自注意力都应用因果掩码（causal mask），确保生成第5个token时，只依赖前4个。工程取舍：掩码自注意力是单向的，牺牲了双向上下文（如BERT），但换来自回归生成的可并行训练（teacher forcing）。训练时，整个序列一次输入，掩码保证因果性；推理时，需逐token生成，无法并行，这是生成速度的瓶颈。
- **交叉注意力（Cross-Attention）**仅存在于编码器-解码器架构（如原始Transformer），用于从编码器输出中提取输入序列的上下文。查询（Q）来自解码器，键（K）和值（V）来自编码器。例如，在机器翻译中，解码器生成英文单词时，通过交叉注意力对齐中文输入。实际落地的坑：交叉注意力要求编码器输出完整，导致推理时编码器必须一次性处理整个输入，无法流式处理。在长文本任务（如文档摘要）中，这会导致显存爆炸。解法：采用分块编码（chunked encoding）或滑动窗口注意力（如Longformer）。
- **自回归生成（Autoregressive Generation）**解码器逐token输出，每一步的输入是之前生成的token序列。例如，GPT-3生成“The cat sat”时，先输出“The”，再基于“The”输出“cat”，以此类推。为什么这么做：自回归是概率链式法则的直接实现，保证生成序列的联合概率可分解为条件概率乘积。但推理时，每一步都需重新计算前序token的注意力，复杂度为O(n²)。解法：使用KV缓存（KV Cache），存储已计算的键值对，避免重复计算，将复杂度降为O(n)。在GPT-4推理中，KV缓存是标配，但显存占用随序列长度线性增长，需配合FlashAttention优化。
- 与编码器的区别编码器是双向的（无掩码），适合理解任务（如分类）；解码器是单向的，适合生成任务。GPT系列（如GPT-4、Llama）仅用解码器，通过自回归语言建模（预测下一个token）统一预训练，无需编码器。这简化了架构，但牺牲了双向理解能力，需通过大规模数据和模型容量弥补。
- 在GPT等模型中的应用GPT系列堆叠多个解码器层（如GPT-3有96层），每层包含掩码自注意力和FFN，无交叉注意力。训练时，使用因果语言建模损失（next token prediction）；推理时，通过温度采样（temperature sampling）或top-p采样控制多样性。工程取舍：仅解码器架构减少了参数和计算（无编码器），但生成质量依赖模型规模。例如，GPT-3的175B参数通过海量数据（570GB文本）训练，才达到零样本能力。小模型（如GPT-2 124M）生成连贯性差，需配合prompt工程。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，解码器的核心是自回归生成，通过掩码自注意力保证因果性；第二，交叉注意力在编码器-解码器架构中连接输入输出，但GPT系列仅用解码器，通过大规模预训练弥补双向理解缺失；第三，工程上，KV缓存和FlashAttention是推理加速的关键。总结一句：解码器是生成式模型的引擎，其单向设计是生成任务的最优解。”
4️⃣ 高频追问 & 应对
追问 1：为什么GPT不用编码器，而原始Transformer用？这有什么trade-off？
原始Transformer用于序列到序列任务（如翻译），编码器提供输入的双向表示，解码器通过交叉注意力对齐。GPT仅用解码器，通过自回归语言建模统一预训练，简化架构但牺牲双向理解。例如，在情感分类任务中，BERT（编码器）比GPT（解码器）效果好，因为BERT能同时看到前后文。但GPT通过大规模数据（如Common Crawl）和模型容量（175B参数）弥补，且生成任务天然适合自回归。工程上，仅解码器架构减少参数和训练成本，但推理时需KV缓存，显存占用随序列长度线性增长。
追问 2：解码器推理时如何优化速度？具体说说KV缓存和FlashAttention。
KV缓存存储每层解码器自注意力中已计算的键（K）和值（V），避免重复计算。例如，生成第5个token时，只需计算新token的Q，与缓存的K、V做注意力，复杂度从O(n²)降为O(n)。但KV缓存显存占用随序列长度和层数线性增长，在GPT-4的96层中，每层需缓存n×d维矩阵，n=4096时，单序列需约3GB显存。FlashAttention通过分块计算（tiling）和重计算（recomputation），减少显存读写，将注意力计算加速2-4倍。实际落地中，两者结合：KV缓存减少计算，FlashAttention优化显存，配合批处理（batch inference）提升吞吐。
追问 3：解码器生成时如何控制多样性？beam search和采样有什么区别？
Beam search保留top-k个候选路径，适合确定性任务（如翻译），但易生成重复内容。采样（如top-p采样）从累积概率≥p的token中随机选择，增加多样性，适合创意生成（如故事）。工程上，常用混合策略：先采样，再对重复token做惩罚（repetition penalty）。例如，GPT-4生成代码时用beam search（beam=4），生成故事时用top-p=0.9。trade-off：beam search牺牲多样性换准确性，采样牺牲准确性换多样性，需根据任务调整。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“解码器就是生成文本的模块，和编码器差不多” → ✅ 正确切入：解码器核心是自回归生成，通过掩码自注意力保证因果性，与编码器的双向注意力有本质区别。
- ❌ 说“解码器用交叉注意力，GPT也用交叉注意力” → ✅ 正确切入：GPT系列仅用解码器，无交叉注意力；交叉注意力仅存在于编码器-解码器架构（如原始Transformer）。
- ❌ 说“解码器推理时直接并行生成所有token” → ✅ 正确切入：解码器是自回归的，推理时逐token生成，无法并行；训练时通过teacher forcing并行，但需掩码保证因果性。
6️⃣ 简历呼应
- 如果你有RAG项目：从解码器生成与检索结合切入，例如“在RAG中，解码器生成答案时，通过交叉注意力从检索文档中提取上下文，但需注意长文档的显存优化（如分块编码）”。
- 如果你只做过传统NLP：用序列到序列任务类比，例如“在机器翻译中，解码器通过交叉注意力对齐源语言，类似传统Seq2Seq的注意力机制，但Transformer解码器通过自注意力捕获长距离依赖”。
- 如果你是校招无项目：聚焦论文复现，例如“我复现了GPT-2的迷你版（6层解码器），在莎士比亚文本上训练，通过KV缓存优化推理速度，生成文本的困惑度从50降到20”。
- “Attention Is All You Need” (Vaswani et al., 2017) - 原始Transformer论文，解码器结构详解
- “Language Models are Unsupervised Multitask Learners” (GPT-2论文) - 仅解码器架构的经典实现
- “FlashAttention: Fast and Memory-Efficient Exact Attention” (Dao et al., 2022) - 推理优化核心技术
- “The Annotated Transformer” (Harvard NLP) - 代码级解读，含解码器实现细节
- “Scaling Laws for Neural Language Models” (Kaplan et al., 2020) - 解码器模型规模与性能关系