什么是 Causal LM
1️⃣ 考察意图
面试官想确认你是否真正理解自回归语言模型的核心机制，而非仅仅背出“GPT是Causal LM”的标签。考察类型是概念辨析+工程理解。刁钻点在于：很多人能说出“单向注意力”，但说不清因果掩码（Causal Mask）在训练和推理时的具体实现差异，以及为什么这种设计天然适合生成任务。答好了能展示你对Transformer底层机制（注意力计算、KV Cache、训练效率）的扎实理解，以及从原理到落地的完整流程思维。
2️⃣ 标准答
定义与核心机制
Causal LM（因果语言模型）本质上是自回归（Autoregressive）模型，其核心约束是：预测第t个token时，只能看到位置1到t-1的token，不能看到未来信息。这个约束通过**因果注意力掩码（Causal Attention Mask）**实现——注意力矩阵的上三角部分（包括对角线，取决于实现）被设为负无穷，softmax后对应位置权重为0。
与双向模型的本质区别
- BERT（双向模型）：使用全连接注意力，每个token能看到序列所有位置。训练目标是Masked Language Model（MLM），随机遮盖15%的token并预测。这导致BERT天然不适合自回归生成，因为生成时需要逐步解码，而BERT的输入必须完整。
- Causal LM（GPT系列）：注意力是单向的。训练目标是Next Token Prediction（NTP），即给定前t-1个token，预测第t个。这个目标与生成时的行为完全一致，因此Causal LM可以直接用于文本生成，无需额外适配。
训练与推理的工程细节
- 训练阶段：输入一个完整序列（如“I love AI”），通过因果掩码，模型并行计算所有位置的loss。例如，位置2的预测只依赖token 1，位置3依赖token 1和2。这比逐token训练效率高得多，因为一次前向传播就能计算整个序列的梯度。
- 推理阶段：必须逐token生成。生成第t个token时，需要将前t-1个token的Key和Value缓存起来（KV Cache），避免重复计算。这是Causal LM推理优化的核心——如果不做KV Cache，生成100个token的时间复杂度是O(n²)，做了之后降为O(n)。
实际落地的坑与解法
- 坑1：训练-推理不一致。训练时模型看到的是完整序列（带掩码），推理时是逐token生成。如果训练时序列长度固定（如512），推理时生成长文本可能遇到位置编码外推问题。解法：使用支持外推的位置编码，如RoPE（旋转位置编码）或ALiBi。RoPE通过旋转矩阵编码相对位置，在推理时能泛化到更长序列。
- 坑2：因果掩码的实现效率。直接构造一个上三角全为负无穷的矩阵（形状为[seq_len, seq_len]）会导致显存浪费，尤其当batch size大时。解法：使用PyTorch的
torch.triu生成掩码，或直接传入attn_mask参数，利用FlashAttention的块稀疏计算避免显存爆炸。FlashAttention通过分块计算注意力，无需显式构造完整掩码矩阵。
典型代表与演进
- GPT系列：GPT-1（117M参数）首次证明Causal LM的scaling law；GPT-2（1.5B）展示零样本能力；GPT-3（175B）引入in-context learning。
- LLaMA系列：在Causal LM基础上引入RoPE、SwiGLU激活函数、RMSNorm，成为开源标杆。
- DeepSeek系列：使用MoE（混合专家）架构，每个token只激活部分专家，在保持Causal LM生成能力的同时降低计算成本。
总结：Causal LM的核心是因果掩码+NTP训练目标，这使其成为生成任务的天然选择。理解其训练与推理的差异、位置编码的取舍、以及KV Cache的优化，是区分“背概念”和“真懂”的关键。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，Causal LM的核心是因果注意力掩码，确保预测时只能看到过去token，这与BERT的双向注意力本质不同。第二，训练时通过NTP目标并行计算所有位置loss，推理时依赖KV Cache逐token生成，这里存在训练-推理不一致的坑，需要用RoPE等位置编码解决外推问题。第三，典型代表是GPT系列和LLaMA，它们通过scaling law和架构优化（如MoE）持续提升生成能力。总结一句：Causal LM是自回归生成的基础范式，理解其掩码机制和工程优化是掌握LLM的起点。”
4️⃣ 高频追问 & 应对
追问1：Causal LM和Prefix LM有什么区别？
核心区别在于注意力范围。Causal LM（如GPT）的注意力是严格单向的，所有token只能看到左侧。Prefix LM（如GLM、UniLM）在输入前缀部分（如prompt）使用双向注意力，在生成部分使用单向注意力。这允许模型在理解上下文时利用双向信息，生成时保持自回归。典型应用是ChatGLM的对话场景：用户输入（前缀）可以双向编码，模型回复（生成）单向生成。工程上，Prefix LM需要更复杂的掩码设计，但能提升prompt理解能力。
追问2：为什么Causal LM训练时用NTP目标，而不是MLM？
因为NTP与生成时的行为完全对齐。MLM训练时模型看到的是完整序列（包括被遮盖token的上下文），推理时却要逐步生成，存在训练-推理不匹配。NTP则让模型在训练时就学会“基于过去预测未来”，推理时直接复用。此外，NTP的loss计算更高效——一次前向传播计算所有位置的loss，而MLM需要额外处理mask token。但NTP的缺点是每个token只被预测一次，信息利用率低于MLM（MLM中每个token可能被多次预测）。不过实验证明，对于生成任务，NTP的端到端效果更好。
追问3：Causal LM的KV Cache在长文本生成时显存爆炸怎么办？
这是实际部署的核心问题。KV Cache的显存占用与序列长度和层数成正比，例如LLaMA-7B（32层，hidden size 4096）在生成2048个token时，KV Cache约占用2GB（2 * 32 * 2048 * 4096 * 2字节）。解法有：1）Multi-Query Attention（MQA）：所有head共享Key和Value，显存降为1/8；2）Grouped-Query Attention（GQA）：分组共享，平衡效果和效率；3）KV Cache量化：将Key和Value从FP16量化到INT8，显存减半，精度损失可控；4）窗口注意力：只缓存最近N个token的KV，丢弃早期信息，适用于长文本但需要局部性的场景。
5️⃣ 避坑 · 常见错误答法
- ❌ “Causal LM就是GPT，BERT是双向的，所以Causal LM比BERT好。” → ✅ 正确切入：两者设计目标不同，Causal LM适合生成，BERT适合理解。不能简单说“谁更好”，而是说“谁更适合什么任务”。面试官想听的是你对任务-模型匹配的理解。
- ❌ “Causal LM的训练和推理一样，都是逐token生成。” → ✅ 正确切入：训练时是并行计算（通过因果掩码），推理时才是逐token生成。混淆这一点会暴露你对Transformer训练流程的不熟悉。要强调“训练时一次前向传播计算所有位置loss”这个关键差异。
- ❌ “Causal LM的注意力掩码就是上三角矩阵。” → ✅ 正确切入：上三角矩阵是理论描述，实际实现中要考虑显存效率。FlashAttention通过分块计算避免构造完整掩码矩阵，这才是工程落地的正确理解。
6️⃣ 简历呼应
- 如果你有LLM微调项目：从“训练-推理不一致”切入，讲述你在微调LLaMA时如何通过调整RoPE的base frequency（如从10000改为500000）来支持更长序列，并对比了不同位置编码的外推效果。
- 如果你只做过传统NLP（如LSTM/RNN）：用RNN的隐状态类比Causal LM的因果掩码——RNN天然是因果的，但无法并行；Causal LM通过掩码实现了并行训练，同时保持了因果性。强调这是Transformer对RNN的核心改进。
- 如果你是校招无项目：聚焦PyTorch实现一个迷你Causal LM的demo。描述你如何手动构造因果掩码（
torch.triu(torch.ones(seq_len, seq_len), diagonal=1).bool()），并在TinyStories数据集上训练，验证了生成文本的连贯性。展示你对底层实现的掌控力。 - 《Attention Is All You Need》——原始Transformer论文，理解因果掩码的起源
- 《Language Models are Unsupervised Multitask Learners》（GPT-2论文）——Causal LM的scaling law实证
- 《LLaMA: Open and Efficient Foundation Language Models》——RoPE、SwiGLU等现代Causal LM架构细节
- 《FlashAttention: Fast and Memory-Efficient Exact Attention》——因果掩码的高效实现
- 《Training Language Models to Follow Instructions with Human Feedback》（InstructGPT论文）——Causal LM在RLHF中的应用