| Q88 | What are the different phases in LLM development
1️⃣ 考察意图
面试官想看你是否具备 LLM 开发的全局视野，而非只懂某个环节（如只会调 API 或跑微调）。考察类型是系统设计 + 工程取舍：能否清晰拆解预训练、后训练、对齐、部署等阶段，并理解各阶段的目标、数据需求、计算成本与关键 trade-off。刁钻点在于：很多人会漏掉“评估与迭代”或“数据工程”作为独立阶段，或者混淆指令微调与对齐。答好了能展示你从 0 到 1 构建 LLM 的硬实力，包括对数据质量、训练效率、部署瓶颈的实战认知。
2️⃣ 标准答
LLM 开发通常分为 5 个核心阶段，每个阶段有明确目标、关键技术及常见坑。
阶段 1：预训练（Pretraining）
- 目标：在大规模无监督语料上学习语言表示、世界知识和推理能力。典型规模：GPT-3 175B 在 570GB 文本上训练。
- 关键技术：使用 Transformer Decoder 架构，配合 RoPE 位置编码、FlashAttention 加速训练。数据清洗是关键：去重（MinHash）、过滤低质量内容（如使用 fastText 分类器）、去隐私（PII 脱敏）。
- 坑与解法：数据配比失衡（如代码数据过多导致自然语言能力下降）。解法：采用 数据混合比例搜索（如 The Pile 论文中的方法），通过小规模实验确定最优配比，再全量训练。
- Trade-off：模型规模 vs 训练数据量。Chinchilla 定律指出，对于固定计算预算，模型参数与训练 token 数应等比例缩放。盲目增大模型而不增加数据会导致欠拟合。
阶段 2：指令微调（Instruction Tuning）
- 目标：让模型学会遵循人类指令，从“续写”模式切换到“问答/任务”模式。典型数据：OpenAssistant、ShareGPT 或自建 10K-100K 条指令-回复对。
- 关键技术：使用 LoRA/QLoRA 进行参数高效微调，冻结大部分权重，只训练低秩适配器。训练时使用 多轮对话格式（如 ChatML 模板），并加入系统提示（system prompt）来区分角色。
- 坑与解法：指令多样性不足导致模型过拟合到特定格式。解法：数据增强，如随机打乱指令顺序、混合不同来源的数据（如 Alpaca 风格 + 代码生成 + 数学推理），并引入 负样本（如错误回复）来提升鲁棒性。
阶段 3：对齐（Alignment）
- 目标：使模型输出符合人类偏好（有用、诚实、无害）。主流方法：RLHF（PPO 算法）或 DPO（直接偏好优化）。
- 关键技术：RLHF 需要训练一个奖励模型（Reward Model），通常基于偏好对数据（如 Anthropic HH-RLHF 数据集）。DPO 则直接利用偏好对优化策略，无需显式奖励模型，更稳定且计算成本低。
- 坑与解法：奖励模型过拟合或 hack（如奖励模型偏好长回复）。解法：在奖励模型训练中引入 KL 散度惩罚（PPO 中的核心），限制策略模型偏离参考模型太远；DPO 中则通过 β 超参数控制。
- Trade-off：对齐 vs 通用能力。过度对齐（如过度拒绝回答）会降低模型在数学、代码等任务上的表现。解法：使用 可控对齐，如通过系统提示或条件训练（如加入“helpful”/“harmless”标签）来平衡。
阶段 4：评估与迭代（Evaluation & Iteration）
- 目标：在基准测试和人类反馈上量化模型能力，指导下一轮训练。
- 关键技术：使用自动化基准（MMLU、HellaSwag、GSM8K）和人工评估（如 Chatbot Arena 的 Elo 评分）。构建 评估集 时需覆盖训练数据分布外的场景（如 OOD 测试）。
- 坑与解法：基准测试过拟合（模型在 MMLU 上刷分但实际表现差）。解法：使用 动态评估，如定期更新测试集或引入对抗性样本（如 Red-teaming）。
阶段 5：部署与监控（Deployment & Monitoring）
- 目标：将模型压缩、量化、服务化，并持续监控性能。
- 关键技术：模型量化（GPTQ、AWQ 到 4-bit）、蒸馏（如 TinyLlama）、推理加速（vLLM 的 PagedAttention、FlashDecoding）。使用 A/B 测试 和 在线评估（如用户满意度评分）来监控。
- 坑与解法：量化后模型精度下降（尤其在数学任务上）。解法：使用 混合精度量化，对关键层（如 attention 层）保留高精度，其余层低精度。
总结：这 5 个阶段并非线性，而是迭代循环。数据工程（清洗、配比、增强）贯穿始终，是决定模型上限的关键。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从预训练、后训练（指令微调+对齐）、评估与部署三个层面回答。预训练阶段核心是数据清洗和 Chinchilla 定律指导下的规模选择；后训练阶段用 LoRA 做指令微调，再用 DPO 做对齐，避免 RLHF 的奖励模型 hack；评估阶段要防基准过拟合，部署阶段用量化+ vLLM 加速。总结一句：LLM 开发是数据驱动、迭代优化的系统工程，每个阶段都有明确的 trade-off 和坑。”
4️⃣ 高频追问 & 应对
追问 1：你提到 DPO 比 RLHF 更稳定，能具体说说 DPO 的数学原理和适用场景吗？
DPO 的核心是直接优化偏好概率，无需显式奖励模型。它基于 Bradley-Terry 模型，将偏好对映射为策略模型与参考模型的概率比之差。适用场景：数据量较小（<10K 对）或计算资源有限时，DPO 更高效；但 RLHF 在复杂对齐（如多目标优化）上更灵活。一个坑：DPO 对偏好数据质量敏感，若数据中有噪声（如标注不一致），会导致策略崩溃。解法：使用 DPO 的变体（如 KTO）或先做数据清洗。
追问 2：预训练阶段如何确定数据配比？有没有具体方法？
常用方法：小规模消融实验。例如，从 1T token 的语料中采样 10B token，训练一个 1B 模型，测试不同配比（如 50% 网页 + 30% 书籍 + 20% 代码 vs 40%+40%+20%）在多个基准（如 MMLU、HumanEval）上的表现。然后使用 贝叶斯优化 或 网格搜索 找到最优配比。一个 trade-off：代码数据提升推理能力但可能降低自然语言流畅度，需要根据下游任务调整。
追问 3：部署阶段如何选择量化方案？GPTQ 和 AWQ 有什么区别？
GPTQ 基于近似 Hessian 矩阵的权重量化，适合 GPU 推理，但需要校准数据集。AWQ 则通过激活值感知的权重量化，对 outlier 更鲁棒，精度损失更小。选择依据：如果模型在数学任务上精度敏感，优先 AWQ；如果追求速度且校准数据充足，GPTQ 更成熟。一个坑：量化后模型在长上下文任务上可能退化，解法是使用 KV-cache 量化（如 8-bit）来缓解。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提预训练和微调，忽略对齐和评估阶段 → ✅ 必须明确区分指令微调（让模型遵循指令）和对齐（让模型符合人类偏好），并强调评估是独立迭代环节。
- ❌ 说“RLHF 是唯一对齐方法” → ✅ 补充 DPO、KTO、PPO 的适用场景和 trade-off，展示技术广度。
- ❌ 忽略数据工程的重要性，只谈模型架构 → ✅ 强调数据清洗、配比、增强是决定模型上限的关键，并给出具体方法（如 MinHash 去重、fastText 过滤）。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“数据工程”角度切入，强调 RAG 中的文档清洗和 chunking 策略与预训练数据清洗的相似性，展示迁移能力。
- 如果你只做过传统 NLP：用“分类任务”类比指令微调，说明如何将传统标注数据转化为指令格式（如“请判断情感：正面/负面”），并强调 LoRA 微调的低成本优势。
- 如果你是校招无项目：聚焦“评估与迭代”阶段，复现 MMLU 或 GSM8K 的评估脚本，并分析不同模型（如 LLaMA-2-7B vs Mistral-7B）的得分差异，展示工程能力。
- 《Scaling Laws for Neural Language Models》（Kaplan et al., 2020）
- 《Training Language Models to Follow Instructions with Human Feedback》（Ouyang et al., 2022）
- 《Direct Preference Optimization: Your Language Model is Secretly a Reward Model》（Rafailov et al., 2023）
- 《The Pile: An 800GB Dataset of Diverse Text for Language Modeling》（Gao et al., 2020）
- 《AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration》（Lin et al., 2023）