在增量预训练过程中如何设置学习率(learning rate, LR)

P1 · llm_training

🏷 标签：learning-rate, incremental-pretraining, hyperparameter-tuning, llm

1️⃣ 考察意图

面试官想考察你对增量预训练（Incremental Pretraining）超参数调优的实战经验，而非背诵理论。核心刁钻点在于：增量预训练不是微调（Fine-tuning），学习率设置必须平衡“吸收新知识”与“灾难性遗忘（Catastrophic Forgetting）”。答好了能展示你对学习率调度策略（如Warmup、余弦退火）、损失曲线监控、以及不同数据规模下的取舍有深刻理解，证明你具备独立调优大模型的能力。

2️⃣ 标准答

增量预训练的学习率设置，核心原则是保守起步、动态调整。预训练阶段学习率通常在1e-4量级，增量预训练必须低1-2个数量级，防止破坏已学得的语言表征。

1. 初始学习率范围与选择

推荐范围：1e-5 到 5e-5。具体值取决于：增量数据量（数据量越大，学习率可稍高）、模型规模（7B模型通常用1e-5~~2e-5，70B模型用5e-6~~1e-5）、以及是否使用参数高效微调（PEFT）。
经验法则：如果增量数据是领域代码（如StarCoder），学习率可设为1e-5；如果是通用文本，2e-5是安全起点。不要直接从预训练学习率（如3e-4）开始，那会导致loss瞬间飙升。
实际落地的坑：一次在CodeLlama-7B上增量预训练Python代码，初始学习率设为3e-5，训练500步后loss不降反升。排查发现是学习率过高导致梯度爆炸，回退到1e-5后loss稳定下降。解法：先跑一个100步的“探路实验”，观察loss曲线是否平滑，再决定是否调整。

2. 学习率调度策略

Warmup：必须使用。通常设置总步数的1%-5%作为warmup步数。例如，训练10万步，warmup设为1000-5000步。Warmup从0线性增长到目标学习率，避免初始阶段梯度震荡。
衰减策略：推荐余弦退火（Cosine Annealing）。它比线性衰减更平滑，能帮助模型在后期精细调整参数。如果训练周期短（如1万步），也可用固定学习率（Constant LR）配合早停。
Trade-off：余弦退火在训练后期学习率极低，适合“微调”式学习；但如果增量数据与预训练数据分布差异大（如从通用文本到医学文献），后期学习率过低可能导致新知识吸收不足。此时可改用带重启的余弦退火（Cosine with Restarts），或手动在loss平台期调高学习率。

3. 动态调整与监控

监控指标：主要看训练loss和验证loss。如果验证loss在下降但训练loss震荡，说明学习率偏高，需降低（如从2e-5降到1e-5）。如果两者都下降缓慢，可尝试小幅提升（如从1e-5升到1.5e-5）。
实际落地的坑：一次增量预训练中，loss在训练中期突然上升，怀疑是学习率过高。但检查发现是数据批次中混入了噪声样本。解法：先排除数据问题（检查数据质量、重复样本），再调整学习率。不要盲目调参。
与微调的区别：微调（SFT）学习率可稍大（如2e-5到5e-5），因为微调目标明确（对齐指令），且数据量小（通常几千到几万条）。增量预训练数据量大（百万到十亿token），学习率必须更保守，否则灾难性遗忘风险剧增。

4. 具体方法名与工具

方法：使用AdamW优化器，默认beta1=0.9, beta2=0.999, weight_decay=0.01。学习率调度用Hugging Face的get_cosine_schedule_with_warmup。
论文参考：LLaMA论文（Touvron et al., 2023）中预训练使用余弦退火，学习率从3e-4衰减到3e-5。增量预训练可参考CodeLlama论文（Rozière et al., 2023），他们使用1e-5学习率，warmup 200步。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：初始学习率选择、调度策略、动态调整。第一，初始学习率推荐1e-5到5e-5，具体取决于模型规模和数据量，先跑100步探路实验。第二，必须用Warmup加余弦退火，Warmup步数设为总步数的1%-5%。第三，监控训练和验证loss，震荡就降学习率，收敛慢就小幅提升。总结一句：增量预训练学习率要保守起步、动态监控，避免灾难性遗忘。”

4️⃣ 高频追问 & 应对

追问 1：如果增量数据量很大（比如100B token），学习率应该怎么调？

数据量大时，学习率可以稍高，比如2e-5到5e-5，因为模型有更多机会“纠正”错误。但需要更长的warmup（比如总步数的5%-10%），避免初始阶段梯度爆炸。同时，建议使用学习率预热后保持恒定（Warmup + Constant），而不是余弦衰减，因为余弦衰减后期学习率太低，可能无法充分吸收新知识。参考GPT-4的论文（未公开，但业界共识是使用Warmup + Constant）。

追问 2：如果训练过程中loss突然上升，你如何排查？

首先检查数据质量：是否有重复样本、噪声标签或格式错误？其次检查学习率：是否过高导致梯度爆炸？可以打印梯度范数，如果范数突然增大，降低学习率。最后检查优化器状态：是否使用了AdamW的weight_decay过大？如果都不是，可能是模型参数初始化问题，尝试加载预训练检查点并重置优化器状态。具体操作：在训练脚本中加一个梯度裁剪（gradient clipping，max_norm=1.0），防止梯度爆炸。

追问 3：增量预训练和领域微调（Domain Fine-tuning）的学习率设置有何不同？

增量预训练的目标是让模型吸收新领域的知识分布，数据量大（百万到十亿token），学习率要低（1e-5到5e-5），调度用余弦衰减。领域微调通常数据量小（几千到几万条），目标是让模型适应特定任务格式，学习率可稍高（2e-5到5e-5），甚至用固定学习率。关键区别：增量预训练更关注灾难性遗忘，所以学习率更保守；领域微调更关注任务性能，所以学习率可稍高，但也要监控过拟合。

5️⃣ 避坑 · 常见错误答法

❌ “增量预训练学习率直接设为预训练时的1e-4，因为数据量小。” → ✅ “增量预训练学习率必须低于预训练，通常1e-5到5e-5。预训练学习率1e-4会导致灾难性遗忘，loss会飙升。”
❌ “学习率调度用线性衰减就行，简单有效。” → ✅ “线性衰减在训练后期学习率下降过快，可能导致模型无法精细调整。推荐余弦退火，它更平滑，适合增量预训练这种长周期训练。”
❌ “学习率设置好后就不用管了，等训练结束看结果。” → ✅ “必须动态监控loss曲线。如果loss震荡，说明学习率偏高；如果收敛慢，说明学习率偏低。建议每1000步打印一次loss，并设置早停机制。”

6️⃣ 简历呼应

如果你有增量预训练项目：从“实际调参经验”切入，比如“我在CodeLlama-7B上增量预训练代码数据时，发现学习率从3e-5降到1e-5后loss稳定下降，并使用了余弦退火调度”。
如果你只做过微调（SFT）：用“类比迁移”切入，比如“微调学习率通常2e-5到5e-5，但增量预训练数据量更大，学习率要更保守，我参考了LLaMA论文的余弦退火策略”。
如果你是校招无项目：聚焦“论文复现”切入，比如“我复现了CodeLlama论文的增量预训练实验，使用1e-5学习率和200步warmup，在HumanEval上提升了5%”。

7️⃣ 延伸阅读

LLaMA: Open and Efficient Foundation Language Models (Touvron et al., 2023)
Code Llama: Open Foundation Models for Code (Rozière et al., 2023)
AdamW: Decoupled Weight Decay Regularization (Loshchilov & Hutter, 2019)
Hugging Face Transformers: get_cosine_schedule_with_warmup 文档
博客：How to Tune Learning Rate for Large Language Models (Hugging Face Blog)

—— 本场面试完 ——