训练数据中的「数据配比「（Data Mixture）如何影响模型能力

训练数据中的「数据配比「（Data Mixture）如何影响模型能力

1️⃣ 考察意图

面试官想看你能否从"数据配比 → 模型能力"的因果关系中做工程推理。刁钻点在于：很多人只答"代码多了推理好"，但说不出为什么、影响幅度多大、不同配比之间是否有交互效应。答好了能展示你对"数据即模型"这一原则的深刻理解，以及基于数据的模型能力调优经验。

2️⃣ 标准答

数据配比直接决定模型的能力分布——不同数据源训练出的模型"擅长"不同任务。

1. 各数据源对模型能力的影响

2. 配比的交互效应

配比不是简单的加法——数据源之间有交互效应：

• 代码 + 数学协同：代码数据提升逻辑思维，数学数据提升计算推理，两者同时增加效果 > 分别增加。实验：代码 15%+数学 3% → GSM8K 45分；代码 25%+数学 5% → GSM8K 52分（提升 7分，而非线性叠加的 3.5分）
• 网页 vs 知识争夺：网页数据多→通用对话好但事实错误多；百科/学术多→事实准确但对话不自然。需要在"流畅性"和"准确性"之间找平衡
• 多语言 vs 英文争夺：每增加 1% 的多语言数据，英文能力约下降 0.2-0.5%（benchmark 分数）。需要在多语言覆盖和英文性能之间做 trade-off

3. 配比优化的方法

方法 1：人工经验调参

• 参考已有模型（LLaMA、GPT-4）的配比，根据目标任务微调
• 优点：简单直接；缺点：依赖经验，可能不是最优

方法 2：DoReMi 自动优化

• 用 280M 代理模型评估各数据源的价值（基于 loss），自动调整配比
• 优点：数据驱动，比人工更优；缺点：需要额外训练代理模型

方法 3：消融实验（Ablation）

• 固定其他配比，每次只改一个数据源的比例，观察下游任务变化
• 优点：精确量化每个数据源的影响；缺点：实验量大（n 个数据源 × m 个比例 = n×m 次训练）

4. 配比的动态调整（Data Curriculum）

训练过程中动态调整配比：

• 前期（0-50% 训练）：高比例网页数据（70%），建立基础语言能力
• 中期（50-80%）：增加代码和学术数据（各 15%），提升推理和知识
• 后期（80-100%）：增加对话数据（10%），提升指令遵循能力
• 效果：比固定配比在下游任务上提升 3-8%（尤其在代码和数学任务上）

3️⃣ 答题模板（30 秒电梯版）

"数据配比决定模型能力分布。代码↑→推理好（GSM8K+7分）；百科↑→事实准；网页↑→对话好但噪声多；多语言↑→英文略降。配比有交互效应：代码+数学协同提升、网页vs知识争夺。优化方法：人工经验、DoReMi自动优化、消融实验。动态调整（Data Curriculum）比固定配比效果好3-8%。核心原则：没有最优配比，只有针对目标任务的最优配比。"

4️⃣ 高频追问 & 应对

追问 1：DoReMi 是怎么自动优化配比的？代理模型怎么选？

DoReMi 流程：(1) 用初始配比训练 280M 参数的代理模型到收敛；(2) 用代理模型计算各数据源的"域损失"（domain loss）；(3) 用域损失调整配比——loss 高的数据源增加权重（模型在这些领域"学得不好"，需要更多数据）；(4) 用新配比训练目标模型（如 7B）。代理模型选择：(1) 要足够小——训练成本低（280M 模型训练 1 天 vs 7B 模型训练 1 周）；(2) 架构要和目标模型相似——用同样的 tokenizer 和架构（如都是 Transformer decoder-only）；(3) 训练数据要相同——用同样的清洗后数据，只是配比不同。效果：在 GLaM 模型上，DoReMi 配比比人工配比下游任务平均提升 6.6%。

追问 2：如果我想训练一个代码专用模型（如 CodeLlama），配比应该怎么设？

代码专用模型配比：代码 70-80% + 通用语言 15-20% + 数学 3-5% + 对话 2-5%。关键考虑：(1) 代码数据多样性——不能只堆 Python，需要覆盖 20+ 语言（Java/C++/JavaScript/Go/Rust等），否则模型只擅长一种语言；(2) 代码质量——用 GitHub stars>10 的仓库，过滤自动生成代码和低质量代码；(3) 保留 15-20% 通用语言数据——防止模型"只会写代码不会说人话"，影响代码注释和文档生成能力。CodeLlama 的做法：从 LLaMA-2 继续预训练，用 500B tokens（代码占 85%）。

追问 3：多语言配比对模型能力的影响怎么量化？

量化方法：(1) 分组消融——训练多个模型，多语言比例分别为 0%、5%、10%、20%，在英文 benchmark（MMLU、HumanEval）和多语言 benchmark（MGSM、XQuAD）上评测；(2) 绘制 trade-off 曲线——x 轴=多语言比例，y 轴=英文/多语言 benchmark 分数。典型发现：多语言从 0→5% 时英文下降 <1%（可接受），从 5→20% 时英文下降 3-5%（需权衡），从 20→50% 时英文下降 10%+（不值得）。最佳平衡点通常在 5-10%。

5️⃣ 避坑 · 常见错误答法

• ❌ "配比无所谓，模型自己会学" → ✅ "配比直接决定能力分布。代码太少→推理差，百科太少→事实错。必须根据目标任务设计配比。"
• ❌ "所有数据源等比例混合就行" → ✅ "等比例混合不是最优——网页数据占互联网 90%+，等比例等于 90% 网页，会导致模型事实准确性差。需要根据数据源价值调整比例。"
• ❌ "配比一旦设定就不能改" → ✅ "配比可以在训练过程中动态调整（Data Curriculum）。前期重语言、中期重推理、后期重对话，比固定配比效果好 3-8%。"

6️⃣ 简历呼应

• 如果你有预训练项目：从"配比优化实验"切入，描述你做的消融实验（改变代码/数学比例，观察 GSM8K/HumanEval 分数），给出配比-性能的 trade-off 曲线
• 如果你只做过微调：用"SFT 数据配比"切入，说明微调数据中指令/对话/代码的比例如何影响模型能力，迁移到预训练配比设计的思路
• 如果你是校招：用小型模型（如 100M）在不同配比下训练，测试代码比例对推理能力的影响，写博客
• "DoReMi: Optimizing Data Mixtures" (Xie et al., 2023)
• "LLaMA: Open and Efficient Foundation Language Models" (Touvron et al., 2023)
• "Data Composition for Language Model Pretraining" (Gururangan et al., 2023)