为什么数据规模对 LLM 很重要
1️⃣ 考察意图
面试官想考察你对 Scaling Law 的深度理解，而非简单背诵“数据越多越好”。核心是看你能不能解释“为什么”以及“在什么条件下”数据规模才重要。刁钻点在于：数据规模不是孤立变量，它与模型参数、计算预算、数据质量构成三角权衡。答好了能展示你对预训练工程落地的全局观，包括识别数据饱和点、理解 Chinchilla 最优分配、以及处理数据重复和噪声的实际经验。
2️⃣ 标准答
数据规模对 LLM 的重要性，可以从三个层面拆解：理论驱动、工程权衡、实战陷阱。
1. 理论驱动：Scaling Law 的幂律关系
- Kaplan 等人（2020）发现，在固定计算预算下，模型性能与数据量、参数量呈幂律关系。具体来说，交叉熵损失随数据量增加而下降，且下降速度在早期快、后期慢，没有明显拐点。
- 这意味着：数据规模直接决定了模型的知识覆盖上限。例如，用 1T tokens 训练的 7B 模型，在常识推理任务上比用 100B tokens 训练的同一模型高出 5-8 个点（参考 MMLU 基准）。
- 但注意：Scaling Law 假设数据是独立同分布的。实际中，数据重复会导致收益递减——比如 Common Crawl 中 URL 去重后，有效数据量可能缩水 30-50%。
2. 工程权衡：Chinchilla 最优分配
- Hoffmann 等人（2022）的 Chinchilla 论文修正了 Kaplan 的结论：模型参数和数据量应同步缩放。对于 7B 模型，最优数据量约为 200B tokens（约 30 倍参数）。如果数据量不足，模型会欠拟合；如果数据量过剩，则浪费计算资源。
- 一个具体取舍：假设你有 1e23 FLOPs 预算，是训练一个 10B 模型用 100B tokens，还是 1B 模型用 1T tokens？Chinchilla 法则建议前者，因为更大模型能从更多数据中受益，但需要验证数据质量是否匹配。
- 实际落地坑：数据质量比数量更重要。例如，用 500B 高质量过滤数据（如 FineWeb-Edu 的 4.5 分以上样本）训练的 1.3B 模型，在 HellaSwag 上比用 1T 原始数据训练的模型高 3%。所以，不要盲目堆量，先做数据清洗和去重（MinHash + Bloom Filter）。
3. 实战陷阱：数据规模带来的涌现与过拟合
- 涌现能力：足够数据量下，模型会出现少样本学习、思维链等能力。例如，GPT-3 在 175B 参数 + 300B tokens 下才稳定展示 few-shot 能力。但这不是线性增长，而是阈值效应——数据量需要跨过某个“临界点”（通常与模型容量相关）。
- 过拟合风险：数据规模不足时，模型会记忆训练样本。例如，用 10B tokens 训练 7B 模型，在训练集上 loss 接近 0，但验证集 loss 高 0.5 以上。解决方案：监控训练/验证 loss 差距，如果差距 > 0.1，立即增加数据或降低模型容量。
- 数据重复的隐性成本：即使总数据量够大，重复样本会导致模型对特定模式过拟合。例如，C4 数据集中 URL 重复率约 10%，不处理的话，模型在重复样本上的 loss 会异常低，影响泛化。解法：用 Exact Dedup（MD5 哈希）和 Fuzzy Dedup（SimHash）结合，去除 95% 以上重复。
总结：数据规模重要，但必须与模型参数、计算预算、数据质量协同优化。实际工程中，先确定计算预算，再用 Chinchilla 法则分配参数量和 tokens，最后用数据质量过滤和去重提升效率。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，理论层面，Scaling Law 表明数据量增加能降低 loss，但收益递减；第二，工程层面，Chinchilla 法则要求数据量与模型参数同步缩放，否则欠拟合或浪费计算；第三，实战层面，数据质量比数量更重要，需要做去重和过滤。总结一句：数据规模是必要条件，但只有与质量、模型容量、计算预算匹配时，才能真正释放 LLM 潜力。”
4️⃣ 高频追问 & 应对
追问 1：你说数据质量比数量重要，那具体怎么衡量数据质量？有没有量化指标？
常用指标包括：1）困惑度（Perplexity）：用一个小型参考模型（如 1.3B）对数据打分，低困惑度样本通常质量更高；2）分类器分数：训练一个二分类器区分高质量（如 Wikipedia）和低质量（如垃圾邮件）数据，用分数过滤；3）启发式规则：如文本长度 > 50 tokens、重复率 < 0.3、语言检测置信度 > 0.9。实际中，FineWeb 团队用 FastText 做语言检测 + 困惑度过滤，去除了 30% 低质量数据，模型性能提升 2-3%。注意：过滤会损失数据量，需要权衡——比如过滤掉 50% 数据但性能只提升 1%，可能不如保留更多数据。
追问 2：如果计算预算有限，你是优先增加数据量还是模型参数？为什么？
优先增加数据量。因为：1）数据更易扩展：收集和清洗数据的成本远低于训练更大模型（GPU 时间、内存）。例如，增加 100B tokens 的数据只需多跑几天数据管道，而增加 1B 参数需要更多 GPU 和更长的训练时间。2）数据收益更稳定：Scaling Law 显示，在固定参数下，数据量增加带来的 loss 下降是单调的，而参数增加在数据不足时会导致过拟合。3）实际案例：DeepSeek 在训练 DeepSeek-V2 时，优先用 8T tokens 训练 67B 模型，而不是用 4T tokens 训练 130B 模型，因为前者在推理任务上表现更好。但注意：如果数据量已经很大（如 > 100x 参数），则应该增加参数。
追问 3：数据规模对多模态 LLM 的重要性是否不同？比如文本和图像数据如何平衡？
不同。多模态中，文本数据通常更稀缺且信息密度更高，而图像数据量大但冗余多。例如，CLIP 训练时用 400M 图文对，其中文本 token 数仅约 10B，而图像 patch 数达 100B+。关键权衡：1）文本数据优先：文本提供语义和逻辑，图像提供视觉细节。如果文本数据不足，模型在推理任务上会崩；2）数据配比：常见做法是文本和图像按 token 数 1:1 或 2:1 混合。例如，LLaVA 用 1.2M 图文对 + 158K 纯文本指令，文本 token 占比约 60%。3）实战坑：图像数据重复率高（如同一张图配不同文本），需要用图像哈希去重，否则模型会记忆图像模式。
5️⃣ 避坑 · 常见错误答法
- ❌ “数据规模越大越好，模型性能会一直提升。” → ✅ “数据规模提升有收益递减，且受 Chinchilla 法则约束。实际中，数据量超过最优值后，增加数据只会浪费计算资源，甚至因噪声引入而降低性能。”
- ❌ “数据规模只影响预训练，不影响微调。” → ✅ “数据规模在预训练中决定基础能力，在微调中影响领域适配。例如，用 100B tokens 预训练的模型，微调时只需 1M tokens 就能达到 SOTA；而用 10B tokens 预训练的模型，微调需要 10M tokens 才能追上，说明预训练数据规模决定了微调效率。”
- ❌ “数据规模就是 tokens 数量，不用管质量。” → ✅ “数据质量决定有效数据量。例如，用 1T 原始 Common Crawl 数据训练的模型，性能可能不如用 500B 过滤后的数据，因为噪声和重复会稀释有效信息。实际中，FineWeb 团队发现，过滤后数据量减少 30%，但模型在 MMLU 上提升 2%。”
6️⃣ 简历呼应
- 如果你有预训练项目：从“数据管道优化”角度切入，强调你如何用 MinHash 去重和困惑度过滤提升数据质量，并展示 scaling curve 分析数据饱和点。例如：“我在训练 1B 模型时，用 100B tokens 数据发现 loss 在 50B 后下降变缓，于是改用 Chinchilla 法则调整参数到 3B，最终在 GLUE 上提升 3%。”
- 如果你只做过微调/RAG：用“数据规模对下游任务的影响”类比。例如：“在 RAG 中，检索数据规模决定知识覆盖，类似预训练数据规模。我用 10M 文档的检索库比 1M 文档的检索库在 QA 任务上提升 5%，但需要做去重和过滤，否则噪声会降低召回率。”
- 如果你是校招无项目：聚焦“Scaling Law 论文复现”。例如：“我复现了 Kaplan 的 scaling law 实验，用 100M 到 1B 参数模型在 C4 数据上训练，发现 loss 随数据量增加而下降，但 1B 模型在 50B tokens 后出现饱和。这让我理解了数据规模与模型容量的匹配关系。”
- Scaling Laws for Neural Language Models (Kaplan et al., 2020)
- Training Compute-Optimal Large Language Models (Chinchilla, Hoffmann et al., 2022)
- FineWeb: Decanting the Web for the Finest Text Data at Scale (Penedo et al., 2024)
- Data Quality for Language Models: A Survey (2024)
- The Pile: An 800GB Dataset of Diverse Text for Language Modeling (Gao et al., 2020)