进行领域大模型预训练应用哪些数据集比较好

P1 · llm_training

📊 考点：pretraining

🏷 标签：domain-pretraining, dataset-selection, domain-specific

1️⃣ 考察意图

面试官想考察你对“领域预训练”数据策略的深度理解，而非简单罗列数据集。核心是看你能否在“领域专业性”与“通用能力保持”之间做出工程取舍，并识别数据质量、分布偏差等实际坑点。刁钻点在于：很多人只提领域数据，忽略通用语料对灾难性遗忘的抑制；或只讲数量，不讲去重、去噪、配比等落地细节。答好了能展示你从数据工程到模型训练的全局视野，以及解决真实业务问题的硬实力。

2️⃣ 标准答

领域预训练的数据选择，核心是“领域相关 + 通用保持 + 质量优先”三角平衡。以下从数据来源、配比策略、清洗要点三个层面展开。

1. 数据来源：领域 + 通用双轨

领域专业语料：根据目标领域选择权威、结构化、高信噪比的数据。医疗：PubMed 论文摘要（~35M 篇）、MIMIC-III/IV 临床记录、UMLS 医学知识库、药品说明书（FDA 标签）。
法律：CourtListener 判例、USC/CFR 法规文本、LexisNexis 合同库（需授权）、中国裁判文书网（公开）。
金融：SEC EDGAR 10-K/10-Q 报告、Bloomberg 终端新闻（付费）、Yahoo Finance 历史价格、财经研报（PDF 解析）。
代码：GitHub 公开仓库（去重后 ~500GB）、Stack Overflow 问答、CodeSearchNet 函数级数据。通用语料补充：防止模型丢失语言能力、常识和推理能力。
C4（Colossal Clean Crawled Corpus）：~750GB，经过语言过滤和去重，适合作为基础混合。
The Pile：~800GB，包含学术、书籍、代码等 22 个子集，领域通用性极佳。
Wikipedia：~20GB，高质量百科，提供结构化常识。
Books：BookCorpus（~6GB）或 Project Gutenberg（~50GB），提升长文本建模能力。

2. 配比策略：领域 vs 通用，动态调整

典型配比：领域数据占 30%-60%，通用数据占 40%-70%。例如 BloombergGPT 使用金融数据 50% + 通用数据 50%（C4、The Pile、Wikipedia）。
为什么这么做：领域数据过多会导致模型在通用任务上灾难性遗忘（catastrophic forgetting），过少则领域知识不足。配比需根据模型规模调整：小模型（<1B）可提高领域比例至 60%，大模型（>10B）建议 30%-40%，因为大模型通用能力更强，需更多领域数据注入。
实际落地的坑 + 解法：坑：领域数据分布不均，如法律数据中判例远多于法规，导致模型对法规理解差。
解法：对领域数据按子类别（如判例、法规、合同）进行分层采样（stratified sampling），确保每个子类至少占 5%-10%。同时使用数据多样性指标（如 n-gram 覆盖率、语义相似度聚类）监控分布。

3. 清洗与去重：决定数据质量的生死线

去重：使用 MinHash + LSH（Locality-Sensitive Hashing）对文档级去重，再用 SimHash 对句子级去重。BloombergGPT 报告去重后数据量减少 15%-20%，但下游任务提升 3%-5%。
去噪：过滤低质量内容：HTML 标签残留、重复段落（如法律模板）、机器翻译痕迹（用语言模型 perplexity 检测）。金融数据中常见“免责声明”段落，需用正则或规则过滤。
隐私与合规：医疗数据需去标识化（de-identification），如 MIMIC 已提供去标识版本；金融数据需移除内幕信息或未公开财报。

4. 数据规模与计算资源

经验法则：领域预训练数据量应为模型参数量的 10-100 倍。例如 7B 模型需 70B-700B tokens（约 50-500GB 文本）。实际中，BloombergGPT 使用 363B tokens（金融+通用），Galactica（科学）使用 106B tokens。
trade-off：数据量越大，训练成本线性增长，但收益递减。建议先用 10% 数据做小规模实验（如 1B tokens），验证领域任务提升后再全量训练。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从数据来源、配比策略、清洗要点三个层面回答。数据来源上，领域数据选权威语料（如医疗用 PubMed、金融用 SEC EDGAR），通用数据用 C4 和 Wikipedia 保持语言能力。配比上，领域占 30%-60%，通用占 40%-70%，并动态调整避免灾难性遗忘。清洗上，用 MinHash 去重、perplexity 去噪，并做分层采样确保子领域平衡。总结一句：领域预训练的数据选择不是堆数量，而是用工程手段平衡领域相关性与通用能力。”

4️⃣ 高频追问 & 应对

追问 1：如果领域数据非常稀缺（比如只有 10GB），你怎么做？

应对策略：首先，不要直接预训练，而是用领域数据做继续预训练（continual pretraining）或领域适配（domain-adaptive pretraining, DAPT）。使用 ELECTRA 的判别式预训练目标（替换 MLM），因为它在小数据上更高效。其次，数据增强：用领域内同义词替换、回译（back-translation）生成变体，或从通用语料中检索领域相关文档（如用 BM25 从 C4 中筛选）。最后，考虑使用 LoRA 或 Adapter 进行参数高效微调，避免全量训练过拟合。

追问 2：如何评估领域预训练数据质量？有没有量化指标？

应对策略：用三个维度量化：1）信噪比：计算文档的 perplexity（用通用语言模型如 GPT-2），低 perplexity 表示高质量，但需排除模板化文本（如法律免责声明）。2）多样性：用 n-gram 覆盖率（unigram 到 4-gram）和语义聚类（Sentence-BERT 嵌入后计算簇内距离），覆盖率低或簇内距离过小说明数据重复。3）领域相关性：用领域分类器（如 FinBERT 对金融文本打分）或 TF-IDF 余弦相似度，筛选 top-80% 的文档。实际中，BloombergGPT 用“领域困惑度”（domain perplexity）作为筛选指标，比人工标注更高效。

追问 3：领域预训练和领域微调（fine-tuning）有什么区别？什么时候该用哪个？

应对策略：预训练是“注入领域知识”，微调是“适配下游任务”。当领域知识缺失严重（如从零训练医疗模型）或任务多样（如法律问答、合同审查、判例预测）时，用预训练。当领域数据少（<1GB）或任务单一（如金融情感分类）时，用微调。实际中，推荐两阶段：先用领域数据做继续预训练（DAPT），再在下游任务上微调。例如，BioBERT 在 PubMed 上预训练后，在生物医学 NER 任务上比直接微调提升 5%-10%。

5️⃣ 避坑 · 常见错误答法

❌ 只提领域数据（如“用 PubMed 和 SEC 文件”），不提通用语料 → ✅ 必须强调通用语料（C4、Wikipedia）防止灾难性遗忘，并给出具体配比（如 50:50）。
❌ 说“数据越多越好”，不讨论质量 → ✅ 强调去重（MinHash）、去噪（perplexity 过滤）比堆数量更重要，并举例 BloombergGPT 去重后提升 3%-5%。
❌ 忽略数据分布偏差，只按来源堆数据 → ✅ 提出分层采样（stratified sampling）确保子领域平衡，并用多样性指标监控。

6️⃣ 简历呼应

如果你有 RAG 项目：从数据检索角度切入，强调领域语料的索引构建（如用 BM25 从 SEC EDGAR 检索相关文档），并对比预训练 vs RAG 的知识注入效率。
如果你只做过传统 NLP：用文本分类或 NER 的标注数据做类比，说明领域预训练数据需要“标注质量”的等价物（如权威性、结构化），并迁移去重经验（如 SimHash 用于文本去重）。
如果你是校招无项目：聚焦论文复现，如 BloombergGPT 的数据配比（50% 金融 + 50% 通用）和 Galactica 的科学语料筛选，并强调自己用 Hugging Face Datasets 做过小规模数据清洗实验。

7️⃣ 延伸阅读

BloombergGPT: A Large Language Model for Finance（2023）
Galactica: A Large Language Model for Science（2022）
DAPT: Don't Stop Pretraining: Adapt Language Models to Domains and Tasks（2020）
MinHash for Text Deduplication: Near-Duplicate Detection in Web Crawls（WWW 2007）
The Pile: An 800GB Dataset of Diverse Text for Language Modeling（2020）

—— 本场面试完 ——