1 知识库数据清洗通常要做什么
P0 · rag
🏷 标签：rag, data-cleaning, preprocessing, knowledge-base
1️⃣ 考察意图
面试官想考察你对RAG系统数据预处理的理解深度，而非简单背诵清洗步骤。核心是看你能不能讲清楚“为什么清洗”以及“清洗如何影响检索与生成质量”。刁钻点在于：多数人只提去重、格式统一等表面操作，但真正拉开差距的是对“噪声定义”的工程判断——比如什么算“低质量”、去重粒度如何选、实体标准化是否过度。答好了能展示你对RAG整条链路的系统性认知，以及从数据源头优化检索召回率的实战能力。
2️⃣ 标准答
知识库数据清洗不是“把脏数据变干净”，而是为检索和生成做特征工程。核心目标是提升检索命中率（Recall@K）和生成准确性（减少幻觉）。具体操作分五层：
- **去重（Deduplication）**粒度选择：文档级去重（MD5哈希）太粗，段落级去重（MinHash + LSH）更实用。
- 坑：语义重复但字面不同（如“AI是未来” vs “人工智能是未来趋势”）会被漏掉。
- 解法：用SimHash或embedding余弦相似度（阈值0.85-0.9）做近似去重，但注意计算成本——对百万级文档，先MinHash粗筛再embedding精排是常见trade-off。 格式统一（Standardization）
- 编码：统一UTF-8，处理BOM头、乱码（如“\u2019”转成单引号）。
- 标点：全角转半角（中文保留全角），但注意英文引号不要误转。
- 换行：PDF提取的文本常有硬换行，用正则
(?<![。！？])合并段落，避免chunking时切碎语义。 噪声过滤（Noise Filtering） - 规则过滤：页眉页脚（如“第1页/共10页”）、广告（“点击这里”）、导航栏（“首页>产品>...”）。用正则或HTML标签统计（如
<div class="footer">）批量删除。 - 质量筛选：基于长度（<50字符的片段）、语言检测（langdetect过滤非目标语言）、困惑度（用GPT-2计算perplexity，>100的片段丢弃）。
- 坑：过度过滤会丢失短但关键的定义句（如“RAG = Retrieval-Augmented Generation”）。
- 解法：保留长度>20字符且包含领域关键词（如“RAG”、“embedding”）的短句。 实体标准化（Entity Normalization）
- 同义实体：统一“USA” → “United States”、“AI” → “Artificial Intelligence”。用预定义词典（如Wikidata映射）或正则替换。
- 缩写扩展：如“NLP” → “Natural Language Processing”，但注意上下文（“NLP”在医学领域可能指“Non-Linear Programming”）。
- trade-off：过度标准化会丢失检索多样性（如用户搜“AI”时，库中只有“Artificial Intelligence”可能降低BM25匹配分）。解法：保留原始文本，在索引时同时存储标准化版本（多字段索引）。 质量筛选（Quality Filtering）
- 内容完整性：检查段落是否以句号/问号结尾，避免截断。
- 信息密度：用TF-IDF计算词频熵，低熵片段（如“你好你好你好”）丢弃。
- 实际落地坑：从PDF提取的表格常被转成无意义文本（如“| 列1 | 列2 |”），需用OCR后处理或直接丢弃表格区域。
总结：清洗不是一次性操作，而是迭代过程。建议清洗后做A/B测试：对比清洗前后在RAG问答上的Recall@5和F1分数，用数据驱动优化阈值。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从五个层面回答：去重、格式统一、噪声过滤、实体标准化、质量筛选。去重用MinHash+embedding做近似去重，避免语义重复；格式统一解决编码和换行问题；噪声过滤用规则+困惑度筛选低质量片段；实体标准化用词典统一同义实体但保留原始文本；质量筛选基于长度和信息密度。总结一句：清洗的核心是提升检索命中率，每个操作都要用Recall@K和F1验证效果。”
4️⃣ 高频追问 & 应对
追问 1：如果知识库包含多语言（如中英混合），清洗流程怎么调整？
首先，语言检测（langdetect）按段落分语言，不同语言用不同清洗规则（如中文保留全角标点，英文转半角）。其次，去重时embedding模型需支持多语言（如LaBSE或multilingual-e5），余弦相似度阈值调低（0.8-0.85）因为跨语言语义匹配更稀疏。最后，实体标准化要分语言词典（如中文“人工智能” vs 英文“AI”），避免误统一。坑：混合语言段落（如“AI是未来”）可能被误判，解法是设置语言置信度阈值（>0.9才分语言，否则保留原始）。
追问 2：清洗后检索效果反而变差，可能是什么原因？
常见原因：① 过度去重删除了关键变体（如“RAG” vs “Retrieval-Augmented Generation”），导致用户用缩写时召回下降。② 噪声过滤误删了短但高信息密度的定义句（如“RAG = ...”，长度<50字符）。③ 实体标准化过度，使BM25的TF-IDF匹配失效（如“AI”被统一成“Artificial Intelligence”，用户搜“AI”时匹配分降低）。解法：做A/B测试，对比清洗前后Recall@5，若下降则回滚特定步骤，或改用多字段索引（原始+标准化版本）。
追问 3：如何评估清洗效果，具体用什么指标？
核心指标：① Recall@K（K=5/10），看检索是否命中正确答案。② 生成F1（基于ROUGE-L或BERTScore），看生成质量。③ 清洗覆盖率（清洗后保留的文档数/原始文档数），避免过度清洗。④ 噪声残留率（人工抽样100条，统计含广告/乱码的片段比例）。实际落地：用清洗前后的数据分别跑RAG pipeline，对比指标变化，若Recall@5提升<5%则需调整阈值。
5️⃣ 避坑 · 常见错误答法
- ❌ 只提“去重、格式统一、噪声过滤”三个步骤，没有具体方法名和trade-off。→ ✅ 必须给出具体技术（如MinHash、困惑度阈值、多字段索引），并解释为什么选这个（如“MinHash比MD5更鲁棒，但计算成本高，所以先粗筛再精排”）。
- ❌ 说“清洗后效果一定更好”，没有考虑过度清洗的副作用。→ ✅ 强调清洗是双刃剑，需要A/B测试验证，并给出效果变差的常见原因（如误删短定义句）。
- ❌ 把实体标准化当成万能操作，忽略对BM25匹配的负面影响。→ ✅ 指出trade-off：标准化提升一致性但降低检索多样性，解法是保留原始文本+多字段索引。
6️⃣ 简历呼应
- 如果你有RAG项目：从实际数据问题切入，如“我在某电商客服RAG项目中，发现PDF提取的表格被转成乱码，用正则+OCR后处理清洗后，Recall@5从0.72提升到0.85”。
- 如果你只做过传统NLP：用文本分类的数据清洗类比，如“类似文本分类中的去停用词和词干提取，RAG清洗更关注语义一致性，我用困惑度过滤低质量片段，类似分类中的置信度筛选”。
- 如果你是校招无项目：聚焦论文复现，如“我复现了《Dense Passage Retrieval》中的清洗流程，用MinHash去重+BM25过滤噪声，在Natural Questions数据集上Recall@20提升3%”。
- 《Dense Passage Retrieval for Open-Domain Question Answering》（Karpukhin et al., 2020）
- 《SimHash: A Fast and Robust Near-Duplicate Detection Algorithm》（Charikar, 2002）
- 《LaBSE: Language-agnostic BERT Sentence Embedding》（Feng et al., 2020）
- 《RAG: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》（Lewis et al., 2020）
- 《Data Cleaning for NLP: A Survey》（Chu et al., 2016）