📌 Q35: What are the criteria to choose a specific chunking method in RAG
P1 · rag
🏷 标签：rag, chunking, criteria, decision
1️⃣ 考察意图
面试官想看的不是“你背过几种分块方法”，而是你能否根据文档特征、查询模式、系统约束三个维度，做出有工程取舍的决策。这是典型的系统设计+工程取舍题，刁钻点在于：没有银弹，候选人容易陷入“列举方法”而非“决策框架”。答好了能展示你对RAG整条链路（检索→生成）的深度理解，以及从指标反推策略的工程思维。
2️⃣ 标准答
选择分块方法的核心是用检索质量、延迟、存储成本三个指标做权衡。没有万能方案，必须按以下维度决策：
1. 文档特征驱动
- 文档长度：长文档（>1000 tokens）必须用大块（512-1024 tokens）并加10-20%重叠，否则关键信息被截断；短文档（<200 tokens）用小块（128-256 tokens）避免噪声。
- 结构完整性：有Markdown/HTML/PDF结构的文档，优先用递归分块（按标题、段落、句子层级切分），保留语义边界。例如法律合同用“条款”作为天然chunk，比固定大小分块Recall@k提升15-20%。
- 主题一致性：多主题混杂的文档（如新闻聚合），用语义分块（基于embedding相似度或LLM判断主题边界），代价是延迟增加50-100ms，但MRR提升显著。
2. 查询模式匹配
- 查询长度：短查询（<5词，如“苹果股价”）需要小块（128-256 tokens），因为小块能精准匹配实体；长查询（>20词，如“2023年苹果公司在中国市场的营收变化”）需要大块（512-1024 tokens），避免信息碎片化。
- 查询粒度：事实性查询（“张三的出生日期”）用小块，减少无关上下文干扰；主题性查询（“气候变化对农业的影响”）用大块，确保覆盖完整论述。一个实际坑：医疗诊断场景，查询“患者症状”是事实性，但“治疗方案”是主题性，必须混合策略。
3. 系统约束权衡
- 实时性要求：低延迟场景（<200ms）选固定大小分块（如256 tokens），因为计算开销最小（O(n)）；高延迟容忍场景（>1s）可用语义分块，但需缓存结果。
- 存储成本：小块（128 tokens）导致chunk数量翻倍，向量数据库索引大小增加30-50%，检索延迟上升；大块（1024 tokens）减少存储但可能丢失细粒度匹配。一个工程取舍：用HNSW索引配合大块，牺牲一点召回率换取存储效率。
- 计算资源：语义分块依赖embedding模型（如text-embedding-3-small），单次分块成本约0.01元/千文档；固定分块几乎零成本。初创公司优先固定分块，成熟产品用混合策略。
4. 实验验证完整流程
- 必须用A/B测试对比策略：在自定义查询集上测量Recall@5、MRR、P99延迟。例如：固定大小（256 tokens）vs 递归分块（按段落），发现递归分块在结构化文档上Recall@5高12%，但延迟增加8%。
- 一个实际落地的坑：某电商客服RAG，固定分块导致“退货政策”被切到两个chunk，召回率暴跌。解法：用重叠分块（overlap=50 tokens）并加后处理合并，召回率恢复至95%。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从文档特征、查询模式、系统约束三个层面回答。文档层面，长文档用大块+重叠，结构化文档用递归分块；查询层面，短查询用小块，事实性查询用小块；系统层面，低延迟选固定分块，高召回选语义分块。总结一句：没有银弹，必须用Recall@5和延迟做A/B测试验证。”
4️⃣ 高频追问 & 应对
追问 1：如果文档是PDF扫描件（无结构），怎么分块？
先用OCR提取文本（如Tesseract），然后按固定大小分块+重叠（256 tokens，overlap=50）。因为无结构文档无法用递归分块，语义分块会因OCR噪声导致主题边界错误。一个优化：用LayoutLM检测段落边界，但成本高，仅用于高价值场景（如法律文档）。
追问 2：查询是流式的（每5秒来一批），怎么动态调整分块策略？
用自适应分块：根据最近1000个查询的平均长度和类型，动态切换策略。例如，如果查询长度<5词的比例>80%，切到小块（128 tokens）；如果主题性查询增多，切到大块（512 tokens）。实现上用滑动窗口统计，每10分钟重新计算一次阈值，避免频繁切换导致缓存失效。
追问 3：分块大小对生成质量（faithfulness）有影响吗？
有。小块（<128 tokens）可能导致LLM缺乏上下文，产生幻觉（如“张三出生在1990年”但实际是1991年）；大块（>1024 tokens）可能引入噪声，降低faithfulness。一个trade-off：用reranker（如Cohere rerank）在检索后过滤无关chunk，牺牲延迟（增加50ms）换取生成质量提升15-20%。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“固定大小分块最好，因为简单” → ✅ 正确切入：固定分块只适合无结构短文档，结构化文档必须用递归分块，否则Recall@k下降20%以上。
- ❌ 说“语义分块永远最优” → ✅ 正确切入：语义分块延迟高、成本高，低实时性场景（如聊天机器人）不可用，必须根据系统约束权衡。
- ❌ 说“分块大小统一用512 tokens” → ✅ 正确切入：分块大小必须根据查询粒度动态调整，事实性查询用128 tokens，主题性查询用512 tokens。
6️⃣ 简历呼应
- 如果你有RAG项目：从“我在XX项目中用A/B测试对比了固定分块和递归分块，发现结构化文档上Recall@5提升12%”切入，展示实验能力。
- 如果你只做过传统NLP：用“分块类似文本分类中的窗口大小选择，长文本用大窗口，短文本用小窗口”类比，展示迁移能力。
- 如果你是校招无项目：聚焦“我复现了LangChain的递归分块和语义分块，在WikiQA数据集上对比了Recall@5和延迟”，展示动手能力。
- 《RAG from Scratch: Chunking Strategies》 - LangChain官方博客
- 《Semantic Chunking: A New Approach to Document Splitting》 - Pinecone博客
- 《Evaluating Chunking Strategies for Retrieval-Augmented Generation》 - arXiv论文
- 《LayoutLM: Pre-training of Text and Layout for Document Image Understanding》 - 微软论文
- 《HNSW: Hierarchical Navigable Small World Graphs》 - 向量索引论文