5 长文档、多文档、跨文档问题分别怎么优化
P1 · rag
🏷 标签：rag, multi-document, long-document, cross-document, optimization
1️⃣ 考察意图
面试官想看你能否跳出“RAG = 检索+生成”的简单认知，针对不同文档结构（长、多、跨）给出差异化的工程优化策略。这是系统设计类问题，刁钻点在于：很多人只会背“分块、重排序”等通用方案，却说不清为什么长文档要分层索引、多文档要防信息冲突、跨文档要处理实体对齐。答好了能展示你对RAG整条链路的深度理解、实战中踩坑后的取舍能力，以及从检索到生成的系统级优化思维。
2️⃣ 标准答
长文档优化：核心挑战是信息密度与上下文窗口的冲突
- 分块策略：固定大小分块（如512 tokens）会切断语义，改用语义分块（Semantic Chunking，基于句子嵌入相似度合并）或递归分块（RecursiveCharacterTextSplitter，按段落、句子层级切分）。为什么这么做：固定分块导致跨块实体断裂，比如“特斯拉”在块A，“Model Y”在块B，检索时无法关联。
- 层次索引：构建文档-章节-段落三级索引，检索时先粗筛章节再精搜段落。实际落地坑：层次索引增加存储开销，需用HNSW（Hierarchical Navigable Small World）加速向量检索，牺牲约10%召回率换50%速度提升。
- 滑动窗口：对长文档用重叠窗口（overlap=10-20%），避免边界信息丢失。取舍：窗口重叠过多导致检索结果冗余，需用MMR（Maximum Marginal Relevance）去重，平衡多样性与相关性。
- 摘要增强：对长文档生成分层摘要（MapReduce模式：先分段摘要，再合并摘要），作为检索的元数据。坑：摘要可能丢失细节，需在生成时保留关键实体（如人名、数字），用实体链接（Entity Linking）校验。
多文档优化：核心挑战是信息冗余与一致性
- 检索后重排序：用Cohere Rerank或BGE-Reranker对Top-K结果重排，过滤低质量片段。为什么：BM25+DPR的初检可能召回噪声，重排序模型（交叉编码器）能精准判断相关性，但延迟高（单次约50ms），需控制K≤20。
- 多文档摘要：用Multi-Document Summarization（如Longformer或Pegasus）生成统一摘要，避免直接拼接导致重复。落地坑：多文档间事实冲突（如A说“2023年营收100亿”，B说“120亿”），需引入一致性检查（用LLM判断矛盾，或基于置信度投票）。
- 去重与融合：对相似文档用MinHash或SimHash去重，再用Fusion-in-Decoder（FiD）将多个片段编码后融合生成。取舍：去重可能丢失细微差异（如不同版本的政策条款），需保留版本号元数据。
跨文档优化：核心挑战是实体关联与多跳推理
- 图结构知识融合：构建知识图谱（如Neo4j），将文档中的实体（人、地点、事件）和关系（“任职于”、“位于”）存储为节点和边。检索时用GraphRAG（微软方案）从图路径中提取多跳证据。为什么：传统向量检索只能找相似片段，无法处理“A公司的CEO在B大学读博”这类跨文档推理。
- 多跳检索：用ReAct（Reasoning + Acting）或Self-Ask（LangChain实现），让LLM逐步生成子问题并检索。坑：多跳可能陷入死循环，需设置最大步数（如3步）和回溯机制（当子问题无结果时回退）。
- 实体链接与对齐：用BLINK或REL（实体链接模型）将不同文档中的“苹果”映射到同一实体（Apple Inc. vs 水果）。取舍：实体链接增加延迟（约100ms/实体），但能提升跨文档召回率30%以上【通用知识】。
总结：长文档重分段与摘要，多文档重去重与融合，跨文档重图与推理。实际系统需组合使用，例如先用层次索引处理长文档，再用重排序过滤多文档结果，最后用图推理回答跨文档问题。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从长文档、多文档、跨文档三个层面回答。长文档优化核心是分块策略和层次索引，比如用语义分块避免实体断裂，用HNSW加速检索；多文档优化重点在重排序和一致性检查，比如用Cohere Rerank过滤噪声，用MinHash去重；跨文档优化依赖图结构知识融合和多跳推理，比如用GraphRAG处理实体关联。总结一句：不同场景的瓶颈不同，长文档是信息密度，多文档是冗余冲突，跨文档是推理路径，需要差异化设计。”
4️⃣ 高频追问 & 应对
追问 1：你说长文档用层次索引，那如果文档是PDF或扫描件，怎么处理？
扫描件需先OCR（如Tesseract或PaddleOCR），但OCR有错字（如“特斯拉”变“特斯技”），影响检索。解法：用模糊匹配（如FuzzyWuzzy）或拼写纠正（如SymSpell）预处理；或者用多模态RAG（如CLIP+LLaVA），直接对图像块做向量检索，跳过OCR。取舍：多模态模型成本高，适合高价值场景（如法律合同）。
追问 2：跨文档多跳推理时，如果图结构不完整（比如缺失关系边），怎么办？
用混合检索：先走图路径，如果路径断裂，回退到向量检索找相关片段，再用LLM做隐式推理（如Chain-of-Thought）。例如，图里没有“A公司CEO”的关系，但向量检索找到“A公司CEO是张三”的片段，LLM可自动关联。坑：混合检索增加延迟，需用缓存（如Redis）加速重复查询。
追问 3：多文档摘要时，如果文档数量很大（比如100篇），怎么保证效率？
用分层聚类：先对文档做聚类（如K-means，基于embedding相似度），每类生成一个摘要，再合并。或者用MapReduce并行处理：每篇文档独立摘要，再合并。取舍：聚类可能丢失跨类关联，需保留文档ID元数据，在最终生成时引用原文。
5️⃣ 避坑 · 常见错误答法
- ❌ “长文档就加大分块大小，多文档就多检索几次，跨文档就用LLM硬推理。” → ✅ “长文档加大分块会导致上下文窗口溢出，需用层次索引；多文档多检索会引入噪声，需重排序；跨文档硬推理缺乏证据链，需图结构辅助。”
- ❌ “所有场景都用同一个分块策略（比如512 tokens）。” → ✅ “长文档用语义分块（基于句子嵌入），多文档用固定分块+去重，跨文档用实体感知分块（保留实体边界）。”
- ❌ “跨文档问题直接用向量检索找相似片段。” → ✅ “向量检索只能找语义相似，无法处理实体关联，需用图结构或多跳检索显式建模推理路径。”
6️⃣ 简历呼应
- 如果你有RAG项目：从实际踩坑切入，比如“我在做法律文档问答时，长文档用层次索引解决了实体断裂，多文档用一致性检查处理了条款冲突，跨文档用知识图谱提升了多跳推理准确率。”
- 如果你只做过传统NLP：用信息检索类比，比如“长文档类似文本摘要（需要分段），多文档类似多文档摘要（需要去重），跨文档类似关系抽取（需要实体链接）。”
- 如果你是校招无项目：聚焦论文复现，比如“我复现了GraphRAG论文，用Neo4j+OpenAI实现了跨文档问答，在HotpotQA上准确率提升15%。”
- GraphRAG: Unlocking LLM Discovery on Narrative Private Data (Microsoft, 2024)
- Fusion-in-Decoder: Leveraging Passage Retrieval for Generative Question Answering (Izacard & Grave, 2021)
- ReAct: Synergizing Reasoning and Acting in Language Models (Yao et al., 2022)
- BLINK: A Billion-scale Entity Linking System (Wu et al., 2020)
- LangChain文档：RecursiveCharacterTextSplitter与Self-Ask实现