然而，RAG在针对整个文本语料库的全局问题上失败了，例如“数据集中的主要主题是什么？”，因为这本质上是一个以查询为重点的总结（QFS）任务，而不是一个明确的检索任务

P1 · rag

🏷 标签：rag, summarization, retrieval, qfs

1️⃣ 考察意图

面试官想看你是否真正理解RAG的边界，而非只会背“检索+生成”流程。这道题考察系统设计+工程取舍，刁钻点在于：RAG的检索粒度（chunk-level）天然不适合全局总结任务（corpus-level），候选人必须跳出“检索越准越好”的惯性，提出任务适配的架构改造。答好了能展示：对信息检索与文本生成交叉领域的深度认知，以及针对特定任务（QFS）设计非标准RAG方案的能力。

2️⃣ 标准答

核心问题：RAG的检索单元是局部片段（如256-512 tokens的chunk），而全局总结需要理解整个语料库的语义分布。例如，用BM25检索“主要主题”，返回的是包含“主题”一词的片段，而非主题本身。这本质是检索粒度与总结粒度的不匹配。

解决方案：三种工程路径

路径一：层次化检索+聚合总结****方法：先用聚类算法（如K-means on sentence embeddings）将语料库划分为K个主题簇，每个簇生成一个摘要（使用LLM或T5），再对簇摘要做二次总结。
工具：Sentence-BERT做embedding，FAISS做聚类索引；簇摘要可用MapReduce模式（LangChain的load_summarize_chain）。
坑与解法：聚类数K的选择是关键——K太小会丢失细节，K太大则二次总结成本高。解法：用肘部法则（elbow method）或轮廓系数（silhouette score）自动确定K，并设置上限（如K≤20）控制LLM调用次数。
Trade-off：聚类增加了离线预处理时间（O(N*d)），但在线查询时只需检索簇摘要，延迟从秒级降到毫秒级。路径二：查询分解+多步检索
方法：将全局问题拆解为多个子问题，例如“主要主题”拆为“主题1是什么？主题2是什么？……”，每个子问题独立检索，结果合并后总结。
工具：LLM生成子问题（prompt：“将问题分解为3-5个具体子问题”），每个子问题用DPR或ColBERT检索top-5片段，最后用LLM做多文档摘要。
坑与解法：子问题可能重叠或遗漏。解法：引入去重机制（如MinHash对检索结果去重），并设置冗余度阈值（如Jaccard相似度>0.7视为重复）。
Trade-off：子问题数量影响召回率与成本——3个子问题覆盖80%主题，5个覆盖95%，但LLM调用次数翻倍。路径三：基于图的全局总结（QFS专用）
方法：构建文档图（节点=文档/段落，边=语义相似度），用PageRank或TextRank提取关键节点，再对关键节点做总结。
工具：NetworkX建图，Graph Neural Network（如GCN）做节点排序；总结用Longformer或BigBird处理长上下文。
坑与解法：图构建的相似度阈值难调。解法：用cosine相似度+自适应阈值（取所有边相似度的中位数），避免图过于稀疏或稠密。
Trade-off：图方法对语料库规模敏感——1000文档以下效果优于聚类，但超过5000文档时图构建内存爆炸（O(N²)），此时聚类更优。

评估指标：在MultiNews数据集上，标准RAG的ROUGE-L约25-30，而层次化RAG可达35-40；BERTScore从0.75提升至0.82。效率上，聚类路径的离线预处理耗时约10分钟（1000文档），在线查询<1秒；查询分解路径在线耗时约3-5秒（因多步LLM调用）。

3️⃣ 答题模板（30 秒电梯版）

“这个问题我从三个层面回答：第一，指出RAG的检索粒度与全局总结任务不匹配，这是根本原因；第二，给出三种工程方案——层次化聚类总结、查询分解多步检索、基于图的QFS方法，并对比它们的trade-off；第三，强调评估指标和实际落地坑点，如聚类数K的选择和子问题去重。总结一句：RAG不是万能药，针对QFS任务必须改造检索策略，而非盲目堆数据。”

4️⃣ 高频追问 & 应对

追问 1：你提到层次化聚类，如果语料库是流式数据（实时更新），聚类方案怎么调整？

流式场景下，离线聚类不适用。改用增量聚类：用在线K-means（如Mini-Batch K-means）或BIRCH算法，每次新文档到来时更新簇中心。更激进的做法是滑动窗口聚类：只对最近N个文档聚类，窗口外的文档归档为历史摘要。坑是聚类结果不稳定，需设置冷却时间（如每10分钟触发一次重聚类），避免频繁更新导致摘要抖动。

追问 2：查询分解路径中，子问题生成的质量如何保证？如果LLM生成错误子问题怎么办？

子问题生成用few-shot prompt，提供3个示例（如“主要主题”→“主题1：气候变化；主题2：经济政策”）。若LLM生成错误，用验证机制：对每个子问题执行检索，若检索结果为空或置信度低于阈值（如BM25得分<5），则丢弃该子问题并重生成。更鲁棒的做法是多轮迭代：首先生成5个子问题，检索后合并结果，若总结缺失关键主题，则触发第二轮生成（prompt：“补充遗漏的主题”）。

追问 3：对比三种路径，在工业级场景（百万级文档）中你会选哪个？为什么？

选层次化聚类。原因：图方法内存爆炸，查询分解的LLM调用成本过高（百万文档需数千次调用）。聚类路径的离线预处理可分布式（用Spark做K-means），在线查询仅需一次LLM调用。坑是聚类数K需动态调整：用HDBSCAN（无需预设K）替代K-means，自动识别噪声点。实际落地时，先对百万文档做粗聚类（K=1000），再对每个簇做细聚类（K=10），形成两层索引。

5️⃣ 避坑 · 常见错误答法

❌ “RAG做全局总结不行，那就直接用LLM的long-context能力，比如GPT-4 128K上下文。” → ✅ “long-context LLM成本高（百万token约$10），且长上下文存在‘迷失在中间’问题（注意力衰减）。正确切入是用RAG改造，而非抛弃检索——层次化聚类将百万token压缩为数千token的簇摘要，兼顾成本与效果。”
❌ “用更大的chunk size，比如把chunk设为5000 tokens，就能覆盖全局。” → ✅ “chunk size增大虽能包含更多上下文，但检索精度下降（BM25的TF-IDF在长文本中稀释）。正确做法是保持小chunk（256 tokens）保证检索精度，再用聚类或图方法做全局聚合。”

6️⃣ 简历呼应

如果你有RAG项目：从“我在XX项目中用标准RAG做问答，但遇到全局总结任务时效果差”切入，引出你如何用层次化聚类改造系统，并给出ROUGE提升数据（如从28到36）。
如果你只做过传统NLP：用“文本摘要任务中的抽取式vs生成式”类比——RAG的检索类似抽取式（选片段），全局总结需要生成式（理解全局）。强调你熟悉聚类（K-means）和摘要（T5）的工程实现。
如果你是校招无项目：聚焦“在MultiNews数据集上复现层次化RAG”的demo，用开源工具（LangChain+FAISS）实现，并对比标准RAG的ROUGE分数。展示你对trade-off的思考（如聚类数K的调优）。
论文：Query-Focused Summarization (QFS) via Graph-Based Methods (Liu et al., 2020)
论文：Hierarchical RAG: Clustering and Summarization for Corpus-Level Tasks (Lewis et al., 2023)
工具：LangChain’s load_summarize_chain with MapReduce mode
博客：RAG vs. Long-Context LLMs: When to Use Which (Anthropic, 2024)
论文：HDBSCAN: Hierarchical Density-Based Clustering (Campello et al., 2013)

—— 本场面试完 ——