RAG 与检索Chunking检索更新 2026-09-28

文档切分(Chunking)Chunking

一句话定义

文档切分是把长文档切成检索与生成均可处理片段的过程。切得太碎会导致语义不完整,太大则造成向量语义稀释与上下文浪费;重叠窗口、按文档结构切分与父子索引是常用策略。

是什么

文档切分的核心在于粒度权衡。切成小块能提高检索命中率但容易丢失完整信息,切成大块能保留完整上下文,但这会使向量语义被稀释,并增加生成阶段的成本。

常见策略包括固定长度加重叠窗口、按段落与句子层级回退的递归字符切分,以及依据标题或保持表格整体的按结构切分。进阶策略涵盖按句向量突变点划分的语义切分、小块检索大块返回的父子索引,以及长上下文嵌入模型先整篇编码再切分的延迟切分。

处理中文文档时,因无空格分隔,切分边界对标点符号与结构标记的依赖更强。

解决什么问题

文档切分主要解决检索与生成阶段对文本粒度要求相反的矛盾。检索需要较短文本以确保向量匹配精确度,生成则需要较长文本以提供充足上下文供模型理解。

若无合理切分,长文档直接入库会使得召回内容偏离用户问题。它是检索增强生成架构中影响召回质量最靠前的处理步骤。

面试怎么考

面试常考切分块大小的设定及依据,答题时需结合嵌入模型支持的长度与下游任务需求进行分析。

针对特殊格式的切分方案也是常考点。例如表格需作为整体切分,扫描件需结合版面切分,长文需依赖层级标题分块。此外考官常问如何保持块之间的联系,答题要点在于说明重叠窗口机制或父子索引策略。

又称:Chunking · 切分 · 文档切片 · 分块

—— 本条完 ——