那如何把原始的长文本切分成小的语义单元
1️⃣ 考察意图
面试官想考察你对 RAG 系统中文本分块的工程实现能力，而非单纯背诵概念。刁钻点在于：区分“固定大小分块”与“语义分块”的适用场景，以及如何量化分块质量。答好了能展示你对检索系统端到端优化的理解，包括 token 预算、检索召回率与语义完整性的 trade-off，以及实际落地中的坑（如跨段落语义断裂）。这是 P1 进阶题，要求候选人从“会用工具”升级到“能设计分块策略”。
2️⃣ 标准答
文本分块的核心目标是：在保持语义完整性的同时，控制块大小以适应嵌入模型和检索系统的 token 限制。以下从策略选择、实现细节、评估与优化三个层面展开。
策略选择：固定大小 vs. 语义分割
- 固定大小滑动窗口：如 256 tokens 块 + 128 tokens 重叠。优点：实现简单、计算快；缺点：可能切断句子或段落，导致语义碎片。工程取舍：重叠比例（如 10%-50%）需平衡检索召回率与存储成本——重叠越多，检索命中率越高，但索引膨胀 1.5-2 倍。
- 语义分割：基于句子边界或主题边界。常用方法：
- 句子级分割：用 spaCy 或 NLTK 的句子分割器（如
sentencizer），然后按 token 预算合并相邻句子。坑：长句子（如法律条款）可能超过模型最大长度，需设置硬上限（如 512 tokens）。 - 主题级分割：使用 BERTopic 或 LDA 检测主题切换点。例如，对文档计算滑动窗口内的主题分布，当主题相似度低于阈值（如 cosine < 0.6）时切分。实际落地坑：主题模型对短文本（<50 tokens）不稳定，需结合句子边界做后处理。
实现细节：基于 Embedding 相似度的语义分块
- 句子分割：用 spaCy 的
en_core_web_sm模型，设置max_length=1e6避免长文档截断。 - 句子向量化：使用 Sentence-BERT（如
all-MiniLM-L6-v2）计算每个句子的嵌入向量，维度 384。 - 合并策略：从第一个句子开始，计算当前块与下一个句子的 cosine 相似度。若相似度 > 阈值（如 0.75），则合并；否则切分。阈值调优：在验证集上通过网格搜索（0.5-0.9，步长 0.05），以检索 Recall@5 为目标函数。
- 边界处理：合并后块大小需在 [min_tokens, max_tokens] 内（如 128-512 tokens）。若超出，强制切分到最近句子边界。
评估分块质量
- 下游指标：检索 Recall@k（如 k=5）和精确率。对比固定大小分块（256 tokens）与语义分块，在 Wikipedia 数据集上，语义分块通常 Recall@5 提升 5-10%，但计算成本增加 2-3 倍。
- 人工评估：检查分块是否包含完整段落或主题。例如，一个关于“机器学习历史”的块不应混入“深度学习应用”的内容。
优化技巧
- 递归分割：LangChain 的
RecursiveCharacterTextSplitter按优先级（段落 -> 句子 -> 单词）切分，避免跨语义边界。设置chunk_size=500, chunk_overlap=50。 - 动态阈值：根据文档类型调整相似度阈值。例如，技术文档（高连贯性）用 0.8，新闻文章（多主题）用 0.6。
- 缓存句子向量：对同一文档多次分块时，复用句子嵌入，减少计算开销。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从策略选择、实现细节、评估优化三个层面回答。策略上，固定大小分块简单但易切碎语义，语义分块用句子嵌入相似度合并，但计算成本高。实现时，我用 spaCy 分割句子，Sentence-BERT 计算向量，设定 cosine 阈值 0.75 合并，并限制块大小在 128-512 tokens。评估用 Recall@5 对比固定分块，语义分块通常提升 5-10%。总结一句：分块策略需根据文档类型和检索延迟做 trade-off，没有银弹。”
4️⃣ 高频追问 & 应对
追问 1：如果文档是代码或表格，你的分块策略怎么调整？
代码分块需保留语法结构。用 tree-sitter 解析 AST，按函数或类边界切分，块大小设为 200-400 tokens。表格分块用行级分割，每行作为一个语义单元，但需保留表头。坑：代码注释和字符串可能跨行，需用正则预处理。工程取舍：AST 解析增加延迟 50-100ms，但检索命中率提升 15%。
追问 2：你的语义分块阈值 0.75 是怎么确定的？有没有自适应方法？
阈值通过网格搜索在验证集上优化 Recall@5。自适应方法：用滑动窗口计算局部相似度标准差，当标准差 > 0.2 时降低阈值（如 0.7），反之提高（如 0.8）。实际落地坑：自适应阈值在短文档（<10 句子）上不稳定，需设置最小句子数（如 5）才启用。
追问 3：分块后检索效果差，你怎么排查是分块问题还是嵌入模型问题？
两步排查：1）人工检查分块是否包含完整语义单元（如段落）。若分块正确但检索差，问题在嵌入模型；2）用 BM25 作为基线对比。若 BM25 召回率高于语义分块，说明嵌入模型未对齐；反之，调整分块策略。工程取舍：BM25 快但忽略语义，适合快速诊断；嵌入模型慢但精度高，适合最终部署。
5️⃣ 避坑 · 常见错误答法
- ❌ “直接用 LangChain 的 RecursiveCharacterTextSplitter，设置 chunk_size=500 就行。” → ✅ “LangChain 工具只是起点，需根据文档类型调整分割优先级和重叠比例。例如，技术文档用段落优先，新闻用句子优先，并评估 Recall@k 来调参。”
- ❌ “语义分块用 BERT 主题模型，效果一定比固定分块好。” → ✅ “语义分块在短文本或低连贯性文档上可能退化，需对比固定分块。例如，微博数据（<50 tokens）用固定分块更稳定，因为主题模型无法捕捉语义。”
- ❌ “分块大小越大越好，因为上下文更完整。” → ✅ “块大小受嵌入模型最大长度限制（如 512 tokens）。过大导致检索时噪声增加，Recall@k 下降。最佳大小通常在 256-512 tokens，需通过实验确定。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“分块策略对检索召回率的影响”切入，展示你如何用 Recall@5 对比固定分块与语义分块，并给出调参经验（如阈值 0.75 的确定过程）。
- 如果你只做过传统 NLP：用“句子分割与主题检测”类比迁移，强调你熟悉 spaCy 和 BERTopic，并能在 RAG 中复用这些工具。
- 如果你是校招无项目：聚焦“基于 Sentence-BERT 的语义分块 demo”，用 Wikipedia 数据集复现，展示代码仓库和评估报告，突出工程实现能力。
- “LangChain RecursiveCharacterTextSplitter 源码解析”
- “Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks”（Reimers & Gurevych, 2019）
- “BERTopic: Neural topic modeling with a class-based TF-IDF procedure”（Grootendorst, 2022）
- “Chunking Strategies for RAG: A Practical Guide”（博客，2024）
- “Evaluating Chunk Quality in Retrieval-Augmented Generation”（论文，2023）