RAG 找不到答案时，置信度、拒答、追问和转人工怎么设计？

先这样答

结论是，按检索置信度设置分层出口，并给交易与合规问题单独设置人工出口。检索分数高，且召回内容与问题相关，就正常回答。检索分数处于中间区间，可以回答，但要明确标注不确定性。低分时不要继续生成确定答案。直接拒答，并引导用户换一种问法，或提供相关内容。涉及交易与合规时，不等待低分判断，直接转人工。

置信度不能只看一个分数。先看检索相似度，判断问题和召回内容是否接近。再看多路召回是否得到一致结果。一致性越强，回答依据越稳定。最后加入生成模型的自我评估，让模型判断现有内容是否足以支持回答。这三个信号共同决定走正常回答、不确定回答还是拒答。

上线后要把拒答率作为监控指标。持续观察哪些问题进入了拒答出口。还要回看被拒答的问题，并持续优化召回，把本来应该回答的问题召回出来。目标是在内容相关时正常作答，在依据不足时拒答，并为用户提供下一步引导。

面试官会怎么追问

• 「为什么不能只用检索相似度判断置信度？」 检索相似度只反映问题和召回内容的接近程度。还要看多路召回是否一致，并加入生成模型的自我评估。三个信号共同决定正常回答、标注不确定性或拒答。

• 「中等分数和低分的处理有什么区别？」 中等分数仍然回答，但必须标注不确定性。低分时直接拒答，不再生成确定答案。拒答后引导用户换问法，或提供相关内容。

• 「什么时候不走拒答，直接转人工？」 涉及交易与合规时直接转人工。此时不依赖检索分数高低。人工出口优先于正常回答、不确定回答和拒答出口。

回答的坑

• 把高分、中等分数和低分都做成同一种出口，会丢掉不确定回答、拒答和用户引导。

• 把拒答当作终点，不监控拒答率，也不持续优化召回，会让本来该答的问题一直被拒答。