先这样答
多轮检索应在信息饱和、预算达到上限或目标已经达成时停止,并结合新增证据的冗余度和答案置信度变化判断。
先看信息饱和。把新一轮检索得到的内容与已有信息比较。如果重叠率持续较高,新增证据带来的信息增益就会变低。可以把增益低于阈值作为停止信号。还要观察答案置信度是否继续变化。如果继续检索没有带来新的证据,也没有改变已有结论,就没有必要继续。
再看预算和目标。预算上限可以由轮次、token 或时间构成。任一项达到上限,都应停止检索。目标达成也可以提前停止。如果中间结果已经足以回答问题,就不必为了增加轮次而继续搜索。实际使用时,先在小规模任务集上扫参数,得到阈值初值。上线后再根据反馈调整。
面试官会怎么追问
-
「追问原话」怎么判断新一轮检索还有没有价值?
比较新增证据与已有信息的重叠率。重叠率高,说明新内容重复较多。再看答案置信度是否发生变化,两项信号都显示增益变低时,可以停止。 -
「追问原话」信息饱和、预算上限和目标达成发生冲突时,听谁的?
这三类条件都可以作为停止条件。目标已经达成时,可以直接停止。预算达到上限时,也必须停止;如果没有达到这两项,就继续观察信息增益和答案置信度变化。 -
「追问原话」停止阈值应该怎么设置?
先在小规模任务集上扫参数,得到一个初始阈值。线上运行后,根据反馈调整参数。调整时继续关注新增证据的冗余度和答案置信度变化。
回答的坑
- 只说“检索到足够多就停”,却没有说明信息饱和的判断信号和阈值。
- 只强调信息质量,却漏掉轮次、token、时间预算以及目标达成条件。
同系列的题
这家公司的面经实录
—— 本题完 ——