先这样答
结论是,拒答率不能单独压,也不能把目标定成零拒答。要先提升检索质量,把本来应该召回的内容找回来,再根据检索质量调整拒答阈值。这样才能减少该答而没答的情况,同时保留必要的拒答。
具体做法是持续补检索。查询改写可以改善用户问题的表达,让检索更容易找到相关内容。混合检索可以从不同检索方式补充召回结果。检索质量变好后,再收紧拒答阈值,让模型只在证据不足时拒答。拒答率本身是监控指标,不是一个固定不变的常量。最终目标不是零拒答,而是把该答而没答的比例压到业务可以接受的范围。
面试官会怎么追问
-
「为什么不能直接把拒答阈值放宽?」 放宽阈值可能减少拒答,但不一定解决该答而没答的问题。检索没有找到该有的内容时,继续放宽也不能补回证据。应该先补检索,再根据检索质量收紧阈值。
-
「你会优先优化查询改写,还是优先做混合检索?」 两者都属于补检索的手段,重点是把该召回的内容召回来。可以结合实际检索表现判断先后,但不能只盯着拒答率做选择。优化后还要继续观察检索质量和拒答情况。
-
「业务为什么不直接追求零拒答?」 零拒答不是合理目标。没有足够检索内容时强行回答,可能让本来应该拒答的请求得到回答。更合适的目标是压低该答而没答的比例,并控制在业务可接受范围内。
回答的坑
- 只说降低拒答率,不提查询改写、混合检索和检索质量,答法就缺少原因。
- 把拒答率当成固定目标,直接追求零拒答,会忽略必要的拒答。
同系列的题
—— 本题完 ——