先这样答
我会用两套约束:证据冲突时强制模型展示分歧,证据不足时通过置信度门控限制输出。模型不能静默选一边,也不能把没有资料支持的内容说成确定结论。
遇到矛盾证据,我会把相互冲突的证据都提供给模型。提示词要求模型标出分歧点,并列出各自来源。模型再根据证据的可信度和时效性进行取舍。它必须说明取舍依据,不能只保留一个结果而隐藏另一方。
遇到证据不足,我会检查检索分数或证据覆盖是否低于阈值。低于阈值时,模型只能拒答或追问。提示词要明确要求模型在资料未覆盖时说不知道。工程上再使用结构化输出,让每条结论都带证据编号。没有证据支持的判断必须标为“推测”,不能和有证据的结论混在一起。
面试官会怎么追问
-
「如果两条证据都看起来可信,模型应该怎么回答?」
模型应同时呈现两条证据及其分歧点。它再依据可信度和时效性取舍。回答中要说明各自来源和取舍依据,不能静默选择一方。 -
「证据不足时,为什么不让模型先给一个大概答案?」
因为资料没有覆盖时,模型的判断缺少证据支持。此时应触发置信度门控,让模型拒答或追问。若仍需输出判断,也必须标为“推测”。 -
「怎么在工程上检查模型有没有越过约束?」
可以要求模型使用结构化输出。每条结论都必须填写证据编号。没有对应证据的判断必须标记为“推测”,这样可以检查结论是否有证据支撑。
回答的坑
- 只说“选择更可信的结果”,却不展示冲突证据和分歧点,会遗漏关键依据。
- 只设置拒答规则,却没有要求结论绑定证据编号,模型仍可能把推测写成事实。
同系列的题
—— 本题完 ——