医疗场景的大模型应用(辅助诊断、病历生成)要设哪些硬约束?幻觉在医疗里怎么防?
先这样答
先定性质:医疗大模型的产品定位是医生的辅助工具,输出是「建议加证据」,决策权和责任在医生。这个定位决定了所有技术设计的方向。
硬约束有五条。循证锚定:涉及诊断和用药建议的回答必须挂检索增强,从医学知识库、指南、药品说明书里取依据,模型只做依据的组织和推理,不允许自由发挥医学知识。证据链输出:建议的格式是「考虑某诊断,依据是哪些症状和检查结果,鉴别诊断有哪些,建议补充什么检查」,让医生能核查每一步,而不是甩一个结论。结构化生成:病历生成走模板加抽取的路线,主诉、现病史、查体字段从对话里结构化抽取填充,医生逐项确认后签字,模型不生成自由文本的整段病历。置信度门控:模型对低置信度问题要显式说「无法判断,建议某某检查或转诊」,宁可不答不能猜。责任边界:界面上明确标注辅助建议属性,最终采纳由医生操作留痕。
幻觉的防线是多层的:检索层不给它编造的素材、生成层约束输出格式和范围、校验层做医学一致性检查(剂量是否在安全范围、诊断和年龄性别是否逻辑自洽)、人工层医生终审。任何一层都是概率防御,四层叠加把风险压到可接受。
面试官会怎么追问
- 「病历生成为什么不全自动?」 病历是法律文书,出错的责任链要求可追责到人。全自动生成再让医生改,错误率会更高;结构化抽取加逐项确认,医生审的是明确的字段,效率和质量都更好。
- 「知识库更新怎么跟上医学进展?」 指南和说明书有版本管理,新版本灰度切换;检索时优先返回最新版本并标注出处和日期。模型定期用最新知识做增量学习,但推理时的依据始终来自检索而不是参数记忆。
- 「患者直接用怎么办?」 面向患者的问答产品约束更严:不输出诊断结论和用药方案,只做健康科普和就医引导,高风险主诉(胸痛、出血)直接建议急诊。患者端和医生端是两个完全不同的约束等级。
回答的坑
- 说「准确率到了多少就能用」。医疗的责任结构决定它不是单纯刷指标的题,是流程和证据链的题。
- 幻觉防线只说一层。多道闸的纵深防御思路才是正确答案。
同系列的题
—— 本题完 ——