幻觉Hallucination

是什么

幻觉分为事实性幻觉与忠实性幻觉。前者指输出与可验证事实冲突，后者指输出与给定上下文或指令冲突。常见形态包括编造引用、数字及不存在的接口。

根源在于模型训练目标是拟合下一个词的概率分布，而非真值判定。因此在知识模糊区域采样时，模型仍会给出高置信度表述。

缓解手段包括通过检索增强提供依据，用提示约束模型仅依据上下文作答并给出处，以及增加结构化输出约束。此外需引入低置信时拒答机制，配合评测集持续监控，必要时微调。

解决什么问题

治理幻觉主要解决生成式模型流畅度与真实性不挂钩的问题。若不加干预，模型会生成看似合理实则错误的信息，导致问答、摘要及智能体交付均不可信。

生产系统必须通过缓解手段，将模型随意生成转化为有依据的输出，确保交付可靠。

面试怎么考

面试常考幻觉为什么必然存在，答题要点是指出拟合概率分布的训练目标与真值判定的区别。

考官常问除了提示约束还有什么工程手段，需列举检索增强、拒答机制及微调。遇到怎么区分知识幻觉与推理幻觉，应结合事实与逻辑冲突展开。对于检索增强为什么压不住全部幻觉，要点在于检索质量缺陷及模型忠实度问题。

又称：幻觉 · Hallucination · 编造