多模态大模型「看图说瞎话」是怎么回事？怎么缓解？

先这样答

多模态模型的对象幻觉指：图里没有的东西它描述出来了，或者属性说错了（颜色、数量、位置）。成因在结构上：视觉编码器把图压成特征序列，语言模型拿到的不是「图本身」而是这份有损的向量表示，生成时语言先验（训练文本里的常见搭配）会跟视觉证据竞争。视觉信号弱的地方（小物体、模糊、罕见场景）文本惯性占上风，模型就开始顺着常识编：图里是普通椅子，它说成品牌沙发。

缓解按三层做。输入侧：图分辨率要够、别过度压缩，问题里把回答钉在图上（「仅根据图中内容回答，图里没有就说没有」），别给诱导性的前提。模型侧：这是训练问题，用图文矛盾样本训练它学会「图里没有就明说」，属于对齐工作，应用层改提示词只能缓解不能根治。输出侧：要求先描述图内证据再下结论，答案可核查、可定位到图的区域。评测也要专门构造图文矛盾样本——图里没有 X，偏问「图里的 X 是什么」——纯文本幻觉题和正常的看图描述题都测不出这类错误。

面试官会怎么追问

• 「为什么小物体和罕见场景更容易幻觉？」 两层原因：低分辨率下小物体的视觉特征本来就弱；罕见物体在训练图文对里出现少，语言先验相对更强。证据弱、惯性强的组合最容易翻车。
• 「和纯文本幻觉是一回事吗？」 底层相似——都是生成惯性压过证据；但多模态多了「视觉编码有损」这一层，证据弱不代表图里没有，所以缓解手段不同，靠 retrieval 增强文本那套在这里对不上号。
• 「怎么测自己的应用有没有这个问题？」 构造两类样本：图里有 X 问「有没有 X」（测漏报），图里没有 X 诱导说有（测瞎编），分别统计错误率再定向优化。只用正常看图题评测，这类错误基本测不出来。

回答的坑

• 把幻觉全归因于「模型不行」。图糊、图小、提问带诱导前提都会显著加重幻觉，输入侧治理能解决相当一部分，应用层不是无事可做。
• 评测集里全是正常的看图描述题。没有图文矛盾样本，对象幻觉的漏检率就是未知数，上线等于裸奔。