多模态 Agent 中的「幻觉「有什么特殊表现形式？如何缓解
1️⃣ 考察意图
面试官想看你能否区分多模态幻觉和纯文本幻觉的不同表现形式，并给出针对性的缓解方案。刁钻点在于：多模态幻觉不仅有"物体幻觉"（说了图中没有的东西），还有"关系幻觉"和"属性幻觉"，每种幻觉的成因和缓解方法不同。答好了能展示你对 VLM 可靠性的深度理解。
2️⃣ 标准答
多模态幻觉有四种特殊表现形式：
1. 物体幻觉（Object Hallucination）
- 表现：模型描述了图中不存在的物体。如图中只有桌子和书，模型说"桌上有一杯咖啡"
- 成因：(1) 训练数据偏差——"桌子+书"的图像经常和"咖啡"共现，模型学到了错误的关联；(2) LLM 的语言先验——LLM 知道"桌子上通常有咖啡"，在视觉信息不明确时倾向于生成"合理"但错误的描述
- 评估：POPE（Polling-based Object Probing Evaluation）——给模型看图，问"图中有X吗？"，统计"有"的回答中 X 实际不在图中的比例
2. 关系幻觉（Relation Hallucination）
- 表现：正确识别物体但错误描述空间关系。如"A 在 B 上面"实际是"A 在 B 下面"
- 成因：(1) 空间理解弱——ViT 的 position embedding 只编码 patch 位置，不编码物体间关系；(2) LLM 先验——"猫通常在桌子上"而非"桌子下面"
- 评估：VL-CheckList——专门测试空间关系理解的 benchmark
3. 属性幻觉（Attribute Hallucination）
- 表现：物体识别正确但属性描述错误。如猫是橘色的，模型说"黑色的猫"
- 成因：(1) 颜色感知弱——ViT 在低分辨率下颜色信息被压缩；(2) 数据偏差——训练数据中黑色猫比橘色猫多，模型有先验偏好
- 评估：MMMU 的属性识别子任务
4. 推理幻觉（Reasoning Hallucination）
- 表现：基于错误的视觉理解做出看似合理但实际错误的推理。如"图中的时钟显示3点，所以是下午3点"——实际时钟显示的是上午9点
- 成因：VLM 的视觉感知（OCR/数字识别）不准确，但 LLM 的推理能力很强，"将错就错"地生成了逻辑自洽但事实错误的推理
- 评估：需要人工评估或对比 ground-truth
缓解方案：
| 幻觉类型 | 缓解方案 | 效果 |
|---|---|---|
| 物体幻觉 | (1) 对比解码——降低无图像时的输出概率；(2) DPO训练——用"有幻觉"vs"无幻觉"的偏好对训练 | POPE F1提升5-10% |
| 关系幻觉 | (1) 空间增强数据——增加空间关系描述的指令数据；(2) Region-aware编码——高分辨率编码物体位置 | VL-CheckList提升3-5% |
| 属性幻觉 | (1) 高分辨率编码——448×448代替224×224；(2) 属性特定指令数据——专门训练颜色/数量/位置识别 | 属性准确率提升8% |
| 推理幻觉 | (1) 思维链——让模型先描述图像再推理；(2) 自我校验——生成后让模型重新检查描述是否与图像一致 | 推理准确率提升3-5% |
3️⃣ 答题模板（30 秒电梯版）
"多模态幻觉有四种：物体幻觉（说了没有的东西）、关系幻觉（空间关系搞反）、属性幻觉（颜色数量错误）、推理幻觉（基于错误感知做自洽推理）。缓解：物体幻觉用对比解码+DPO训练；关系幻觉用空间增强数据；属性幻觉用高分辨率编码；推理幻觉用思维链+自我校验。核心认知：多模态幻觉的根源是'LLM语言先验压过视觉证据'，缓解方向是'让模型更依赖视觉而非语言先验'。"
4️⃣ 高频追问 & 应对
追问 1：对比解码（Contrastive Decoding）具体怎么实现？
对比解码的核心思想：同时用"有图像"和"无图像"两种模式推理，在生成时降低"无图像"模式下概率高的 token。具体：
P_final(token) = P_visual(token) - α * P_text_only(token)，其中 α 是调节系数（如 0.1）。如果某个 token 在"无图像"时概率也很高（如"咖啡"），说明它来自语言先验而非视觉证据，降低其概率。效果：在 POPE 上 F1 提升 5-8%。局限：需要两次推理（有图+无图），延迟翻倍。优化：只在前 10 个 token 做 contrastive（后续 token 受视觉影响递减）。
追问 2：DPO 训练怎么用于减少多模态幻觉？
构造偏好对：(1) chosen——无幻觉的描述（人工标注或 GPT-4V 生成）；(2) rejected——有幻觉的描述（模型自己生成的错误输出）。用 DPO 损失训练模型偏好 chosen 而非 rejected。关键：偏好对的"差异"只在幻觉部分——如 chosen="图中有桌子和书"，rejected="图中有桌子、书和咖啡"，差异在"咖啡"。实验：LLaVA+DPO 在 POPE 上 F1 从 78.2% 提升到 85.6%。挑战：构造高质量偏好对成本高，需要人工标注幻觉样本。
追问 3：自我校验（Self-Verification）怎么做？会不会太慢？
自我校验：模型先生成描述，然后用同一个模型"重新看图"检查描述是否准确。具体：(1) 生成描述："图中有桌子、书和咖啡"；(2) 构造校验问题："图中有咖啡吗？是/否"；(3) 如果校验答案是"否"，修改描述删除"咖啡"。延迟：额外一次推理（校验），延迟增加约 50%。优化：(1) 只对"高风险 token"做校验——如名词和形容词，跳过连接词；(2) 批量校验——一次问多个问题（"图中有咖啡吗？有书吗？有桌子吗？"），减少推理次数。效果：减少物体幻觉 30-40%，但不能完全消除。
5️⃣ 避坑 · 常见错误答法
- ❌ "多模态幻觉和文本幻觉一样，都是模型编造内容" → ✅ "多模态幻觉有四种特殊形式：物体幻觉（语言先验导致）、关系幻觉（空间理解弱）、属性幻觉（颜色感知弱）、推理幻觉（错误感知+强推理）。每种幻觉的成因和缓解方法不同。"
- ❌ "用更大的模型就能减少幻觉" → ✅ "GPT-4V 在 POPE 上仍有 ~10% 的物体幻觉。模型越大语言先验越强，反而可能增加幻觉（因为更'聪明'地编造合理但错误的内容）。需要专门的缓解方案（对比解码/DPO）。"
- ❌ "只要模型看对了图就不会幻觉" → ✅ "即使视觉感知正确，推理阶段仍可能产生幻觉——LLM 的推理可能'跑偏'，基于正确的视觉信息得出错误结论。需要思维链+自我校验。"
6️⃣ 简历呼应
- 如果你有 VLM 幻觉研究：从"幻觉缓解方案"切入，描述你实现的对比解码或 DPO 训练，给出 POPE/CHAIR 指标的提升数据
- 如果你只做过 NLP 幻觉研究：用"文本幻觉的 FACTUAL/HaluEval"迁移——多模态幻觉的 POPE 对应文本幻觉的 FACTUAL，核心都是"检测模型是否编造"
- 如果你是校招无项目：在 LLaVA 上实现对比解码，测试不同 α 值（0.05/0.1/0.2）对 POPE F1 的影响，写一篇博客
- "POPE: Polling-based Object Probing Evaluation for Object Hallucination" (Li et al., 2023)
- "Mitigating Hallucinations in Large Vision-Language Models via Contrastive Decoding" (Leng et al., 2023)
- "HallusionBench: An Advanced Diagnostic Suite for Entangled Language Hallucination & Visual Illusion" (Liu et al., 2023)