What are different forms of hallucinations
1️⃣ 考察意图
面试官想考察你对 LLM 幻觉的系统分类能力，而非简单列举“模型会胡说八道”。这是概念分类 + 工程取舍型问题，刁钻点在于：能否从来源、表现、严重度三个维度交叉分类，并给出具体技术名词（如知识边界幻觉 vs 上下文遗忘幻觉）。答好了能展示你对模型底层机制（注意力、解码、训练数据）的深刻理解，以及在实际系统中定位和缓解幻觉的实战经验。
2️⃣ 标准答
幻觉不是单一现象，我按三个维度分类，每个维度对应不同的缓解策略。
维度一：按来源分类（最实用）
- 数据偏差幻觉：训练数据中的错误、偏见或过时信息被模型记忆。例如，模型回答“2024年奥运会”时引用错误年份，因为训练数据中混杂了虚假新闻。缓解：用检索增强（RAG）引入外部知识库，如 Wikipedia 或企业文档，覆盖数据盲区。
- 注意力偏差幻觉：模型在生成时关注了错误上下文。例如，长文本中模型“忘记”了开头的事实，转而依赖中间段落的噪声。这是 Transformer 注意力机制的固有问题，尤其在长序列中（>4K tokens）。缓解：使用 RoPE（旋转位置编码）或 FlashAttention 优化注意力分布，或通过 prompt 显式强调关键上下文（如“基于第一段回答”）。
- 解码策略幻觉：采样策略（如 top-p=0.9, temperature=1.0）引入随机性，导致生成与事实矛盾的内容。例如，beam search 可能选择概率高但逻辑错误的路径。缓解：降低 temperature（如 0.1-0.3）或使用 contrastive decoding（对比解码），强制模型选择与原始分布差异大的 token。
维度二：按表现分类（最直观）
- 事实错误幻觉：输出与客观事实不符。例如，问“法国首都是哪里？”回答“伦敦”。这是最常见的幻觉，通常源于知识边界（模型未训练到该事实）或数据偏差。缓解：结合 RAG 和事实核查（如用外部 API 验证实体关系）。
- 逻辑错误幻觉：推理链条断裂或自相矛盾。例如，模型说“A 大于 B，B 大于 C，所以 C 大于 A”。这源于模型缺乏因果推理能力，尤其在多步推理任务中。缓解：使用 Chain-of-Thought（CoT）提示或思维树（Tree-of-Thoughts）强制显式推理，并加入一致性检查（如“请重新验证你的推理”）。
- 指令误解幻觉：模型未遵循用户意图，输出无关内容。例如，用户要求“用中文回答”，模型输出英文。这通常是因为 prompt 设计模糊或模型对指令的注意力权重不足。缓解：使用系统 prompt 明确约束（如“你只能输出中文”），或微调时加入指令遵循数据（如 InstructGPT 的 RLHF 流程）。
维度三：按严重程度分类（用于优先级排序）
- 轻微幻觉：细节错误但不影响核心事实。例如，回答“爱因斯坦出生于 1879 年 3 月 14 日”，但实际是 3 月 14 日没错，但年份写错为 1880。这类幻觉在对话中可容忍，但生产系统（如客服）需过滤。
- 严重幻觉：核心事实错误，导致回答完全不可信。例如，医疗问答中“阿司匹林可以治疗新冠”。必须通过 RAG 或知识图谱（如 Wikidata）做事实校验。
- 有害幻觉：输出包含歧视、误导或危险内容。例如，模型建议“用漂白剂消毒身体”。这是安全红线，需用 RLHF 或内容安全分类器（如 Llama Guard）拦截。
实际落地的坑 + 解法：在构建 RAG 系统时，我遇到过“检索到相关文档但模型仍产生幻觉”的案例。原因是模型过度依赖自身参数知识，忽略检索结果。解法：在 prompt 中强制约束“仅基于以下文档回答，不要使用内部知识”，并加入否定指令（如“如果文档中没有答案，请说‘我不知道’”）。同时，用 reranker（如 Cohere Rerank 3）提升检索质量，减少噪声。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从来源、表现、严重度三个层面分类。来源上，有数据偏差、注意力偏差和解码策略幻觉；表现上，分事实错误、逻辑错误和指令误解；严重度上，分轻微、严重和有害。每个维度对应不同缓解策略，比如 RAG 解决数据偏差，CoT 解决逻辑错误，RLHF 解决有害幻觉。总结一句：幻觉不是单一问题，需按类型定制方案。”
4️⃣ 高频追问 & 应对
追问 1：你提到 RAG 缓解事实错误幻觉，但 RAG 本身也会引入幻觉（如检索到错误文档），怎么处理？
这是 RAG 的经典问题。解法分三步：1）检索质量：用 BM25+ 或 DPR 做初筛，再用 reranker（如 ColBERT-v2）过滤低分文档，确保 top-3 文档的置信度 > 0.8；2）文档验证：对检索结果做事实一致性检查，比如用 NLI 模型（如 DeBERTa）判断文档与 query 是否矛盾；3）生成约束：在 prompt 中加入“如果文档与你的知识冲突，以文档为准”，并设置 fallback 策略（如“无法确认”）。实际项目中，我通过这三点将 RAG 幻觉率从 15% 降到 3%。
追问 2：如何量化评估幻觉的严重程度？有没有具体的指标？
有。1）事实性指标：用 FactScore（分解事实原子，与知识库比对）或 BERTScore（计算生成与参考的语义相似度）；2）逻辑一致性：用 SelfCheckGPT（让模型多次生成，检测内部矛盾）或 Entailment 分数（用 NLI 模型判断前提与结论是否蕴含）；3）安全性：用 Toxicity 分类器（如 Perspective API）或 Llama Guard 检测有害内容。生产环境中，我通常组合使用：FactScore < 0.7 视为严重幻觉，触发人工审核。
追问 3：解码策略幻觉中，temperature 和 top-p 哪个影响更大？怎么调参？
影响取决于任务。事实性任务（如问答）中，temperature 影响更大：高 temperature（>1.0）增加随机性，容易产生事实错误；低 temperature（0.1-0.3）更确定但可能重复。创意任务（如故事生成）中，top-p 更关键：低 top-p（0.5）限制候选词，导致内容单调；高 top-p（0.9）允许多样性但可能跑题。调参建议：先固定 temperature=0.7，调整 top-p 从 0.8 到 0.95，观察生成质量；如果事实错误多，降低 temperature 到 0.3。实际项目中，我用贝叶斯优化（如 Optuna）自动搜索最佳组合。
5️⃣ 避坑 · 常见错误答法
- ❌ 只列举幻觉类型（如“事实错误、逻辑错误”），不解释来源和缓解策略。 → ✅ 必须按维度分类，并给出具体技术名词（如 RAG、CoT、RLHF）和 trade-off（如 RAG 引入检索噪声 vs 缓解知识边界幻觉）。
- ❌ 说“幻觉无法避免，只能接受”。 → ✅ 强调幻觉可缓解，但需权衡成本（如 RAG 增加延迟，RLHF 需要标注数据），并给出实际案例（如“在客服系统中，我们用 RAG 将幻觉率从 20% 降到 5%，但延迟增加了 200ms”）。
- ❌ 混淆“幻觉”和“错误”。 → ✅ 明确区分：幻觉是模型生成与事实/逻辑/指令不一致的内容，而错误可能是用户输入或系统 bug 导致。举例：模型输出“2+2=5”是幻觉，但用户输入“2+2=5”是错误。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“检索质量影响幻觉”切入，讲你如何用 reranker 和 prompt 约束降低事实错误幻觉，并给出具体数据（如“将幻觉率从 12% 降到 4%”）。
- 如果你只做过传统 NLP：用“分类任务”类比，讲幻觉分类类似多标签分类（来源/表现/严重度），并迁移你的 NER 或情感分析经验（如“用 BERT 做幻觉检测”）。
- 如果你是校招无项目：聚焦论文复现，讲你读过《Survey of Hallucination in Large Language Models》并实现了一个幻觉分类器（用 Hugging Face 的 transformers 和公开数据集如 HaluEval），评估准确率 85%。
- 《Survey of Hallucination in Large Language Models》（2023，Huang et al.）——幻觉分类的权威综述
- 《RAG vs. Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture》（2024，Lewis et al.）——RAG 缓解幻觉的实战分析
- 《SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models》（2023，Manakul et al.）——量化幻觉的指标
- 《Llama Guard: LLM-based Content Safety Classifier》（2023，Meta）——有害幻觉检测工具
- 《Contrastive Decoding: A Simple and Effective Method for Improving Factuality in Large Language Models》（2023，Li et al.）——解码策略幻觉的缓解方法