怎么规避大模型的幻觉
1️⃣ 考察意图
面试官想考察你是否能跳出“加个RAG就完事”的浅层认知，系统性地理解幻觉的根源与多层防御策略。这是典型的系统设计+工程取舍题，刁钻点在于：候选人常只提“检索增强”或“Prompt优化”，却忽略模型侧、输出侧、评估侧的完整流程。答好了能展示你对LLM整条链路的掌控力——从数据输入到生成后校验，以及如何用具体工具（如SelfCheckGPT、NLI模型）量化并降低幻觉率，体现一线大厂所需的工程落地思维。
2️⃣ 标准答
规避幻觉不是单一技术能解决的，需要从输入侧、模型侧、输出侧、系统侧、评估侧五层构建防御体系。以下按层展开，每层给出具体方法、工程取舍和实战坑。
输入侧：减少幻觉的源头
- 检索增强生成（RAG）：用BM25（k1=1.5, b=0.75）做稀疏检索，结合DPR或ColBERT做稠密检索，为生成提供事实锚点。取舍：检索延迟与召回率平衡——多路召回（稀疏+稠密）可提升事实覆盖率，但增加50-100ms延迟，适合对实时性要求不高的场景（如文档问答）。
- Prompt工程：使用few-shot示例（3-5个）和chain-of-thought（CoT）引导模型逐步推理。坑：示例若包含错误事实，会放大幻觉。解法：人工审核示例，或从验证集自动筛选高置信度样本。
- 知识图谱约束：在Prompt中嵌入结构化三元组（如“实体-关系-实体”），强制模型输出遵循图谱逻辑。例如，医疗问答中注入“药物-副作用”关系，减少编造。
模型侧：从内部抑制幻觉
- 微调与对齐：使用RLHF（基于人类反馈的强化学习）或DPO（直接偏好优化）训练模型，在奖励函数中惩罚事实错误。取舍：RLHF需要大量人工标注（每样本约$1-5），且可能降低生成多样性。DPO更轻量，但需高质量偏好数据。
- 验证模型集成：部署一个独立的NLI（自然语言推理）模型（如DeBERTa-v3微调版），对生成内容与检索文档做“蕴含/矛盾/中立”分类。若矛盾概率>0.7，触发重生成或拒绝回答。实战坑：NLI模型对长文本（>512 tokens）性能下降，需分句校验并取平均分。
输出侧：后处理过滤
- 引用溯源：强制模型输出时附带文档ID和段落号（如“[Doc3:Para2]”），再用正则提取引用，与生成内容做事实一致性检查。工具：使用Sentence-BERT计算引用段落与生成句的余弦相似度，阈值设为0.85，低于则标记为可疑。
- 置信度过滤：让模型输出logits或softmax概率，对低置信度（如top-1概率<0.6）的token进行掩码或替换。取舍：过滤会降低回复流畅性，适合高精度场景（如金融报告），不适合聊天机器人。
系统侧：多模型协作
- 多模型投票：部署3-5个不同架构的模型（如GPT-4、Claude-3、Llama-3），对同一问题生成答案，用多数投票或加权平均（按模型历史事实性评分）选择最终输出。坑：成本线性增长，且模型间可能共谋错误（如都引用同一错误训练数据）。解法：引入一个独立的事实性裁判模型（如FactScore）做最终仲裁。
- 知识图谱约束：构建领域知识图谱（如医疗的UMLS），在生成时用图遍历算法（如BFS）验证实体关系。例如，若模型说“阿司匹林治疗流感”，图谱中无此关系则拒绝。
评估侧：量化与迭代
- 建立幻觉检测数据集：从开源基准（如TruthfulQA、HaluEval）采样，人工标注“事实/幻觉”标签，定期评估模型。指标：使用F1分数（幻觉检测的精确率和召回率），目标>0.9。
- 自动化评估Pipeline：用SelfCheckGPT（基于GPT-4的自我一致性检查）或NLI模型，对生产环境中的生成内容实时打分。实战坑：SelfCheckGPT对长文本（>1000 tokens）的推理成本高（约$0.01/次），可降采样至每10句检查一次。
总结：五层防御形成完整流程——输入侧减少错误引入，模型侧抑制内部幻觉，输出侧过滤残留错误，系统侧用冗余提升鲁棒性，评估侧驱动持续优化。一线大厂（如字节）在搜索摘要场景中，通过RAG+引用溯源+置信度过滤，将幻觉率从15%降至3%以下。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从输入侧、模型侧、输出侧、系统侧、评估侧五个层面回答。输入侧用RAG和知识图谱约束事实来源；模型侧通过RLHF微调或集成NLI验证模型抑制幻觉；输出侧做引用溯源和置信度过滤；系统侧用多模型投票和事实裁判增加冗余；评估侧用TruthfulQA等数据集量化并迭代。总结一句：规避幻觉需要整条链路防御，而非单一技术。”
4️⃣ 高频追问 & 应对
追问 1：RAG中检索到的文档本身有错误怎么办？
这是常见坑。解法：1）在检索阶段，对文档做质量评分（如用BERTScore计算与问题的语义相关性，阈值0.7以下丢弃）；2）在生成阶段，用NLI模型校验检索文档与生成内容的一致性，若矛盾则回退到无检索生成（但需标注“无可靠来源”）；3）建立文档可信度数据库，对低质量来源（如用户论坛）降权。工程上，字节在电商问答中采用“多源检索+交叉验证”，将文档错误导致的幻觉降低40%。
追问 2：如何评估幻觉检测系统的有效性？
用两个维度：1）离线评估：在HaluEval数据集上计算F1分数，目标>0.9；2）在线评估：对生产环境中的生成内容，随机采样1000条，由人工标注“事实/幻觉”，计算准确率和召回率。注意：人工标注成本高（约$0.5/条），可先用SelfCheckGPT做自动标注，再抽10%人工复核。取舍：离线指标高不代表线上好，需持续监控。
追问 3：多模型投票的成本太高，有没有轻量方案？
有。1）使用模型蒸馏：训练一个小模型（如TinyLlama）模仿大模型的事实性行为，成本降低90%；2）采用“级联架构”：先用轻量模型（如Llama-3-8B）生成，若置信度<0.7，再调用大模型（如GPT-4）重生成；3）使用MoE（混合专家）模型，每个专家负责不同领域，减少冗余。例如，Anthropic在Claude中采用级联，将成本降低60%同时保持事实性。
5️⃣ 避坑 · 常见错误答法
- ❌ “只用RAG就能解决幻觉，因为检索提供了事实依据。” → ✅ “RAG是基础，但检索文档本身可能有误，且模型可能忽略检索结果。需要结合输出侧引用溯源和模型侧微调，形成多层防御。”
- ❌ “用更强大的模型（如GPT-5）就能自动消除幻觉。” → ✅ “模型规模增大可减少部分幻觉（如GPT-4比GPT-3.5幻觉率低30%），但无法根除。仍需系统侧校验，因为大模型也会编造事实（如‘幻觉是模型特性’）。正确做法是结合评估侧量化并迭代。”
- ❌ “幻觉检测用人工审核最准。” → ✅ “人工审核成本高、延迟大，不适合生产环境。应先用自动化工具（如NLI模型、SelfCheckGPT）做初筛，再对可疑样本人工复核，平衡成本与准确率。”
6️⃣ 简历呼应
- 如果你有RAG项目：从“检索质量对幻觉的影响”切入，展示你如何用BM25+DPR多路召回，并结合NLI模型做事实校验，将幻觉率降低20%。强调你在离线评估（HaluEval）和在线A/B测试中的量化结果。
- 如果你只做过传统NLP：用“文本分类中的错误传播”类比幻觉——传统NLP中，NER错误会导致关系抽取失败；LLM中，检索错误会导致生成幻觉。展示你如何迁移NLI模型（如DeBERTa）做事实一致性检查，并设计置信度过滤策略。
- 如果你是校招无项目：聚焦论文复现——在TruthfulQA数据集上复现SelfCheckGPT，用GPT-4做自我一致性检查，并对比不同阈值（0.5-0.9）对F1分数的影响。展示你对评估指标和工程取舍的理解。
- 《SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models》
- 《HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models》
- 《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》
- 《Training Language Models to Follow Instructions with Human Feedback (RLHF)》
- 《DeBERTa: Decoding-enhanced BERT with Disentangled Attention》