为什么 LLM 很强，但并不适合解决所有问题
1️⃣ 考察意图
面试官想考察你是否能辩证看待LLM，而非盲目追捧。这属于“工程取舍+系统设计”类问题，刁钻点在于：很多人只背了“幻觉/成本”等表面缺点，但说不出为什么这些缺点是结构性的、无法通过微调根治。答好了能展示你对LLM能力边界的深刻理解，以及设计混合系统（Hybrid System）的架构思维——这是大厂做落地产品（如搜索、客服、代码助手）的核心能力。
2️⃣ 标准答
LLM的强项源于大规模预训练+Transformer架构，但它的弱点同样根植于此。我从三个层面拆解：能力边界、结构性缺陷、替代方案。
一、能力边界：LLM擅长什么，不擅长什么
- 擅长：自然语言理解与生成、少样本/零样本泛化（如GPT-4在未见任务上表现不错）、模式匹配（如代码补全、摘要）。
- 不擅长：
- 精确计算与逻辑推理：LLM本质是下一个词预测，没有“计算器”模块。比如问“1234*5678”，它可能给出近似值但无法保证精确。即使Chain-of-Thought（CoT）能提升，但遇到多步逻辑（如数学证明、法律条款嵌套）仍会出错。
- 事实性知识：训练数据截止于某个时间点（如GPT-4知识截止2023年），无法获取实时信息。更关键的是，它没有“真值”概念，只是统计高频共现，所以会产生幻觉（Hallucination）。
- 可解释性：Transformer的注意力机制只能提供“相关性热图”，无法给出因果解释。比如医疗诊断中，LLM说“患者有糖尿病”，但无法追溯是哪个症状导致的。
二、结构性缺陷：为什么这些弱点无法通过微调根治
- 知识截止与更新成本：微调（Fine-tuning）只能调整权重，无法注入新知识。要更新知识，必须重新预训练或做RAG（检索增强生成），但RAG依赖外部检索质量，且LLM可能忽略检索结果（即“检索-生成脱节”）。
- 幻觉是统计必然：LLM在低概率区域（如罕见实体、长尾关系）会“编造”内容，因为训练数据中这些模式稀疏。即使RLHF（人类反馈强化学习）能压制，但无法消除——这是概率模型的固有限制。
- 输入敏感性与鲁棒性：LLM对提示词（Prompt）的微小变化敏感。比如“翻译成中文” vs “用中文翻译”，结果可能不同。这在生产环境中是灾难：用户输入不可控，导致输出不稳定。
三、不适合场景与替代方案
- 高可靠性场景（如医疗诊断、金融交易）：LLM的幻觉不可接受。替代方案：规则系统（如专家系统）+ 传统ML模型（如XGBoost）+ 人工审核。例如IBM Watson Health失败的原因之一就是过度依赖NLP而忽略结构化数据。
- 严格逻辑场景（如数学证明、代码验证）：LLM无法保证正确性。替代方案：符号推理引擎（如Wolfram Alpha）+ 形式化验证（如Coq）。实际落地坑：我曾见过团队用LLM生成代码，但未做静态分析，结果上线后出现空指针异常。
- 实时低延迟场景（如自动驾驶、高频交易）：LLM推理延迟高（GPT-4单次推理约200ms-1s），且无法保证确定性。替代方案：轻量级模型（如TinyBERT）+ 传统控制算法（如PID控制器）。
- 需要可解释性场景（如法律判决、贷款审批）：LLM的“黑箱”特性违反监管要求。替代方案：决策树、逻辑回归等可解释模型。
四、工程取舍：混合系统才是答案
- RAG（检索增强生成）：用BM25或DPR检索外部知识库，再让LLM生成答案。但注意：检索质量决定上限，且LLM可能“无视”检索结果。解法：对检索结果做rerank（如Cohere Rerank），并设计Prompt强制LLM引用来源。
- LLM+知识图谱：用LLM做自然语言接口，知识图谱做事实存储。例如：问“乔布斯的出生地”，LLM解析意图，图谱返回“旧金山”，LLM再组织语言。坑：图谱更新成本高，且LLM可能误解查询意图。
- LLM+传统ML：用LLM做特征提取（如文本嵌入），传统ML做分类/回归。例如：情感分析中，LLM生成embedding，XGBoost做最终预测。优势：LLM的泛化性+传统ML的可控性。
总结：LLM是强大的“语言引擎”，但不是“万能引擎”。它的强项在于理解与生成，弱项在于精确性、事实性和可解释性。落地时，必须根据场景设计混合系统，用其他技术补足短板。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，LLM的强项源于大规模预训练，擅长语言理解与泛化，但弱项是精确计算、事实性和可解释性；第二，这些弱点是结构性的，无法通过微调根治，因为幻觉是概率模型的固有限制，知识更新成本高；第三，不适合高可靠性、严格逻辑、实时低延迟场景，替代方案包括RAG、知识图谱、传统ML等混合系统。总结一句：LLM是工具，不是银弹，落地必须根据场景做工程取舍。”
4️⃣ 高频追问 & 应对
追问 1：你说LLM不适合精确计算，但为什么GPT-4在数学题上表现不错？
这是“表面现象 vs 本质能力”的陷阱。GPT-4在简单数学题（如加减乘除）上表现好，是因为训练数据中大量出现，它学会了“模式匹配”。但遇到多步逻辑（如微积分、数论证明）或需要严格推导的题目，它仍会出错。例如，问“证明根号2是无理数”，GPT-4可能给出看似合理但逻辑不完整的答案。实际工程中，我们不会用LLM做计算，而是让它调用计算器API（如Wolfram Alpha）或写代码执行。这是“工具调用”（Tool Use）的典型模式。
追问 2：如果必须用LLM做医疗诊断，你怎么降低幻觉风险？
核心策略是“约束生成+外部验证”。第一，用RAG检索权威医学知识库（如UpToDate），并设计Prompt强制LLM引用来源，比如“请基于以下文献回答：...”。第二，对输出做后处理：用NER提取实体（如药物名、症状），再与知识图谱交叉验证。第三，设置置信度阈值：如果LLM输出概率低于0.8，则拒绝回答并转人工。实际落地坑：我曾见过团队只做RAG，但LLM仍会“编造”文献，所以必须加“来源验证”步骤。
追问 3：LLM和知识图谱结合时，怎么解决查询歧义问题？
这是典型的“语义解析”难题。解法：第一，用LLM做意图识别和实体链接（Entity Linking），比如“乔布斯的出生地”中，“乔布斯”链接到知识图谱中的实体ID。第二，如果LLM输出多个候选，用排序模型（如BERT-based reranker）选最优。第三，设计容错机制：如果图谱查询返回空，则回退到LLM直接生成，但标记为“低置信度”。工程取舍：LLM解析意图灵活但可能出错，规则解析准确但覆盖不全，所以常用“规则+LLM”的混合策略。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“LLM不适合所有问题，因为成本高、速度慢” → ✅ 正确切入：成本高是工程问题，不是本质弱点。应该聚焦结构性缺陷（幻觉、知识截止、不可解释），这些是模型架构决定的，无法通过优化解决。
- ❌ 说“LLM可以做任何事，只要微调一下” → ✅ 正确切入：微调只能调整行为，不能注入新知识或消除幻觉。必须区分“能力边界”和“工程优化”，比如微调可以提升格式一致性，但无法让LLM学会精确计算。
- ❌ 说“LLM不适合医疗，因为不准确” → ✅ 正确切入：要具体到“为什么”不准确——训练数据中医疗知识稀疏、缺乏因果关系、无法追溯来源。同时给出替代方案（如知识图谱+规则系统），展示系统设计能力。
6️⃣ 简历呼应
- 如果你有RAG项目：从“检索质量对LLM输出的影响”切入，举例你如何用BM25+rerank降低幻觉率，并对比LLM单独回答的准确率差异。
- 如果你只做过传统NLP：用“规则系统 vs LLM”的类比迁移，比如你之前用CRF做实体识别，现在用LLM做，但发现LLM在长尾实体上更优，在精确边界上更差，引出混合方案。
- 如果你是校招无项目：聚焦论文复现，比如你读过《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》，可以讨论RAG的局限（检索-生成脱节）和你的改进思路（如加rerank）。
- 《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》（Lewis et al., 2020）
- 《Language Models are Few-Shot Learners》（GPT-3论文，Brown et al., 2020）
- 《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》（Wei et al., 2022）
- 《Hallucinations in Large Language Models: A Survey》（Ji et al., 2023）
- 《Knowledge Graphs in the Era of Large Language Models》（Pan et al., 2024）