如何给LLM注入领域知识
1️⃣ 考察意图
面试官想看你是否理解“领域知识注入”不是单一技术，而是一套工程决策树。考察类型是系统设计+工程取舍，刁钻点在于：候选人常只背RAG或微调的概念，却说不清何时用哪个、为什么、代价是什么。答好了能展示你对LLM落地整条链路（数据、成本、延迟、效果）的掌控力，以及从“调API”到“设计知识系统”的硬实力。
2️⃣ 标准答
领域知识注入有三大主流路径：微调（Fine-tuning）、RAG（检索增强生成）、提示工程（Prompt Engineering），以及它们的混合变体。选型取决于数据量、实时性、成本、知识稳定性四个维度。
- 微调（Fine-tuning）：适合知识稳定、数据量在万级以上、需要模型内化领域语境的场景。
- 方法：LoRA（Low-Rank Adaptation）或QLoRA，在冻结基座模型参数基础上，插入低秩矩阵微调。例如用10万条医疗QA对Llama-3-8B做LoRA，训练成本约$50（单卡A100，1小时）。
- 为什么这么做：全参数微调成本高（8B模型需$500+），且容易灾难性遗忘。LoRA只更新0.1%-1%参数，保留通用能力，同时注入领域术语和推理模式。
- 实际落地的坑：领域数据分布不均（如医疗问答中“感冒”占80%，“罕见病”占0.1%），微调后模型对长尾知识过拟合或遗忘。解法：用课程学习（Curriculum Learning）按难度递增训练，或对长尾样本做上采样（upsampling）至5%-10%比例。
- RAG（检索增强生成）：适合知识频繁更新（如新闻、法规）、数据量极大（百万级文档）、需要可解释性的场景。
- 方法：构建向量数据库（如Milvus/Pinecone），用embedding模型（如BGE-large-en-v1.5）将文档切块（chunk size 256-512 tokens，重叠20%）后索引。查询时检索Top-K（K=5-10），拼接至prompt。
- 为什么这么做：微调无法实时更新知识（需重新训练），而RAG只需更新文档库。但RAG有检索噪声问题：若检索结果不相关，模型会“幻觉”或忽略正确信息。解法：加一个reranker（如Cohere rerank-v3）对Top-50结果重排序，提升准确率15-20%。
- 实际落地的坑：chunking策略不当导致信息断裂。例如法律合同中的“定义条款”被切到不同chunk，模型无法理解上下文。解法：用语义分割（如LangChain的RecursiveCharacterTextSplitter，基于段落边界）或基于文档结构的chunking（如按Markdown标题切分）。
- 提示工程（Prompt Engineering）：适合知识量少（<10条规则）、快速验证、零成本场景。
- 方法：在system prompt中嵌入领域规则（如“所有回答必须引用《民法典》第X条”），或提供few-shot示例（3-5个QA对）。
- 为什么这么做：零成本、零延迟，但受限于上下文窗口（128K tokens内），无法注入海量知识。且模型对prompt中的规则遵循不稳定（如忽略指令）。
- 实际落地的坑：用户问题复杂时，prompt中的规则被“稀释”。解法：用结构化prompt（如XML格式包裹规则）或动态few-shot选择（基于语义相似度从知识库选示例）。
- 混合方法：工业界主流方案，取长补短。
- 典型模式：先微调基础模型（注入领域术语和推理模式），再在推理时用RAG补充最新知识。例如医疗场景：微调后的模型能理解“阿托伐他汀”是降脂药，RAG提供最新用药指南（2024版）。
- 为什么这么做：微调提升模型对领域语境的“直觉”，RAG保证知识时效性。但混合增加系统复杂度（维护两个组件），且微调后模型可能对RAG检索结果“过度自信”（忽略矛盾信息）。解法：在微调数据中加入“检索-拒绝”样本（如“根据最新指南，该药已禁用”），训练模型学会质疑检索结果。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从数据量、实时性、成本三个层面回答。数据量大且稳定（如医学教科书）→ 用LoRA微调，成本低且内化知识；数据频繁更新（如新闻）→ 用RAG，检索最新文档；快速验证（如10条规则）→ 用提示工程。总结一句：没有银弹，选型取决于你的知识是‘死的’还是‘活的’。”
4️⃣ 高频追问 & 应对
追问 1：如果领域数据只有1000条，你选微调还是RAG？为什么？
选RAG。1000条数据微调效果有限（LoRA需要万级以上才能稳定），且容易过拟合。RAG可以复用这1000条作为知识库，检索后生成。如果必须微调，我会用数据增强（如回译、同义词替换）扩到5000条，或用few-shot prompt先验证知识注入效果。
追问 2：RAG中检索结果不相关怎么办？具体说一个工程解法。
加一个混合检索策略：结合向量检索（语义相似度）和关键词检索（BM25，k1=1.5, b=0.75）。向量检索擅长语义匹配但忽略精确匹配（如“阿司匹林”和“乙酰水杨酸”），BM25擅长精确匹配。两者结果用RRF（Reciprocal Rank Fusion）融合，权重各50%。实测在医疗QA上，混合检索比纯向量检索准确率提升12%。
追问 3：微调后模型在通用任务上变差了，怎么解决？
这是灾难性遗忘。解法：1）EWC（Elastic Weight Consolidation）：在LoRA训练时，对基座模型重要参数（如attention层）加正则项，限制更新幅度。2）混合训练：在领域数据中混入10%-20%通用数据（如Alpaca指令集），保持通用能力。3）多任务微调：用LoRA adapter切换，推理时加载领域adapter，通用任务时卸载。
5️⃣ 避坑 · 常见错误答法
- ❌ “微调比RAG好，因为模型内化知识更准确。” → ✅ “微调适合稳定知识，RAG适合动态知识。准确率上，RAG+reranker在开放域QA上通常比微调高5-10%（如NQ数据集），但微调在封闭域（如法律条款）更可靠。”
- ❌ “RAG就是向量检索，用embedding模型就行。” → ✅ “RAG需要chunking策略、检索融合、reranker、prompt模板设计，每个环节都有trade-off。例如chunk size 256 vs 512：256召回率高但上下文碎片化，512准确率高但可能漏掉细粒度信息。”
- ❌ “提示工程太简单，面试不会问。” → ✅ “提示工程是零成本验证手段，但工业界常忽略其不稳定性。例如system prompt中写‘不要编造’，模型仍可能幻觉。需要结合结构化prompt和动态few-shot。”
6️⃣ 简历呼应
- 如果你有RAG项目：从“chunking策略对比”切入，展示你做过不同chunk size（256/512/1024）的A/B测试，并提到用BM25+向量混合检索解决长尾问题。
- 如果你只做过传统NLP：用“知识图谱 vs 向量检索”类比迁移，例如“传统QA用实体链接，RAG用embedding相似度，本质都是知识定位”。强调你对检索系统的理解（如TF-IDF到DPR的演进）。
- 如果你是校招无项目：聚焦“LoRA微调论文复现”，展示你读过《LoRA: Low-Rank Adaptation of Large Language Models》并跑过demo（如用HuggingFace PEFT库微调Llama-2-7B），能说出rank=8 vs rank=64的效果差异。
- 《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》（Lewis et al., 2020）
- 《LoRA: Low-Rank Adaptation of Large Language Models》（Hu et al., 2021）
- 《Lost in the Middle: How Language Models Use Long Contexts》（Liu et al., 2023）
- 《Dense Passage Retrieval for Open-Domain Question Answering》（Karpukhin et al., 2020）
- 《Hybrid Search: Combining Sparse and Dense Retrieval》（Nogueira et al., 2020）