如何给 LLM 注入领域知识？各方法优缺点？

先这样答

给 LLM 注入领域知识，常用四种方法：RAG、微调 SFT、继续预训练和 Prompt 注入。实际选型主要看知识的更新频率和规模。知识更新快，或者不希望重新训练模型时，优先考虑 RAG。知识量较小，且只需要临时提供时，可以使用 Prompt 注入。

RAG 把领域知识放在模型外部，通过检索把相关内容提供给模型。它更新快，也不需要重新训练模型，但效果受检索质量限制。SFT 把知识学进模型参数，推理快，但更新成本高，也容易遗忘原有知识。继续预训练使用大量领域语料，让模型更深入地学习领域内容，但成本最高。Prompt 注入的成本最低，只适合小规模知识。面试中可以先说结论，再根据知识量和更新频率解释选择。

面试官会怎么追问

• 「为什么知识更新快时更适合 RAG？」 RAG 把知识放在模型外部，更新知识时主要调整外挂内容，不需要重新训练模型。这样更适合知识变化频繁的场景。它的限制是检索质量会直接影响回答效果。

• 「SFT 和继续预训练都能让模型学习知识，怎么区分？」 SFT 是通过训练样本把知识学进模型参数，推理快，但更新贵，也容易遗忘。继续预训练面向大量领域语料，让模型更深入地学习领域内容，但成本最高。可以根据知识规模和训练成本做选择。

• 「Prompt 注入成本最低，为什么不总是用它？」 Prompt 注入不需要训练，适合临时提供少量知识。知识量变大后，它就不适合继续承载全部内容。此时应结合知识量级和更新频率，考虑 RAG 或训练方法。

回答的坑

• 只罗列四种方法，却不说明选型应看知识的更新频率和量级。
• 把 SFT 和继续预训练都说成低成本，忽略了 SFT 更新贵和继续预训练成本最高。