先这样答
LoRA 合并回原模型时，核心问题在于训练中途合并会破坏数学等价性。训练期间，反向传播的梯度只流过低秩矩阵 B 和 A。原模型的权重矩阵处于完全冻结状态。原模型部分没有参与任何同步更新。
开发人员在训练中途执行合并操作，就是将低秩矩阵的乘积直接加回原模型权重。模型的前向传播计算基础随之发生改变。后续训练产生的梯度无法准确对应合并前的网络状态。这种操作直接打破了 LoRA 算法设计初期的等价性假设。
从模型部署角度看，合并操作会引发多任务服务的问题。合并后的模型是一份固定的完整权重。系统无法在显存中热切换不同任务的 LoRA 模块。多任务服务场景需要保留基础模型加上多个 LoRA 模块的未合并形态。工程师需要配合请求路由机制来分发线上任务。网关根据不同请求动态调用对应的 LoRA 权重。合并的具体时机与最终形态都是工程上的取舍。
面试官会怎么追问
-
「既然训练中途合并会影响等价性，那什么时候合并最合适？」 模型训练彻底结束后执行合并最合适。这时候反向传播的梯度更新已经完全停止。合并操作只改变推理阶段的前向计算路径。这种处理方式不会干扰任何梯度流动的过程。
-
「多任务场景下不合并模型，具体怎么做请求路由？」 系统在显存中常驻一份基础模型的完整权重。不同业务任务的 LoRA 权重独立存放在显存的其他区域。API 网关接收外部请求后负责识别具体的任务类型。路由模块将不同请求精准分发到对应的 LoRA 计算分支。
-
「如果业务只做单任务，还要保持未合并形态吗？」 单任务场景直接把 LoRA 合并回原模型更好。合并后的模型在推理时不需要维护额外的计算分支。系统可以省去单独读取和计算 LoRA 权重的开销。这也是部署形态取舍的具体体现。
回答的坑
把训练中途合并的梯度状态问题与部署阶段的热切换问题混为一谈。
认为多任务路由必须修改模型底层算子，忽略了保留未合并形态这种直接的工程解法。
同系列的题