早期融合 vs 晚期融合：多模态特征怎么合

先给结论

跨模态细粒度理解选早期融合或中层桥接，多模态快速组合与异构数据处理选晚期融合。如果任务是视觉定位或复杂的图文推理，需要深入理解图像和文本的对应关系，早期融合能让不同模态在浅层合并并进行全层交互，提供深度的模态间对齐。当前主流多模态大模型多采用中层桥接，即视觉独立编码后经连接器对齐进入语言模型。

如果场景涉及表格、传感器等异构数据，或者工程上要求各模态能够独立迭代和替换时，应该选择晚期融合。这种方案让各个模态独立编码，只在决策层进行分数加权或双塔相似度计算，能直接复用现成的单模态编码器，实现简单且开发成本更低。

逐项对比

早期融合与晚期融合的核心差异在于模态特征发生交互的网络深度。早期融合倾向于把视觉标记与文本标记一起送进语言模型，让不同模态在模型的每一层都进行充分的注意力计算。这种全层交互能产生极其细粒度的特征融合，在处理视觉定位等依赖局部对齐的任务时表现更好。但其代价是架构高度耦合，所有模态都要适配同一个骨干网络。

晚期融合则保持各模态独立，只在最后的决策层通过分数融合、加权或双塔相似度来对齐。这种设计就像搭积木一样灵活，各个模态的编码器可以独立升级，也能直接复用现成的单模态模型。但由于交互较浅，晚期融合很难处理复杂的跨模态细粒度推理任务。

当前主流的多模态大模型普遍采用中层桥接的混合路线。这种方案保留了独立的视觉编码器，提取特征后通过投影网络等连接器转换维度，再将视觉特征注入语言模型的中深层。从视觉端看这属于晚期融合，但特征进入语言模型后又参与了后续的全层交互，因此具备早期融合的特性。这种方式兼顾了开发效率与细粒度对齐能力。

面试怎么答

面试遇到对比多模态融合方案的问题，建议先向面试官确认具体的业务场景。先问清任务是偏向细粒度的图文推理，还是多路异构数据的快速接入，再据此给出具体的技术选型结论。

在展开回答时，可以按网络深度依次对比两者的优缺点，并主动补充中层桥接这一主流混合路线。这里需要避开一个常见的面试坑，千万不要把早期融合简单等同于在输入端拼接张量。必须向面试官明确强调，早期融合的关键不在于表面的输入形式，而在于模态特征是否在骨干网络中进行了深度的全层交互。