岗位方向 · TRACK

多模态算法面试题

视觉语言模型与多模态：融合架构、CLIP 系、VLM 评估与训练。

6 道题 · 题目口径为公开面经与岗位 JD 的高频归纳

Q · 多模态融合有哪几种方式？各是什么思路？多模态融合分为早期、中期和晚期三种。早期在特征层合并，保留信息多但对齐难；中期在中间层注意力交互，是当前主流；晚期在决策级合并，实现简单但易丢失交互信息。

Q · CLIP 的原理是什么？对齐损失怎么工作的？CLIP 采用双塔架构，分别用图像和文本编码器提取特征，通过对比学习拉近正样本对、推开负样本对。对齐损失使用对称的 InfoNCE，计算双向交叉熵。

Q · ViT 和 CNN 的区别？各自优劣？CNN 依赖局部感受野与权重共享，归纳偏置强，对小数据友好。ViT 将图像切块作 token 序列，用全局注意力，大数据下上限更高。工程上 ViT 与大模型架构统一，多模态融合更顺畅。

Q · BLIP、BLIP-2 和 Flamingo 的区别是什么？核心区别在于冻结策略与连接方式。Flamingo 冻结视觉编码器并插入交叉注意力；BLIP 采用双头架构与噪声过滤；BLIP-2 用 Q-Former 连接冻结的图像编码器与 LLM。

Q · 多模态检索的评估指标 Recall@K 和 mAP 是什么？Recall@K 衡量真实匹配项是否进入前 K 名，是检索主指标。mAP 即平均精度均值，反映整体排序质量。多模态需双向分别计算。

Q · 多模态了解吗？说说主流架构。主流多模态架构可从表征、融合、生成三层理解：CLIP做图文对齐，BLIP-2和Flamingo做跨模态融合，LLaVA类路线把视觉信息接入LLM完成生成。

其他岗位方向

Agent 开发 · 104 题Agent 应用与平台工程：工具调用、上下文工程、记忆系统、多 Agent 编排、上线与稳定性。

Agent 算法 · 27 题Agentic RL 与后训练：SFT/RLHF/DPO/GRPO、奖励设计、轨迹数据、评测对齐。

AI 算法应用 · 37 题大模型应用算法：RAG 全链路、检索排序、微调选型、业务效果优化。

AI Infra · 11 题推理与训练系统：vLLM、量化、并行策略、显存与吞吐优化、服务化。

通用算法基础 · 31 题各岗通用底座：Transformer、注意力、采样参数、正则化等基础原理。