问题：如何融合文本、图像、表格的检索结果
P2 · rag
🏷 标签：rag, multimodal, fusion, retrieval
1️⃣ 考察意图
面试官想考察你在多模态RAG场景下的工程落地能力，而非单纯背诵论文。核心看三点：一是能否跳出“文本检索”的惯性，设计出可扩展的融合框架；二是对“统一表示 vs 分步融合”的trade-off有清醒认知（比如图像转文本会丢失空间信息，但工程成本低）；三是能否给出可量化的评估指标（如MMQA上的Recall@5）。刁钻点在于：表格和图像在语义粒度上差异巨大，直接向量拼接会稀释信号。答好了能展示你从系统架构到模型选型的整条链路设计能力。
2️⃣ 标准答
核心思路：分层融合 + 动态权重多模态检索融合不能一刀切，需要根据数据特性和查询意图设计三层架构。
第一层：统一表示（预处理阶段）
- 文本：直接使用BM25（k1=1.5, b=0.75）或DPR嵌入。
- 图像：用CLIP ViT-L/14提取视觉embedding，同时用OCR（如PaddleOCR）提取文字描述，生成“图像+文本”双通道表示。
- 表格：用Table Transformer（TAPAS）解析为结构化Markdown，再通过RoBERTa生成语义embedding；同时保留原始行列结构用于精确匹配。
- 坑：直接对图像和表格用同一个embedding模型（如CLIP）会严重损失表格的数值精度。解法：对表格单独训练一个编码器，用TAPAS的cell-level embedding。
第二层：并行检索 + 分数归一化
- 对每个模态独立检索，得到Top-K候选（K=50）。
- 分数归一化：不同模态的相似度分数分布差异大（CLIP分数在0.3-0.9，BM25在0-10）。用Min-Max归一化到[0,1]后，再按模态权重加权。
- 动态权重：根据查询类型调整。例如查询“2023年营收图表”时，图像权重设为0.6，表格0.3，文本0.1；查询“苹果公司CEO”时，文本权重0.8。权重由一个小型分类器（BERT+MLP）预测，训练数据来自MMQA的查询-模态标签。
第三层：重排序融合（核心）
- 将三个模态的Top-50候选合并（去重后约120个），用ColBERT-v2的late interaction计算查询与每个候选的细粒度匹配分数。
- 对表格候选，额外计算数值精确匹配（如查询“>100万”时，检查表格中是否有单元格满足条件），作为硬约束过滤。
- 最终用ListNet（LambdaRank）对候选排序，损失函数为NDCG@10。训练时正样本来自MMQA的标注答案，负样本为随机采样+难负例（BM25高但语义不匹配的）。
实际落地的坑与解法
- 坑：图像OCR文本与表格Markdown文本在语义空间重叠，导致重复召回。解法：在重排序阶段加入模态去重：对图像和表格候选，如果文本相似度>0.9（用Sentence-BERT），则保留分数更高的那个。
- 坑：动态权重分类器在冷启动时效果差。解法：先用规则（查询含“图”/“表”关键词时固定权重），等收集1000条用户点击日志后微调分类器。
评估指标
- 主指标：MMQA上的Recall@5（多模态答案覆盖度）和NDCG@10。
- 辅助指标：模态召回率（图像/表格各自被正确召回的占比），用于诊断模态失衡。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一层是统一表示，对图像做OCR+CLIP双通道，表格用TAPAS转Markdown；第二层是并行检索后分数归一化，再用一个小分类器动态分配模态权重；第三层是重排序融合，用ColBERT计算细粒度匹配，对表格加数值精确约束。总结一句：核心是分层解耦，避免一刀切向量融合，用动态权重和重排序解决模态差异。”
4️⃣ 高频追问 & 应对
追问 1：动态权重分类器怎么训练？冷启动怎么办？
训练数据来自MMQA的查询-模态标签（查询“2023年营收图表”对应图像+表格）。冷启动时先用规则：查询含“图/图像/照片”时图像权重0.6，含“表/表格/数据”时表格权重0.5，其余文本0.8。收集1000条用户点击后，用BERT+MLP微调，输入为查询embedding（Sentence-BERT），输出为三个模态的权重（softmax归一化）。损失函数用交叉熵，标签来自用户点击的模态分布。
追问 2：如果图像和表格的embedding维度不同，怎么融合？
维度不同不能直接拼接。解法：用两个独立的线性投影层（Linear+LayerNorm）将图像和表格embedding映射到与文本相同的维度（如768维）。投影层参数与重排序模型联合训练。另一种更轻量的方法：不投影，直接用ColBERT的late interaction计算每个模态候选与查询的分数，再加权求和。
追问 3：多模态检索的延迟怎么优化？
主要瓶颈在图像OCR和表格解析。解法：① 对图像用CLIP的patch-level embedding缓存，OCR只在首次入库时做一次；② 表格解析用TAPAS的轻量版（TAPAS-Base），推理时间控制在50ms内；③ 并行检索时用HNSW索引（M=16, efConstruction=200），每个模态独立建索引，总延迟<200ms。重排序阶段只处理Top-50候选，用ColBERT的token-level匹配，单次<100ms。
5️⃣ 避坑 · 常见错误答法
- ❌ “直接用CLIP把所有模态转成向量，然后拼接或平均。”→ ✅ 图像和表格的语义粒度不同，直接拼接会稀释信号。正确做法是分层处理：图像用OCR+CLIP双通道，表格用结构化编码，最后用重排序模型融合。
- ❌ “用同一个检索模型对所有模态打分，然后取Top-K。”→ ✅ 不同模态的分数分布不同（CLIP分数在0.3-0.9，BM25在0-10），必须做分数归一化（如Min-Max或Z-score），否则高分数模态会主导结果。
- ❌ “表格直接转成文本，用BM25检索。”→ ✅ 表格的数值精度和行列关系会丢失。正确做法是保留结构化信息（如TAPAS的cell-level embedding），并在重排序时加入数值精确匹配。
6️⃣ 简历呼应
- 如果你有RAG项目：从“多模态数据预处理”切入，强调你如何用OCR和TAPAS解决图像/表格的语义对齐问题，并给出MMQA上的Recall@5提升数据（如从0.65到0.72）。
- 如果你只做过传统NLP：用“信息检索中的分数归一化”类比，说明你如何将BM25和DPR的分数标准化，再扩展到多模态场景。强调你对ListNet重排序的理解。
- 如果你是校招无项目：聚焦“CLIP+ColBERT”的论文复现，说明你如何用HuggingFace实现多模态embedding提取，并在WikiSQL上验证表格检索效果。给出一个demo：用Streamlit展示查询“2023年营收图表”时，图像和表格的Top-3结果。
7️⃣ 延伸阅读
- 《MMQA: A Multi-Modal Question Answering Dataset》
- ColBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction
- CLIP: Learning Transferable Visual Models From Natural Language Supervision
- 《Multi-Modal Retrieval for RAG: A Survey》（2024, arXiv）