如果要做电商agent,你会选择哪些模态的信息作为输入?比如文本评论、图像、视频、购买记录
P2 · agent_architecture
🏷 标签：multimodal, agent, e-commerce, fusion, system-design
1️⃣ 考察意图
面试官想看你从系统设计角度，为电商 Agent 做模态选择与融合的工程决策，而非罗列技术名词。考察类型是系统设计 + 工程取舍。刁钻点在于：电商场景下模态信息高度异构（文本稀疏、图像噪声大、视频计算贵、购买记录隐私敏感），且不同任务（推荐 vs 客服 vs 决策）对模态依赖不同。答好了能展示你理解多模态融合的 trade-off（如早期融合 vs 晚期融合的计算成本与效果平衡），以及处理数据稀疏性、实时性、隐私合规的实战能力。核心是：不是所有模态都要用，而是根据任务选最优子集，并给出可落地的融合方案。
2️⃣ 标准答
电商 Agent 的输入模态选择，取决于核心任务。假设 Agent 做个性化推荐 + 智能客服，我会选择以下模态，并给出融合策略与工程取舍。
1. 模态选择与贡献度分析
- 文本评论（必选）：包含用户情感、商品属性（如“质量差”“颜色正”）。用 BERT 或 RoBERTa 做情感分析，提取细粒度特征。贡献度：高，直接反映用户偏好。
- 商品图像（必选）：视觉外观（款式、颜色）对服装、家居类推荐至关重要。用 CLIP 或 ViT 提取视觉 embedding。贡献度：中高，但噪声大（如背景杂乱、多角度图）。
- 购买记录（必选）：用户历史行为（点击、购买、加购）是序列建模的基础。用 GRU4Rec 或 SASRec 建模。贡献度：极高，但需处理稀疏性和冷启动。
- 视频（可选）：展示商品动态（如使用场景、材质细节）。计算成本高，对推荐提升有限（约 5-10% 的 HR@10 提升），但对客服（如退换货判断）有用。我会采样关键帧（如每秒 1 帧），用 VideoMAE 提取特征，仅在计算资源充足时启用。
- 用户画像（如年龄、性别）：作为辅助特征，用 one-hot 或 embedding 拼接。
2. 融合策略：跨模态注意力 + 晚期融合
- 为什么不做早期融合：早期融合（特征拼接）简单，但模态间维度差异大（文本 768 维 vs 图像 512 维），导致梯度不平衡，且无法捕捉跨模态交互。例如，文本“红色连衣裙”和图像中的红色区域需要对齐。
- 方案：跨模态注意力（如 ViLT 或 ALBEF）：用 Transformer 的交叉注意力层，让文本 token 关注图像 patch，图像 patch 关注文本 token。例如，评论“袖子太长”会关注图像中袖子区域，提升推荐精准度。
- 晚期融合加权：对每个模态独立编码后，用可学习权重（如门控网络）融合。例如，购买记录权重 0.5，文本 0.3，图像 0.2。权重根据任务动态调整（推荐任务更重购买记录，客服任务更重文本）。
- 实际落地的坑 + 解法：坑：图像噪声大（如用户上传的模糊图），导致 CLIP embedding 质量差。
- 解法：预处理时用 BLIP-2 做图像描述生成（captioning），将图像转为文本（如“一件白色 T 恤，领口有污渍”），再与原始文本拼接。这相当于用文本桥接视觉信息，降低噪声。
- 坑：购买记录稀疏（新用户无历史）。
- 解法：用流行度回退（popularity fallback）或基于内容的推荐（用图像和文本特征做冷启动）。
3. 工程取舍：计算成本 vs 效果
- 视频处理：每秒 30 帧的视频，用 VideoMAE 提取特征需 200ms/帧，对实时推荐不可接受。我选择采样 3-5 个关键帧（基于帧间差异检测），并缓存特征（如每天更新一次）。效果上，HR@10 提升约 3%，但计算成本降低 90%。
- 图像分辨率：高分辨率（1024x1024）提升细节，但 ViT 计算量 O(n²)。我选择 224x224 输入，用 Swin Transformer 的窗口注意力降低复杂度。
- 隐私合规：购买记录涉及用户隐私，需脱敏（如聚合为购买频次、品类偏好），避免存储原始 ID。视频中的人脸需模糊处理。
最终方案：对于推荐 Agent，使用文本评论 + 商品图像 + 购买记录，用跨模态注意力融合，视频仅在客服场景（如退换货判断）启用。对于客服 Agent，增加视频关键帧和用户画像。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从模态选择、融合策略、工程取舍三个层面回答。模态层面，我必选文本评论、商品图像和购买记录，视频可选但需采样关键帧降成本。融合层面，用跨模态注意力（如 ViLT）捕捉交互，晚期加权融合动态调整权重。工程层面，图像用 224x224 输入，视频缓存特征，购买记录脱敏。总结一句：不是所有模态都要用，而是根据任务选最优子集，用跨模态注意力对齐，并控制计算成本。”
4️⃣ 高频追问 & 应对
追问 1：如果用户评论是图片（如晒单图），你怎么处理？
将图片视为图像模态，但需额外做 OCR 提取文字（如用 PaddleOCR），再与图像 embedding 拼接。或者用多模态模型（如 BLIP-2）直接生成图片描述（caption），作为文本特征。注意：晒单图噪声大（如背景杂乱），需用图像质量评分（如 NIMA）过滤低质量图。计算成本上，OCR 约 50ms/图，可接受。
追问 2：你的融合权重怎么学习？如果任务变化（如从推荐变客服），权重需要重新训练吗？
权重通过门控网络（gating network）学习，输入是任务类型（one-hot）和模态 embedding 的统计量（如均值、方差）。例如，推荐任务的门控输出 [0.5, 0.3, 0.2]，客服任务输出 [0.2, 0.6, 0.2]。门控网络是轻量级 MLP（2 层，隐藏层 64 维），可在线微调（few-shot），无需全模型重训。但需注意：门控网络可能过拟合，用 dropout 0.3 正则化。
追问 3：视频关键帧采样怎么保证不丢失关键信息？
用帧间差异检测（如 SSIM 或光流法）选择变化大的帧。例如，商品展示视频中，切换角度或展示细节时帧差异大，保留这些帧。如果计算资源允许，用 VideoCLIP 的时序注意力，自动选择重要帧。但注意：关键帧数量需平衡，3-5 帧通常覆盖 80% 信息，再多帧收益递减。
5️⃣ 避坑 · 常见错误答法
- ❌ “我会把所有模态都输入，用 Transformer 融合，效果最好。” → ✅ “模态越多，计算成本越高，且噪声叠加。我会根据任务选最优子集，比如推荐场景放弃视频，因为收益低（HR@10 提升 < 5%）。”
- ❌ “图像用 ResNet 提取特征，文本用 BERT，然后拼接。” → ✅ “早期拼接忽略跨模态交互，效果差。用跨模态注意力（如 ViLT）或晚期加权融合，能对齐文本和图像中的相关区域。”
- ❌ “购买记录直接用原始序列输入模型。” → ✅ “购买记录需脱敏（聚合为频次、品类偏好），并处理稀疏性（用流行度回退或冷启动策略），否则隐私风险高且模型泛化差。”
6️⃣ 简历呼应
- 如果你有 RAG 项目：从“多模态检索”角度切入，强调用 CLIP 做图文检索，融合购买记录做个性化排序。例如，用户查询“红色连衣裙”，用 CLIP 检索图像，再用购买记录重排。
- 如果你只做过传统 NLP：用“文本分类 + 情感分析”类比，说明如何将图像转为文本（captioning），再与评论融合。强调“文本桥接”降低模态异构性。
- 如果你是校招无项目：聚焦论文复现，如用 ViLT 在 Amazon Reviews 数据集上做多模态推荐，展示对跨模态注意力的理解。强调“采样关键帧”和“门控网络”的工程细节。
7️⃣ 延伸阅读
- ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
- BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
- SASRec: Self-Attentive Sequential Recommendation
- VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training
- 博客：多模态推荐系统的工程实践（推荐关注“门控网络”和“关键帧采样”部分）