多模态 Agent 如何处理视频输入

多模态 Agent 如何处理视频输入

1️⃣ 考察意图

面试官想看你能否设计视频理解方案。刁钻点在于：视频比图像多了"时间维度"，token 数量爆炸（1 分钟视频 = 1800 帧 × 196 token/帧 = 350K token），如何在有限上下文内有效表示视频是核心挑战。答好了能展示你对时序建模和 token 管理的工程能力。

2️⃣ 标准答

视频处理的核心挑战是"时空信息压缩"——将数千帧视频压缩到 LLM 可处理的 token 数（通常 <1000）。

1. 帧采样策略（Frame Sampling）

• 均匀采样：从视频中均匀抽取 N 帧（如 30 分钟视频抽 32 帧）。简单但可能错过关键事件
• 场景变化检测：用帧间 SSIM 或光流差异检测场景切换，在切换点附近密集采样。如监控视频中"有人走过"的瞬间
• 关键帧提取：用 CLIP 计算每帧与文本 query 的相似度，选最相关的帧。如"找猫出现的片段"→选 CLIP 相似度最高的帧
• 实际方案：均匀采样 8-32 帧作为 baseline，结合场景检测在关键事件处额外采样

2. 时序编码（Temporal Encoding）

• 独立编码+拼接：每帧独立通过 ViT 编码，所有帧的 token 拼接后送入 LLM。32 帧 × 196 token = 6272 token，需要 pooling 压缩
• 时序 Transformer：用 ViViT/TimeSformer 在 ViT 基础上加时序 attention，让不同帧的 token 交互。输出 32 帧的时序感知 token
• Token 压缩：(1) 空间 pooling——每帧 196 token 压缩到 16 token（8×8 pooling），32 帧 = 512 token；(2) 时序 pooling——相邻帧的 token 合并（如 2 帧合一），32 帧 → 16 帧 = 256 token
• LLaVA-Video 方案：32 帧 × 16 token/帧 = 512 视觉 token，加上文本指令约 1000 token 总共，在 4K 上下文内可用

3. 视频问答与推理

• 全局理解："这个视频在讲什么"→ 需要所有帧的全局信息，用时序 pooling 后的 token
• 时序定位："猫在第几秒出现"→ 需要帧级别的时序信息，保留每帧的时间戳
• 事件检测："视频中有几次爆炸"→ 需要密集采样+场景检测

4. 长视频处理

• 分段处理：将 1 小时视频分成 60 个 1 分钟片段，每片段独立编码，用层次化 attention（片段内+片段间）
• 记忆机制：用摘要+检索——先为每分钟生成文本摘要，用户提问时检索相关摘要，再加载对应片段的视觉 token
• 流式处理：实时视频流用滑动窗口，只保留最近 N 秒的帧

3️⃣ 答题模板（30 秒电梯版）

"视频处理核心是'时空信息压缩'。帧采样——均匀采 8-32 帧或场景检测关键帧。时序编码——每帧独立 ViT 编码后拼接，或用时序 Transformer（ViViT）做帧间交互。Token 压缩——空间 pooling 196→16 token/帧，时序 pooling 2 帧合一，32 帧最终 256-512 token。长视频用分段处理+摘要记忆。核心挑战：1 分钟视频 350K token 需压缩到 <1000 token，压缩比 350:1。"

4️⃣ 高频追问 & 应对

追问 1：32 帧够用吗？会不会错过关键事件？

取决于视频类型。(1) 对话/演讲视频——32 帧足够（变化慢，每 2 秒一帧）；(2) 体育/动作视频——32 帧可能错过快速动作（如进球瞬间 <0.5 秒），需要密集采样或事件检测；(3) 监控视频——大部分时间无事件，用场景变化检测在事件发生时密集采样。改进方案：(1) 自适应采样——根据视频动态变化率调整帧数，静态场景 8 帧，动态场景 64 帧；(2) 两阶段——第一阶段用低帧率（8 帧）做全局理解，第二阶段在关键时间段用高帧率做细节分析。

追问 2：ViViT 和 TimeSformer 有什么区别？

都是时序视觉 Transformer，但时空交互方式不同：(1) ViViT——分解式（factorized），先做空间 attention（每帧内部），再做时序 attention（帧间），计算量 O(T×N² + T²×N)，效率高但时空交互不够充分；(2) TimeSformer——联合式（joint），每层的 attention 同时覆盖空间和时间维度，计算量 O((T×N)²)，效果好但计算量大。选择：帧数少（<16）用 TimeSformer（效果优先），帧数多（>32）用 ViViT（效率优先）。

追问 3：Agent 处理视频时，如何回答"视频第15秒发生了什么"？

需要"时序定位"能力。(1) 帧级时间戳——每个视觉 token 标注来源帧的时间戳（如 token_1 来自 0.5s，token_2 来自 1.0s）；(2) 时间感知 attention——LLM 在生成"第15秒"时，attention 权重集中在时间戳 ≈15s 的 token 上；(3) 实现——在视觉 token 前插入时间标记 token，如 [TIME:0s][IMG_tokens][TIME:1s][IMG_tokens]...，让 LLM 学会时间标记与视觉内容的对应关系。挑战：32 帧覆盖 60 秒视频时，每帧间隔 2 秒，"第 15 秒"落在第 8 帧和第 9 帧之间，精度有限。提高精度需要增加帧数或非均匀采样（在 15 秒附近密集采样）。

5️⃣ 避坑 · 常见错误答法

• ❌ "视频就是多张图片，逐帧处理就行" → ✅ "逐帧处理忽略了时序信息——帧间的关系（如运动方向、因果关系）是视频理解的核心。需要时序编码（ViViT/TimeSformer）让帧间 token 交互。"
• ❌ "帧越多效果越好" → ✅ "帧越多 token 越多，计算量 O(N²) 爆炸。32 帧是经验最优值。更多帧只在快速动作场景有收益，静态场景 8 帧就够。"
• ❌ "长视频不能处理" → ✅ "长视频用分段+摘要+检索方案——分段编码，每段生成文本摘要，用户提问时检索相关段落再加载视觉 token。1 小时视频可压缩到 60 个摘要+少量关键帧 token。"

6️⃣ 简历呼应

• 如果你有视频理解项目：从"视频 Agent 设计"切入，描述你的帧采样+时序编码+token 压缩方案，给出延迟和准确率数据
• 如果你只做过图像理解：用"图像到视频的扩展"迁移——图像的 196 token 扩展到视频的 T×196 token，额外需要时序维度处理。核心技术从 ViT 扩展到 ViViT
• 如果你是校招无项目：用 LLaVA + 均匀采样实现视频问答，对比 8/16/32 帧在 VideoQA 上的效果，写一篇博客
• "ViViT: A Video Vision Transformer" (Arnab et al., 2021)
• "TimeSformer: Is Space-Time Attention All You Need for Video Understanding?" (Bertasius et al., 2021)
• "Video-LLaVA: Learning United Visual Representation by Alignment Before Projection" (Lin et al., 2023)