VLM 怎么减少 vision token？视觉 token 太多带来什么问题？

先这样答

回答这个问题可以分两步，先说明视觉 token 过载带来的问题，再梳理减少 token 的技术谱系。视觉 token 通常按图像块线性生成，一张高分辨率图片往往会产生数百上千个 token。这带来的直接问题是严重挤占上下文预算，推高推理延迟与计算成本，在多模态交互中过多的视觉信息容易把文本的有效空间顶掉。

减少视觉 token 的方法可以归纳为几个主要方向。最直接的做法是降低输入分辨率或统一缩放，这种方式实现简单但容易伤害图像细节。进阶方法是在空间维度进行硬压缩，比如 Patch 合并或像素折叠，将相邻图像块合并后再通过连接器，使 token 数量成倍减少；或者使用池化类压缩进行空间下采样。另一条路线是学习型压缩，利用 Q-Former 查询或 Perceiver 类的注意力聚合机制，将原本数量庞大的 token 强制压缩到固定的条数。

目前更精细的做法是动态分辨率，根据图像内容的复杂度来分配 token，比如文字区域保持高分辨率，平坦区域使用低分辨率，将大图切割成多个子图分别编码也是常见的处理方式。为了平衡细节与长度，还可以采用混合精度取舍，即使用高分辨率原始输入，配合低 token 输出的聚合方式。

在面试官面前可以这样收束：任何压缩方式都会带来丢细节的代价，尤其是对于小字、密集表格等文档类 OCR 任务要慎重压缩。实际应用中，我们会先评估具体任务对细节损失的容忍度，再选择对应的压缩档位，通常文档场景需要保留更高的 token 配额，而动态分辨率是目前兼顾两者需求的主流做法。

面试官会怎么追问

• 「如果遇到文档或者密集表格场景，视觉 token 太多又不能硬压，怎么处理？」 这类任务对细节极度敏感，强行压缩会导致小字丢失。通常的做法是按任务属性保留更高的 token 配额，或者采用混合精度取舍的策略，也就是保持高分辨率的原始输入，在输出端再进行低 token 的特征聚合，以此兼顾细节保留与计算成本。
• 「Q-Former 这类学习型压缩和直接做 Patch 合并相比，有什么区别？」 Patch 合并属于空间维度的硬压缩，通过相邻块折叠让 token 数量减半再减半，保留了原始的空间网格结构。而 Q-Former 和 Perceiver 类方法是通过注意力机制进行聚合，把不定长的视觉特征直接映射并压缩到固定条数，属于信息维度的重新分布。
• 「动态分辨率具体是怎么操作的？」 核心是按图像内容的复杂度来动态分配 token。对于文字区域等高频细节保持高分辨率编码，对于平坦背景区域使用低分辨率编码。在工程实现上，把原始大图切割成多个子图分别进行编码也是一种常见的动态分辨率处理做法。

回答的坑

• 认为降低分辨率是减少 token 的唯一手段，正确的方向是按照预处理、空间硬压缩、学习型压缩和动态分配的谱系来全面梳理。
• 忽略压缩带来的细节丢失代价，正确的方向是强调压缩率必须与具体任务匹配，特别是 OCR 和文档场景需要慎重对待并给予更高的配额。