第 6 章讨论图文怎么对齐。专项岗需要重点准备，应用岗可以把它作为加分项。建议用 1-2 天完成第一轮学习。你要先理解模型怎样看图，再理解图文怎样检索和融合。
考点地图
视觉-语言模型：先弄清模型怎样看图
VLM 通常先用视觉编码器提取图像表示，再通过连接模块交给 LLM 处理。面试官会追问线性投影、Q-Former、MLP 的差异，也会问视觉 Token 如何进入语言上下文。这一块是后续 Token 成本、幻觉和训练对齐的基础。
跨模态 Embedding：让图片和文字进入同一语义空间
图像与文本需要形成可比较的表示，CLIP 的对比学习是常见切入点。面试官会继续问零样本分类怎样成立，正负样本如何影响训练，以及图文不一致时会发生什么。Embedding 质量决定多模态检索能否找到真正相关的内容。
多模态 RAG：从检索对象走到回答依据
多模态 RAG 不只检索文本，还要处理图片、表格、页面截图等内容。追问通常集中在切分、索引、召回、重排和证据输入，要求你说明不同模态如何协同。文档解析会影响检索结果，视觉模型的上下文成本会影响最终部署。
模态融合：比较信息在什么时候合并
早期融合在模型前面合并不同模态的表示，晚期融合先分别建模，再合并结果。面试官会问两种方案的效果、成本、可解释性和适用场景。它连接了模型结构与应用架构，也能解释为什么有些任务适合独立编码后再决策。
站内学习路线
先打地基
先读 多模态大模型是怎么「看见」图片的，建立视觉编码器、视觉 Token 和语言模型之间的数据流。接着看 VLM 里视觉编码器和 LLM 之间怎么连接？线性投影、Q-Former、MLP 各差在哪？，把连接方式和取舍讲清楚。
然后刷 CLIP 是怎么工作的？为什么能做零样本分类？。这一步补跨模态 Embedding 的训练直觉。最后读 多模态模型怎么训练？视觉和语言是怎么对齐的，把预训练、对齐和数据质量连起来。
再攻高频
先看 一张图要占多少 Token？为什么多模态对话上下文消耗特别快，再看 VLM 怎么减少 vision token？视觉 token 太多带来什么问题？。这两题适合一起准备，因为前者问成本，后者问优化。
接着刷 表格、公式、扫描件这类复杂文档，怎么喂给大模型 和 大模型怎么「看」视频？为什么视频理解比图片贵。前者讲扫描件的解析和切分，后者讲视频抽帧与成本来源。站内还有 早期融合 vs 晚期融合：多模态特征怎么合，这篇深度长文用于补架构对比，先刷速答再读长文。
最后自测
用 多模态模型的幻觉主要来自哪里？怎么缓解？ 检查你能否从数据、视觉编码和生成过程解释错误。再用 多模态训练中文本主导、图像被忽略，怎么发现和解决？ 与 多模态数据里图文不一致的样本，训练时和上线后分别怎么处理？ 做追问练习。最后进入 模拟面试抽题 练一轮，并回到 本分类页 补看遗漏题目。
高频追问与避坑
“VLM 是把图片变成一段文字，再交给 LLM 吗？”
回答要说明视觉编码器先产生视觉表示，连接模块再把它映射到语言模型可处理的空间。模型不一定先生成完整图片描述。只答“图片转文字”会忽略视觉 Token、跨模态对齐和细粒度视觉信息。
“一张图片为什么会消耗很多上下文？减少视觉 Token 会不会损失效果？”
回答要从分辨率、切块方式、视觉编码器输出和上下文长度解释成本。减少 Token 需要在压缩比例、细节保留和任务效果之间权衡。只说“压缩图片就行”没有回答压缩位置与信息损失。
“多模态 RAG 为什么检索到了相关内容，模型仍然会答错？”
回答要拆开解析、索引、召回、重排和生成几个环节，再检查图文是否一致、证据是否完整。还要说明模型可能看错图、漏读表格或依据不足时自行补全。只归因于模型幻觉，会漏掉数据和检索链路的问题。
刷完站内内容后，去做飞书专项真题集，把答案放进具体业务场景里验证。能画出图文输入、检索和生成的数据流，才算真正掌握这一章。