你们的模型基于哪些异构图像做增强？模型会不会产生幻觉，生成文档外的内容
1️⃣ 考察意图
面试官想考察你两个核心能力：多模态数据增强的工程实践和幻觉控制的系统性思维。这不是背概念题，而是系统设计 + debug 题。刁钻点在于：① 数据增强不只是“翻翻转”，要区分图像级和文档级异构策略，并说明 trade-off（如旋转 vs 文本可读性）；② 幻觉不能只答“有”，要给出可落地的检测指标（如 Hallucination Rate）和缓解方案（如 grounding + 拒绝回答）。答好了能展示你从数据到推理的整条链路把控力，以及踩过坑的实战经验。
2️⃣ 标准答
一、异构图像增强策略
我们采用多模态对齐视角，将增强分为三类，每类有明确 trade-off：
- 几何变换：随机旋转（±15°）、裁剪（0.8-1.0 缩放）、透视扭曲。坑：旋转超过 20° 会导致文档中文字扭曲不可读，需对 OCR 区域做 mask 保护。解法：用 Albumentations 的
SafeRotate限制角度，并配合RandomSizedBBoxSafeCrop保持文本区域完整。 - 颜色扰动：亮度（±0.2）、对比度（±0.3）、饱和度（±0.2）。trade-off：过度增强会破坏文档背景（如表格线变模糊），降低 OCR 精度。我们设置概率 0.3，并只在非文本区域（通过语义分割 mask）应用。
- 文档级异构：混合真实扫描件（带噪点、折痕）与合成数据（用
docTR渲染不同字体/背景）。为什么这么做：真实数据稀缺且标注成本高，合成数据可覆盖 90% 边缘案例（如手写体、印章遮挡）。但合成数据有“完美”倾向，需加入随机噪声（高斯噪声 σ=0.05）和模糊（高斯核 3x3）来弥合 domain gap。
二、幻觉检测与评估
幻觉指模型生成文档外内容（如虚构表格数据、错误引用）。我们用三层检测：
- 事实一致性：用
FactScore或SelfCheckGPT计算生成内容与文档的 NLI 分数。阈值设为 0.7，低于则标记为幻觉。坑：NLI 模型对长文本（>512 tokens）失效，需用滑动窗口（stride=256）分段评估。 - 视觉 grounding：对生成中每个实体（如“2023 年营收 100 亿”），用
DETR定位文档中对应区域，若找不到 bounding box 则判定为幻觉。trade-off：DETR 推理慢（~200ms/图），我们只在推理时用，训练时用CLIP做近似匹配。 - 人工抽样：每周从生产日志抽 500 条，标注幻觉率（Hallucination Rate = 幻觉样本 / 总样本）。目标：<5%。
三、缓解方案
- 约束解码：用
LogitProcessor限制输出只能来自文档中出现的 token 序列（如日期、数字）。为什么：自由生成容易“编造”，约束后幻觉率从 12% 降到 3%。 - 检索增强：对生成内容，实时检索文档中 top-3 段落做 grounding，若相似度 <0.6 则拒绝回答（输出“无法确认”）。实际落地坑：检索延迟需 <100ms，我们用
FAISS+HNSW索引，将文档切为 256 token 的 chunk。 - 温度控制：推理时 temperature=0.1，降低随机性。trade-off：太低（<0.05）会导致重复输出，需配合
repetition_penalty=1.2。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从数据增强和幻觉控制两个层面回答。数据增强上，我们分几何变换、颜色扰动和文档级异构三类，用 Albumentations 和 docTR 实现，关键 trade-off 是旋转角度限制和合成数据加噪。幻觉控制上，用 FactScore 和视觉 grounding 做检测，约束解码和检索增强做缓解，目标幻觉率 <5%。总结一句：多模态增强要保文本可读性，幻觉控制要系统化检测+约束生成。”
4️⃣ 高频追问 & 应对
追问 1：你们怎么评估增强策略的有效性？有没有对比实验？
我们做 ablation study：在 DocVQA 和 FUNSD 上，分别测试无增强、仅几何、仅颜色、全增强。全增强使 F1 提升 8%（从 82% 到 90%），但几何+颜色组合只提升 3%，说明文档级异构（合成数据）贡献最大。坑：合成数据比例过高（>50%）会导致过拟合到“完美”分布，线上真实扫描件上掉点 2%。解法：用 domain adversarial training，让特征提取器无法区分真实/合成数据。
追问 2：如果用户输入的是手写体文档，增强策略怎么调整？
手写体对几何变换更敏感。我们增加弹性变形（
ElasticTransform，α=50, σ=5）模拟手写抖动，并用TrOCR做数据增强（生成不同笔迹的合成手写体）。trade-off：弹性变形会破坏印刷体文本，需用分类器（ResNet-18）先判断文档类型，再选择增强 pipeline。线上延迟增加 50ms，但手写体准确率从 70% 升到 85%。
追问 3：幻觉检测中，FactScore 的阈值怎么调？有没有自动调优方法？
我们用验证集（500 条人工标注）做 grid search：阈值 0.6-0.8，步长 0.05。选 F1 最高的点（0.7）。自动调优：用贝叶斯优化（
Optuna），目标函数是幻觉率 + 误报率的加权和。坑：阈值太高（>0.8）会漏掉 30% 幻觉，太低（<0.6）会误杀 20% 正确回答。我们最终用动态阈值：对高置信度文档（OCR 置信度 >0.9）用 0.7，低置信度用 0.6。
5️⃣ 避坑 · 常见错误答法
- ❌ 说“我们用了随机翻转和颜色增强，幻觉用温度控制解决” → ✅ 必须区分图像级和文档级异构，并给出具体工具（Albumentations、docTR）和 trade-off（旋转角度限制、合成数据加噪）。幻觉控制要系统化：检测（FactScore + grounding）+ 缓解（约束解码 + 检索增强），不能只靠温度。
- ❌ 说“幻觉率降到 0%” → ✅ 承认幻觉无法完全消除，给出可接受阈值（如 5%），并说明人工抽样和动态阈值。面试官要的是务实，不是吹牛。
6️⃣ 简历呼应
- 如果你有 RAG 项目：从检索增强角度切入，强调如何用文档 chunking（256 token）和 FAISS 索引做 grounding，并对比纯 RAG 与多模态 RAG 的幻觉率差异。
- 如果你只做过传统 CV：用图像分类的增强经验类比，说明如何迁移到文档场景（如旋转限制、mask 保护），并补充合成数据（docTR）和 domain adversarial training 的细节。
- 如果你是校招无项目：聚焦论文复现，如引用《Donut》的文档增强策略和《FactScore》的评估方法，并说明在公开数据集（DocVQA）上的复现结果（F1 提升 5%）。
- 《Donut: Document Understanding Transformer》—— 多模态文档增强与预训练
- 《FactScore: Fine-grained Atomic Evaluation of Factual Precision in Long-form Text Generation》—— 幻觉检测指标
- 《SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models》—— 无参考幻觉检测
- Albumentations 官方文档 —— 图像增强库的文档级应用
- 《LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking》—— 文档级多模态预训练