输出格式：单张试戴图，还是多角度/多款式对比
P1 · general_interview · 🏢 字节
1️⃣ 考察意图
面试官想看你从“产品需求”到“技术实现”的工程决策能力，而非单纯背模型。刁钻点在于：这不是“哪个技术更牛”的选择题，而是“在资源受限下，如何用最小成本验证用户价值”的系统设计题。答好了能展示：① 对用户决策路径的拆解（单张 vs 多角度对应不同心理阶段）；② 技术选型的 trade-off 意识（生成质量 vs 推理成本）；③ MVP 迭代的工程规划（从单张到对比的演进路径）。考察类型：系统设计 + 工程取舍。
2️⃣ 标准答
第一步：明确业务场景与用户决策路径
- 场景分类：电商试戴（眼镜/首饰） vs 虚拟试妆（口红/发色）。前者用户需要“是否适合脸型/肤色”，多角度（正面、45度、侧面）是关键；后者用户更关注“颜色效果”，单张高清图即可。
- 决策阶段：用户从“好奇”到“购买”分两步：① 筛选阶段（快速排除不合适的款式）→ 单张图足够；② 比较阶段（在2-3款中犹豫）→ 需要多款式对比或360度旋转。
- 关键 trade-off：单张图生成快（<2秒），但转化率可能低（用户觉得“不真实”）；多角度生成慢（>10秒），但用户停留时长增加，转化率可能提升20-30%（参考【通用知识】电商A/B测试数据）。
第二步：技术选型与工程取舍
- 单张试戴图：用 Stable Diffusion + ControlNet（Canny边缘或OpenPose） 控制姿态和位置。坑：ControlNet对遮挡（如眼镜腿）处理差，需加 IP-Adapter 做面部特征保持。解法：用 LoRA 微调一个“试戴专用模型”，在1000张商品图+真人图对训练，减少生成畸变。
- 多角度对比：用 Zero-1-to-3（多视图扩散模型）或 MVDream（3D一致生成）。坑：Zero-1-to-3 在非对称物体（如单边耳环）上会生成不一致的左右视图。解法：对商品做 NeRF 预重建（如Instant-NGP），再渲染多角度，但成本高（单物体重建需5分钟）。工程取舍：MVP阶段用 3D重建 + 固定角度渲染（正面、45度、侧面），避免实时生成，降低推理成本。
- 多款式对比：用 批量生成 + 对比UI。技术点：用 Diffusers Pipeline 的
batch_size参数并行生成多个款式，但显存占用线性增长（4张图需24GB VRAM）。解法：用 Tiling 技术（如Stable Diffusion XL的tile模式）分块生成，或降采样到512x512再超分（用 Real-ESRGAN）。
第三步：MVP与迭代路径
- MVP：只做单张试戴图，用 A/B测试 对比“有/无试戴功能”的点击率（CTR）。指标：CTR > 5% 则进入下一阶段。
- 迭代1：加多角度（3个固定角度），用 A/B测试 对比单张 vs 多角度的“试戴完成率”（用户点击“试戴”后完整浏览>10秒的比例）。预期：多角度完成率提升15-20%，但生成成本增加3倍。
- 迭代2：加多款式对比（2-3款并排），用 热力图 分析用户视线停留位置。坑：对比UI设计不当会导致用户认知过载（选择困难），需限制最多3款，并加“推荐标签”（如“最热款式”）。
实际落地的坑 + 解法：
- 坑：生成图与商品实物颜色偏差大（如口红颜色偏粉）。解法：在Stable Diffusion的prompt中加“color accurate”关键词，并用 CLIP 计算生成图与商品图的颜色直方图相似度，低于阈值则重新生成。
- 坑：多角度生成时，用户脸型与商品不匹配（如眼镜框太大）。解法：用 MediaPipe Face Mesh 提取用户面部关键点，动态调整ControlNet的引导强度（face region强度0.8，其他0.3）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从业务场景、技术选型、MVP迭代三个层面回答。业务上，单张图适合筛选阶段，多角度/多款式适合比较阶段，需根据用户决策路径取舍。技术上，单张用Stable Diffusion + ControlNet，多角度用Zero-1-to-3或NeRF预重建，多款式用批量生成+对比UI，注意颜色一致性和遮挡处理。工程上，MVP先做单张，用A/B测试验证CTR，再逐步加多角度和多款式，每次迭代只改一个变量。总结一句：用最小成本验证用户价值，而非一次性堆满功能。”
4️⃣ 高频追问 & 应对
追问 1：如果用户反馈单张图“不真实”，你怎么判断是生成质量差还是用户期望过高？
用 A/B测试 + 用户调研 双管齐下。A/B测试：对比“单张生成图” vs “真实商品图+PS合成”的点击率，如果后者CTR高20%以上，说明生成质量差；如果两者接近但用户仍抱怨，说明期望过高。解法：加“生成图”标签（如“AI试戴效果”）降低预期，或提升生成分辨率（从512x512到1024x1024）。具体数字：【通用知识】用户对AI生成图的接受度在CTR下降<10%时算合格。
追问 2：多角度生成时，用户脸型与商品不匹配（如眼镜框太大），你怎么自动调整？
用 MediaPipe Face Mesh 提取用户面部关键点（如鼻梁宽度、耳朵位置），动态调整ControlNet的引导强度。具体：在眼镜框区域（face region）设强度0.8，其他区域0.3，让模型优先保持商品形状，但允许微调。如果仍不匹配，回退到 模板匹配：预生成100个不同脸型的试戴图，用 余弦相似度 匹配最接近的用户脸型，减少实时计算。
追问 3：如果公司要求一周内上线，你怎么砍需求？
砍掉多角度和多款式，只做单张试戴图。技术栈用 Stable Diffusion + ControlNet + LoRA（预训练好的试戴模型），推理用 TensorRT 加速到<1秒。UI只加一个“试戴”按钮，不设对比功能。A/B测试只测CTR，不测完成率。一周内可完成：2天训练LoRA，3天集成API，2天UI和测试。后续迭代看数据再决定。
5️⃣ 避坑 · 常见错误答法
- ❌ 直接说“用3D重建，效果最好” → ✅ 先分析业务场景：3D重建成本高（单物体5分钟），MVP阶段不适用，应先用2D生成验证需求。
- ❌ 只谈技术不谈指标 → ✅ 必须给出具体指标（CTR、完成率、生成时间），并说明如何用A/B测试决策。
- ❌ 忽略用户认知过载 → ✅ 多款式对比时限制最多3款，并加推荐标签，避免选择困难。
6️⃣ 简历呼应
- 如果你有RAG项目：从“用户意图拆解”切入，类比RAG中query改写与多轮检索，说明单张图对应“快速检索”，多角度对应“深度检索”。
- 如果你只做过传统NLP：用“分类 vs 排序”类比，单张图是“粗筛”（分类），多角度是“精排”（排序），技术选型需考虑延迟与精度。
- 如果你是校招无项目：聚焦论文复现，如用Stable Diffusion + ControlNet做单张试戴demo，并写A/B测试报告（模拟数据），展示工程规划能力。
- 《Zero-1-to-3: Zero-shot One Image to 3D Object》 (ICCV 2023)
- 《MVDream: Multi-view Diffusion for 3D Generation》 (arXiv 2023)
- 《Instant Neural Graphics Primitives with a Multiresolution Hash Encoding》 (SIGGRAPH 2022)
- 《High-Resolution Image Synthesis with Latent Diffusion Models》 (CVPR 2022)
- 《A/B Testing for Recommender Systems》 (Netflix Tech Blog)