模型要经过哪些离线验证才能上线？

先这样答

上线前，我会按离线指标、切片检查、历史回放、小流量灰度、分阶段放量五步验证模型。离线涨线上不一定涨，所以不能只看离线分数。灰度是上线前的最后防线。

第一步看离线指标。把新模型和 baseline 对比，重点看 AUC、GAUC。除了总体结果，还要看不同人群的结果，确认没有人群回退。第二步做公平性与稳定性检查。把流量按不同维度切片，观察模型在不同切片上的表现是否一致，避免总体指标正常但某些切片明显变差。

第三步做模拟打分。用历史流量回放模型，检查回放结果是否和历史流量中的表现一致。第四步做小流量灰度，在线进行 A/B，对比核心指标，同时设置护栏指标。灰度结果稳定后，再分阶段放量。每个阶段都要继续观察指标，不能一次性推满。

面试官会怎么追问

• 「为什么离线指标涨了，线上不一定涨？」 离线指标来自固定数据，线上面对的是真实流量。数据分布和流量切片可能不同，所以离线结果不能直接代表线上结果。小流量灰度可以先验证真实线上表现。

• 「你会重点检查哪些离线指标？」 我会先看 AUC、GAUC，并和 baseline 对比。然后看分人群结果，确认没有人群回退。只看总体指标，可能掩盖部分人群的表现下降。

• 「灰度阶段除了核心指标，还要看什么？」 还要看护栏指标。核心指标反映模型目标，护栏指标帮助确认上线过程没有带来其他异常。A/B 结果稳定后，再分阶段放量。

回答的坑

• 只报总体 AUC 或 GAUC，不检查分人群结果，无法说明模型没有局部回退。

• 把离线指标提升直接等同于线上效果提升，忽略历史回放和小流量灰度。