I have a recommendation system, which metric should I use to evaluate the system
1️⃣ 考察意图
面试官想看你能否跳出“背指标定义”的层面，根据业务场景（显式/隐式反馈、排序/评分、冷启动/成熟系统）选择评估指标，并解释取舍。刁钻点在于：候选人常只答NDCG或Recall，忽略指标与线上业务目标（如CTR、留存）的关联性，以及用户行为偏差（如活跃度不均）对离线评估的污染。答好了能展示系统设计思维、工程落地经验，以及对推荐系统本质（排序而非预测）的深刻理解。
2️⃣ 标准答
推荐系统评估没有“万能指标”，必须根据反馈类型和业务目标分层选择。以下从三个场景展开：
场景一：评分预测（显式反馈）
- 核心指标：RMSE（均方根误差）、MAE（平均绝对误差）。
- 为什么用：直接衡量预测评分与真实评分的偏差，适合电影评分（1-5星）等场景。
- 工程取舍：RMSE对大误差更敏感（平方惩罚），MAE更鲁棒。如果业务容忍偶尔的离谱预测（如推荐系统偶尔推错但用户不介意），选MAE；如果要求高精度（如金融评分），选RMSE。
- 实际坑：评分预测指标忽略排序顺序。例如，用户给电影A打5分、B打4分，模型预测A=4.5、B=4.4，RMSE很低，但推荐列表里B排在A前面，用户实际点击A的概率更高。所以评分预测指标只适合作为辅助，不能替代排序指标。
场景二：排序推荐（隐式反馈）
- 核心指标：NDCG@K（归一化折损累计增益）、Recall@K、Precision@K、MRR（平均倒数排名）。
- 如何选择：
- NDCG@K：最推荐，因为它考虑排序位置和相关性层级（如点击、收藏、购买权重不同）。例如，电商场景中，购买权重=1，收藏=0.5，点击=0.1，NDCG能区分“把购买品排第1”和“把点击品排第1”的差异。
- Recall@K：关注“用户喜欢的物品有多少被召回”，适合信息流（如抖音）——用户刷不完所有内容，召回率越高，潜在兴趣覆盖越广。
- Precision@K：关注“推荐列表中有多少是用户喜欢的”，适合搜索（如百度）——用户只看前几条，精度低会直接导致流失。
- MRR：只关心第一个相关物品的位置，适合“用户只想要一个答案”的场景（如问答推荐）。
- 工程取舍：Recall和Precision天然矛盾，通常用F1或AUC（ROC曲线下面积）平衡。AUC不依赖K值，适合评估整体排序质量，但忽略位置权重（比如把相关物品从第1移到第10，AUC变化很小）。所以工业界常用GAUC（分组AUC）：按用户分组计算AUC再平均，消除高活跃用户对指标的污染（高活跃用户点击多，AUC天然高，会掩盖低活跃用户的问题）。
场景三：线上评估
- 核心指标：CTR（点击率）、CVR（转化率）、用户留存、人均时长。
- 为什么需要：离线指标（如NDCG）与线上业务指标相关性可能很低。例如，NDCG提升5%，CTR可能只涨0.1%，因为离线评估无法模拟用户疲劳、上下文干扰等真实环境。
- 实际落地坑：线上A/B测试时，指标必须“可归因”。例如，CTR提升可能是由于推荐了更吸引眼球的低质内容（标题党），导致短期CTR涨但留存跌。所以需要同时监控长期指标（如7日留存）和辅助指标（如内容质量评分）。
总结一句话：离线用NDCG@K+GAUC，线上用CTR+留存，并定期验证离线指标与线上指标的相关性（比如做相关性分析，R²>0.8才算可靠）。
3️⃣ 答题模板（30 秒电梯版）
“这个问题我从三个层面回答：第一，根据反馈类型选指标——显式反馈用RMSE/MAE，隐式反馈用NDCG@K或Recall@K；第二，考虑用户行为偏差，用GAUC替代全局AUC；第三，必须关联线上业务目标，离线指标再漂亮，线上CTR不涨也没用。总结一句：没有万能指标，只有业务场景驱动的指标组合。”
4️⃣ 高频追问 & 应对
追问 1：如果离线NDCG提升了10%，但线上CTR没变化，你怎么排查？
先检查离线评估的K值是否与线上一致（比如离线用NDCG@10，线上推荐列表只有5个位置，指标不匹配）。然后看用户群体差异：离线评估可能只用了历史数据，线上有冷启动用户和新内容，导致分布偏移。最后做指标相关性分析：在历史数据上模拟A/B测试，计算NDCG与CTR的Spearman相关系数，如果<0.5，说明NDCG不是CTR的代理指标，需要换指标（如用AUC或Recall@K）。
追问 2：在冷启动场景下，离线指标怎么选？
冷启动时用户行为数据稀疏，Recall@K和NDCG@K会非常低且方差大（因为正样本少）。改用覆盖率（推荐物品占全物品的比例）和新颖性（推荐物品的平均流行度倒数）。例如，推荐系统推了100个物品，覆盖了10%的库存，说明探索能力还行。同时用AUC替代NDCG，因为AUC不依赖K值，对稀疏数据更鲁棒。工程上，可以引入探索-利用的离线模拟（如Thompson Sampling的离线评估），但复杂度高，一般先用覆盖率做快速验证。
追问 3：你怎么验证离线指标和线上指标的相关性？
在历史数据上做“伪A/B测试”：把用户随机分两组，用不同模型生成推荐列表，然后计算离线指标（如NDCG）和线上指标（如CTR）的差异。重复多次，计算两个差异的Pearson相关系数。如果R²>0.8，说明离线指标可靠；如果<0.5，需要调整离线评估的K值或权重（比如把点击权重从1改为0.5，因为线上CTR受位置偏差影响）。工业界常用Interleaving实验（交错对比）来快速验证，但实现复杂，需要工程支持。
5️⃣ 避坑 · 常见错误答法
- ❌ 只答“用NDCG和Recall”，不区分场景 → ✅ 先问面试官“是评分预测还是排序推荐？用户反馈是显式还是隐式？”，再针对性选指标。
- ❌ 说“RMSE是最好的指标，因为它数学上严谨” → ✅ 指出RMSE忽略排序顺序，推荐系统本质是排序问题，所以NDCG或AUC更合适。
- ❌ 忽略线上指标，只谈离线评估 → ✅ 强调离线指标只是代理，必须关联线上业务目标（CTR、留存），并给出验证方法（相关性分析或A/B测试）。
6️⃣ 简历呼应
- 如果你有推荐系统项目：从“我在XX项目中用NDCG@10评估召回模型，但发现与线上CTR相关性低，于是引入GAUC并调整K值，最终CTR提升2%”切入，展示工程落地能力。
- 如果你只做过传统ML（如分类/回归）：用“分类用准确率/召回率，推荐用NDCG/Recall@K，本质都是排序问题，但推荐多了位置权重和用户偏差”类比迁移，体现理解深度。
- 如果你是校招无项目：聚焦“在MovieLens数据集上复现了协同过滤和矩阵分解，对比RMSE和NDCG@10，发现NDCG与用户活跃度正相关，因此建议用GAUC”的论文复现demo，展示动手能力。
- 《Evaluating Recommendation Systems》by Shani & Gunawardana（经典综述）
- 《Offline Evaluation of Ranking Systems》by Chapelle et al.（指标相关性分析）
- 《Practical Recommendations for Evaluating Recommender Systems》by Said & Bellogín（工程实践）
- 《GAUC: Group AUC for Implicit Feedback》by Wang et al.（分组AUC论文）
- 《Interleaving in Recommender Systems》by Radlinski et al.（线上快速验证方法）