先这样答
跨境电商多语言场景选基座模型看语言覆盖与成本，评测需按语言独立建集并查一致性。
模型选型主要看四个维度。第一步查目标语言覆盖率。你需要检查模型的小语种词表大小。你还要确认模型训练时该语言的语料量。第二步看电商领域适配度。你需要评估模型对电商场景的理解能力。第三步评估上下文长度。你需要确认模型能处理多长的输入文本。第四步核算部署成本。你需要计算模型上线后的资源消耗。
评测设计必须分语言建立测试集。你不能把所有语言混在一起测。各语言的指令遵循能力要分开测。各语言的领域问答能力也要分开测。各语言的生成质量同样必须独立评估。你绝对不能用英语测试集的结果去外推其他语言的能力。英语得分高不代表小语种表现好。
评测环节还要加入跨语言一致性检查。你需要准备同一组问题。把同一个问题翻译成不同的语言。你把这些不同语言的问题分别输入给模型。然后你需要核对模型给出的答案。你要检查同一个问题在不同语言下的答案是否一致。
面试官会怎么追问
-
「怎么评估小语种词表和语料量？」 你需要查阅模型的技术报告。报告会列出各语言的语料占比。你可以用目标语言文本测试分词器。看分词后的 token 数量是否合理。
-
「为什么不能用英语测试集外推？」 英语语料在预训练中占比最高。模型在英语上的各项能力最强。小语种语料占比低。模型处理小语种时表现会下降。
-
「跨语言一致性检查具体怎么做？」 你先构建一个标准问题集。把问题集翻译成所有目标语言。让模型分别回答这些多语言问题。最后对比不同语言版本答案是否一致。
回答的坑
只提通用评测指标，忘记强调必须分语言独立建立测试集。
选型时只看语言能力，忽略了上下文长度和部署成本
同系列的题
—— 本题完 ——