「不同语言的分数能直接比」错在哪？

对比多语言大模型的成绩时，常见的偷懒做法是把中文榜和英文榜的分数放一起排大小。「不同语言的分数能直接比」错在忽略了三件事：训练数据占比不同、题目翻译有损耗、判分口径随语言漂移。正确说法是分语言看榜，跨语言只比趋势，跨语言分数别直读。

一句话讲透：语言不同，考卷就不同，拿两张卷子的分排队，排出来的是错觉。

数据占比的影响比多数人直觉的更深。语料里占九成的语言和占一成的语言，模型的语言直觉不在一个量级，这会渗透到每个环节：理解歧义、遵循格式、控制语气。分数差距里很大一块是这种结构性差异，与聪明与否无关，与曝光量有关；曝光量可以查，不少模型说明页会披露语料配比，花五分钟值得。读外文榜单时先问一句：这个模型的主要语料是什么语言。

翻译损耗还有个反直觉的表现：译文题可能变简单也可能变难，方向不定。有的歧义在翻译中消失，有的常识在翻译中失效，所以「把外文题机器翻成中文再测」的做法两头不讨好——既失真于原文，又失真于中文语境。正经做法是双语团队各写各的原生题，再配对成对照集，配对时记录每对题的出题人，质量出问题能追到源头。

判分漂移也值得一提：同一套判分规则，中文回答和外文回答的宽严可能不同，尤其涉及文风与简洁度这类主观维度。对照评测时让判分人只见一种语言的回答，分开批次评，批次内打乱顺序，进一步压掉疲劳效应。

给多语言业务的落地建议：按语言排优先级，主力语言建自建题集定胜负，次要语言用公开榜看底线下限，次要语言每年复测一次防退化；资源有限时，把翻译质量检查单独列一项，它常常是多语言产品翻车的前线。

同一道题换了语言就变了

翻译会改变难度：中文里的一句话歧义，翻成英文可能消失；英文题的常识背景，中文语境里未必成立。同一模型在两版题面上的得分差出十分并不罕见。

翻译损耗与数据占比

模型见过的英文语料通常远多于其他语种，能力分布天然不均；译制题还会引入翻译腔，让模型在母语理解上被误判。即梦AI、WPS AI 这类多语言应用在选型时，都会按语言分别建题集。

正确说法：分语言看榜

榜单先按语言拆开，各自内部排名；跨语言只看相对位置的趋势变化，比如某模型中文位次在两版之间提升了几名。要做严格比较，就用双语对照题集，同题同判分。

跨语言选型的替代做法

业务以中文为主，就用中文自建题集定胜负，外文成绩只做背景参考；反之亦然。别让一张外文榜单替你做中文场景的决定。

收束一句：语言是分数的货币，不同货币之间要按汇率换算，而汇率本身就在波动。要么分语言结算，要么做严格对照，直接比大小，等于把汇率当成了一，错得悄无声息。

接着看误区系列：「自己测的不算数」错在哪？新手版入门讲自建题集，「评测集越大越好」错在哪？别再混淆了讲规模，还有「新模型一定赢旧模型」错在哪？与「评测分能预测商业效果」错在哪？。

对照表

• 直接比：忽略语料占比与翻译损耗，结论脆弱。
• 分语言比：同语言内部排名，趋势才可信。
• 严格对照：双语同题同判分。

带走一句：分数跟着考卷走，考卷跟着语言走。

关于「不同语言的分数能直接比」再多问三句

• 双语对照题集怎么做？：原文与译文成对入库，判分口径分别说明。
• 机器翻译的题面能用吗？：能用但要人工抽查修订，翻译腔会干扰判分。
• 英文榜高的中文就好吗？：不一定，语料占比不同，必须用中文题实测。