多语言评测是怎么保证公平的？从原理到落地

评测 AI 模型的多语言能力时，最容易踩的坑是把「语言不同」当成「能力不同」，而真正的差异可能来自题目翻译、文化背景和判分标准。本文按机制拆解，讲清公平的多语言评测是怎么搭起来的。

先记一条原则：公平不等于各语言分数必须接近，它要求的是每门语言拿到的题、翻译和判分都等价，这样分数差异才反映真实差距。

举个常见的失真例子：同一道应用题，翻成另一门语言后数字与单位变了，或者隐含了当地才有的语境，两门语言的分数差距里就掺了翻译的成分，跟模型能力没多大关系。

题源：直写还是翻译

两种做法：把源语言题集翻译成目标语言，或者每门语言原生出题。翻译效率高，但容易带进翻译腔与文化错位，比如成语、节日、度量单位的处理；原生出题质量高，成本也高。折中做法是核心题集统一翻译保证可比，再为每门语言补一组原生题。批量跑多语言题集用开源工具最省力，见开源评测框架是怎么用的。翻译验收有两个常用动作：回译核对，把译文翻回源语言比对要点是否走失；母语者试读，请目标语言的使用者挑出生硬与歧义处。预算紧时优先保核心题集的翻译质量。

判分：同一把尺吗

不同语言的判分规则要等价：选择题好办，开放题的参考答案必须逐语言重写，不能拿一门语言的答案硬套。机判模型对不同语言可能有偏，抽检时要覆盖每门语言。人评环节还要留意评审者的语言水平，判不懂的语文卷只会引入噪声。开放题的参考答案重写时，别做逐句直译，应按目标语言的表达习惯重写要点，判分才不会被「不像母语者说的话」误伤。

统计：分开看再加权

各语言成绩先单列，再看加权总分，但必须写清各语言权重并说明理由，权重向自家优势语言倾斜是常见的暗坑。若某语言题量少、波动大，单独公布置信区间比硬给一个分数诚实。语言层的样本取舍，与评测的抽样策略是怎么定的同一套逻辑。跨语言比较还有一层文化差异：同一道常识题在不同语言圈的公认答案可能不同，这类题要么本地化改写，要么移出对比集。

落地：三步最小可行方案

第一步选 3 到 5 门目标语言，覆盖大语种与自家业务语种；第二步核心题统一翻译加逐语言原生题补齐；第三步逐语言抽检判分并单列成绩。实际执行前，可以先用文心一言与通义千问在不同语言上互测一轮，观察机判与题目本身是否带偏；跑完的流水线怎么固化，见评测自动化是怎么搭的。三步走完先跑一轮小规模全流程，把每门语言各抽十题人工过一遍，确认题目、翻译、判分三处都没跑偏，再放量。

文化语境这一层最容易被忽略

翻译能对齐字面，却对不齐常识。同样是「节日祝福」的写作题，中文语境期待含蓄与礼节，英文语境更看重直接与个体化，直译过来的题目会让某一方天然吃亏。补救办法是请母语者做一轮语境审校，把明显带本地预设的题目改写成中性场景，或者在统计时按语种分组，允许语种间存在基线差异。真正要守的底线是：同一语种的模型之间比较必须公平，跨语种的总分只作参考。评审团队里至少要有一位能读原文的人，否则争议来了无从核对。

多语言公平自查清单

• 核心题统一翻译，翻译回验过
• 每门语言有一组原生题
• 参考答案与判分规则逐语言等价
• 各语言成绩单列，权重有理由

关于多语言公平的三个常问问题

• 机器翻译的题能直接用吗？：不建议，至少要做回译核对与母语者抽检，关键题集应由人重新润色。
• 小语种题量不足怎么办？：宁可少报成绩也不要硬凑，公布置信区间或标注样本局限更可信。
• 各语言分数差多少算异常？：没有统一线，异常与否要看题源与判分是否等价，等价条件下的大差距才值得警惕。