版本间是怎么对比才公平的？每一步都讲透

AI 模型每次升级，厂商都会附上一份对比表：新版本比旧版本提升多少。可同一对版本，不同团队测出的结论有时方向相反，原因多半是对比条件没拉齐。公平的版本对比有一套可复用的流程，本文按四步拆开，每一步讲清进来什么、发生什么、出去什么。

先说结论：一份可信的版本对比报告，至少要交代题库、环境、变量和分布四件事，缺任何一件，表格里的数字都只能当参考。

举个常见场景：新旧两版模型相隔一个月发布，公开数据各涨几分，看起来是稳定进步；可若两次跑分用的题集不同、提示词模板改过，涨幅里有多少来自模型本身就说不清了。版本对比的全部功夫，都花在把这类说不清变成说得清。

第一步：把卷子冻住

对比的前提是新旧版本做同一套题，而且这套题在对比期间不增、不改、不外流。题目一旦泄漏，新版本的训练数据可能见过旧版本用过的题，分数差异里就混进了记忆的成分。自建私有题库时如何防泄漏，思路与自建评测的题目从哪来里讲的选题隔离一致，核心是题不外流、定期换血。换题的时点也要记录，哪怕只是增删了百分之几，都要写进变更日志。

第二步：把环境写进报告

同一个模型，提示词模板、温度参数、输出长度上限、判分规则任何一项变动，分数都会漂移。负责任的做法是把条件成文：用什么模板提问、判分走规则还是人工、每题跑几次取什么统计量。比如用通义千问和豆包各测一轮，模板也要一字不差。缺了这些说明，两列数字摆在一起也不可比，这正是分数的包装话术是怎么识破的里最常被识破的一类破绽。

第三步：一次只动一个变量

版本升级常连带多项改动：换底座、改对齐策略、调系统提示词。若多项同时变，提升就没法归因。严谨的团队会做消融式对比，一次只暴露一个差异源。比如测 Kimi 新版的写作能力，沿用旧版完全相同的角色设定与格式要求，让差距尽量只来自模型本身的更新。做不到消融时，至少把改动清单列出来，让读者知道分数背后动了哪些地方。

第四步：看分布而不看单点

单次跑分带随机性，同一套题连跑三次，名次都可能颠倒。可信的做法是报告多次运行的分布，并检查差异是否稳定落在某类题目上。若新版本只在特定题型上涨分，要回到评测的抽样策略是怎么定的核对这一类题的占比是否合理，防止抽样偏差放大或掩盖真实差距。多版本横向看，还可以借助雷达图是怎么读的这类可视化，把各维度的此消彼长摆进同一张图。报告里附上每类题的分项差值，比只给总分更接近真相。

版本对比自查清单

• 题库已冻结，且能说明未泄漏
• 提示词、参数、判分规则全部成文
• 每次只改一个变量，其余全部对齐
• 差异在多次运行、多类题目上方向一致

自建评测的版本验收还有一层统计口径，验法可参考自建评测的信度是怎么验的。一句话带走：对比的产出应是一份别人能照着重跑的报告，而不是一句「新版更强」。

换个问法再问版本对比三句

• 新版本分数高就值得马上换吗？：先核对对比条件是否拉齐，再在自己高频使用的任务上复测，差距稳定存在再迁移。
• 条件做不到完全一致怎么办？：把不一致之处如实写进报告并标注影响方向，这比假装一致更可信。
• 官方对比表能直接采信吗？：当作线索而非结论，优先核对题目来源、运行次数、判分方式这三项有没有交代。