什么是回归测试集？版本之间比，新手版入门

给 AI 大模型换新版本，新功能没做好还只是其次，老本事悄悄退步才最让人头疼，回归测试集就是专门盯住这种退步的一套固定考卷。它把一批老题目和参考答案锁死，模型每次出新版本都重考一遍，分数掉没掉、掉在哪里，一眼就能看出来。

先把「回归」两个字说清

「回归」在工程语境里指退回原来的坏状态。软件开发中改一处代码、碰坏另一处功能的事很常见，所以团队会留一套旧用例，每次改动后都跑一遍。放到 AI 评测里，这套旧用例就成了锁定的题库：题目不变、判分标准不变，变的只有被测的模型版本。豆包、Kimi 这类产品更新频繁，背后的团队正是靠这种方式确认新版本没有考砸旧科目。对小团队来说，它还有个附带好处：评测脚本写好一次，之后每个版本零成本复用，省下的是反复人工验收的时间。

用手机系统升级打比方

想象你给手机升级系统，装完第一件事是打电话、拍照、连无线网，确认基础功能没坏，这一串固定动作就是你的个人回归清单。回归测试集做的事一模一样，只是清单从「打电话」换成「数学题、文本改写、代码补全」，执行人也从你换成自动评测脚本。类比里最要紧的一点是动作固定：每次都做同样的事，这次和上次的差异才有比较价值。

类比在哪里失效

手机功能好不好，按一下就知道；模型答得好不好，往往要重新判一次分，开放题尤其如此，判分方式本身也会带来波动，可以搭配评测方差一起理解。另外，模型的能力退步常常藏在偏门题目里，常用场景看着一切正常，冷门任务却悄悄变差，所以回归测试集的题目覆盖面要比个人清单宽得多，必要时可以借力领域评测补齐专业科目。

把手机清单和回归集逐项对一遍，差别就清楚了：

回归测试集速查表

• 用途：版本更替时检查旧能力有没有退步
• 做法：锁定题目与判分标准，只换被测模型
• 频率：每个候选版本都跑，不挑日子
• 看点：总分之外更要看分项有没有塌

新手最容易踩的两个坑

第一个坑是中途改题。题目一改，基线就断了，新旧版本的分数不再可比；确有必要换题时，应让新旧两套题并行跑一段时间，平稳衔接出新基线。第二个坑是只看总分。总分持平可能掩盖「写作涨三分、代码掉五分」，分项数据才是回归测试集真正的价值。分数掉了还要判断是真退步还是波动，这时显著性和置信区间能帮你把结论下得更稳。

记住一句话就够用：尺子不动，读数才有意义。给 AI 大模型做版本对比时，先守住这把不动的尺子，再去看其他花哨的指标。

这份考卷由谁来建、什么时候建？理想时机是产品第一个稳定版本上线前后：把上线验收时用过的代表性题目直接转入回归集，几乎不产生额外成本。维护上要指定守门人，定期检查题目是否过时，某类任务若已不再是产品重心，相关题目可以降权但不必删除，保留历史轨迹方便日后复盘。团队规模小也不构成借口，哪怕先从二十道高频任务起步，也比每次升级都凭手感验收强得多。更进一步，回归分数本身就是版本演进的档案，几个月积累下来，哪次更新涨了、哪次跌了、与当时的改动如何对应，曲线会自己讲出故事，这份资产的价值会随时间复利增长。

关于回归测试集再多问三句

• 回归测试集和普通评测集有什么区别？：前者题目长期锁定，专盯版本退步；后者更替自由，侧重全面摸底。
• 题目要多少道才够用？：没有统一数字，关键在覆盖你想守住的每类能力，太少容易漏掉长尾退步。
• 分数掉多少才算出问题？：要结合波动范围判断，单次小跌幅可能只是噪声，连续多次下滑才值得警觉。