一次性评测和持续评测有什么区别？

大模型半年一换代，一次性评测和持续评测的差别因此被放大：前者像拍一张快照，只反映某天某版本的表现；后者像持续录像，盯住模型与题目的双重变化。结论先说：一次性评测适合答复「某个版本当时什么样」，持续评测适合支撑选型与升级这类会过期的决定，给一次性结果设个有效期很有必要。

很多团队不是没测过，而是测完就归档，三个月后引用的还是旧分数，这正是两者混淆的典型代价。

把有效期讲得更具体：分数的衰减速度取决于三个变量，模型更新频率、题目公开程度、业务变化速度。模型一年两大版、题目全是公开榜、业务半年一调整的组合下，三个月的分数已经很陈旧；反过来，私藏题加稳定业务，一年前的分数仍有参考价值。先估衰减速度，再定重测频率，顺序别反；判断不准时，宁可先按高频重测，跑三个月再根据波动收窄频率。

持续评测还有个隐藏好处：趋势线本身是资产。有了它，厂商说「这版提升明显」，你能立刻核对自家曲线上是不是真的抬升；出了问题，你能指出从哪个版本开始劣化。没有趋势线，这些判断全靠印象，说服力天差地别。报表里哪怕只有一条总分线，也胜过一堆孤立数字；趋势线还能反过来帮你挑重测时机，波动收敛的区间重测，读数最干净。

落地时可以先从最薄的一层做起：一个固定题集、一个定时脚本、一张按版本追加的表格，半天就能搭好。薄不代表没用，它保住的是「结论带日期」这条底线，后面的完善都可以慢慢叠上去。

一次性评测能回答什么

它能干净地回答「这个版本在这套题上得多少分」，成本可控、口径清晰，适合发布时背书、验收单次交付。它的短板是结论随时间贬值：模型在更新，题目在泄漏，环境在变。

模型在变，题目也在变

持续评测盯两条线：模型侧，新版本上线前重跑同一套题；题目侧，定期补新题、退役老题。两条线一起动，才能区分「模型变强了」和「题目变简单了」。

持续评测怎么搭架子

不必一步到位：先固定一套核心题集，每次模型更新后自动重跑；再配一个季度更新的补充题池；分数落进统一报表，加上测试日期与版本号。用扣子编排定时任务，配合纳米AI汇总结果，几十行配置就能跑起来。

给一次性结果设有效期

引用任何分数时带上测试日期，超过一个版本周期的结论重测再用。榜单上的名次同理：三个月前的横评，只能当历史资料。

把时间维度补进评测习惯里，还有个附带收获：团队对「变化」会更敏感。曲线一抬一落都有解释，异常一来就能定位，这种敏感度是持续评测送的礼物，单次评测给不了。

想接着看相关话题：评测集和训练集的隔离有什么区别？讲分数成立的前提，开源评测和闭源评测有什么区别？讲来源选择，还有模型对比和版本回归有什么区别？、官方声明和实测验证有什么区别？与榜单排名和选型决策有什么区别？都围绕「分数会不会过期」展开。

速查表

• 一次性评测：单版本、低成本、结论有保质期。
• 持续评测：跨版本、要排期、支撑长期决策。
• 引用分数先看测试日期。

带走一句：分数是生鲜，不是陈酿。

一次性评测和持续评测快问快答三则

• 多久重测一次合适？：跟随模型更新节奏，至少每个大版本跑一遍核心题集。
• 持续评测的成本很高吗？：核心题集控制在几十到几百题，机器成本可忽略，主要是维护纪律。
• 旧分数还能引用吗？：标注测试日期后可以，但要声明不代表当前版本。