什么是刷分？应试训练的痕迹，一次讲明白

一个模型在某榜单冲到前排，换个题库却表现平平，这种「专攻考试」的痕迹就叫刷分。它不是作弊那么简单，更多是训练和调优过度围着公开考卷转的结果，理解它，才算真正看懂 AI 大模型评测这件事。

刷分是怎么发生的

公开基准的题目长期挂在网上，答案和解法遍地都是，训练数据里很难避开。更主动的做法是拿榜单题反复调参：哪类题丢分就补哪类，模型对这套考卷越来越熟。过程本身不算违规，就像学生刷历年真题，但当优化的目标从「能力」滑向「这套题的分数」，榜单数字和真实水平就开始脱节。还有一种更隐蔽的形式：用与基准高度相似的合成数据做训练，题目本身没进语料，但同款套路已经练熟，效果上与刷题无异。

应试训练的类比与失效点

有人刷题刷出了扎实功底，有人只背会了题库答案，考卷一换立刻现形。刷分就是后者的机器版：分数涨了，能力未必涨。类比失效的地方在于，学生刷题是主动选择，模型则是被训练流程裹挟，开发者未必有意作弊，可能是拿公开榜单当验证集用，用着用着就把它「用进了」模型里。这也是为什么榜单分数只能当线索，不能当结论。

识别刷分的四个信号

一是新旧题成绩断层：老榜单分高，新榜单明显回落，说明旧卷被吃透了。二是分数异常整齐：常见题接近满分，冷门同难度题却接不住，像背了考纲而非理解知识。三是口头禅式输出：回答里频繁出现评测模板的句式，比如总用同一套开头收尾，豆包和 Kimi 的实际对话里若遇到类似痕迹，可以多留个心眼。比如同一个模型在数学老题上接近满分，换成新编的同难度应用题就明显吃力，落差就是明确的提示。四是拒不交代训练细节：对数据来源含糊其辞的产品，榜单分数要打折看待。

四个信号各自长什么样，对照着看更容易对上号。

刷分自查清单

• 这个模型在新题、旧题上的差距有多大？
• 高分是否集中在题库常见题型上？
• 官方有没有公开训练与评测的隔离说明？
• 我引用分数时，有没有交叉验证第二个基准？

高分和真本事之间隔了什么

隔着两道工序。第一道是显著性检验，确认领先不是小样本运气；第二道是新鲜血液，定期换题、上新卷，让背题失去意义。行业常用的配套手段还有污染检测，专门排查题目是否混进了训练数据。对普通读者而言，最实用的策略是多基准交叉：一份榜单分高不算数，两三份口径不同的榜单都稳，可信度才立得住；预算允许的话，参照自建评测的思路，用自己业务里的真实任务考一考，比任何公开名次都贴近真相。

榜单运营方也在和刷分赛跑。常见手段包括：维持一套不公开的私有题库，公开榜只作参考；定期大面积换题，让旧真题过期作废；引入动态难度，题目随作答情况调整；以及要求参赛模型通过统一接口评测，由运营方控制调用环境。这些措施抬高了刷分成本，但没法根除，因为只要榜单有名次、名次有商业价值，就总会有人想办法对着靶心训练。这是一场持续演化的攻防，读懂这一点，就能对任何榜单分数保持恰如其分的怀疑：既不一概不信，也不全盘照收。从模型厂商的角度看，防刷分同样符合自身利益，被揭穿注水分数的产品要付出声誉代价，长远得不偿失。

聊聊刷分的常见疑问

• 刷分和作弊是一回事吗？：多数情况不是，它更像训练流程不严谨导致的副作用，但效果上同样会让榜单失真。
• 为什么榜单不直接淘汰被刷的分？：题库公开是协作需要，完全隔离又损失透明度，行业还在透明与防刷之间找平衡。
• 普通用户能做什么？：多基准交叉验证，关注官方技术报告的细节披露，少为单一名次换工具。