什么是动态评测？题库常换常新，一次讲明白

一套评测题用上一年都不换，大模型厂商就会把题目背得滚瓜烂熟——动态评测因此而生：题库定期更新、持续补新题，让每一次考试都像第一次见面。你在 DeepSeek 或智谱清言的评测新闻里看到「动态榜单」字样时，说的就是这种玩法。

题库为什么会换

公开的固定题集迟早会被练习透，模型分数一路走高，区分度一路走低。换题是最直接的解法：旧题退役、新题入场，模型没机会提前准备，测出来的更接近真实水平。打个比方，固定题集像一套用旧的真题册，动态评测则像每期更新的题库——类比大体贴切，但有一处失效：真题册换版有明确的考点范围，动态评测的新题同样需要人工出题与审核，成本并没有凭空消失。

换题换到什么程度

不同项目的力度差别很大：有的每次评测整体换血，有的按比例滚动更新，比如每月替换两成旧题；还有的保留一部分旧题作为锚点，用来校准前后批次的可比性。换得越勤，背题越难，但出题成本和出错风险也越高，力度的分寸是一门平衡术。

三种换题力度的做法与代价，差别在这里。

换了题怎么保持公平

题目一换，今天的分数和上个月的还能比吗？常用做法是锚题校准：保留一小批难度稳定的旧题，用它们的波动来折算新题分数。另一种思路是干脆不公开题目，走保密路线，详见什么是盲测集？不公开的题目，一个例子讲透。两种路线都在跟同一件事较劲：既要新鲜，又要可比。锚题的作用类似称重时的砝码，砝码本身也要定期检验，否则整套折算都会漂。还有项目干脆每次全换新题，放弃跨期比较，只留当期排名，把可比性的包袱整个卸掉。对普通读者来说，不用记住每个项目的具体节奏，只需知道：节奏越勤的榜单，当期分数越能代表当下。拿不准时，看官方文档里的换题说明，比看任何二手解读都可靠。新题从立项、编写、审核到去重入库，一套流程走下来常要数周，换题的成本主要就花在这里。老基准陆续停止更新或重制的消息近几年不少见——不是题不好，是题被用完了。分数通胀之下，榜单上的差距越来越像抽签，直到新题入场才恢复秩序。动态评测和固定题集是一对路线之争，谁也取代不了谁：前者保新鲜，后者保可比，评测方按自己的目的挑路线，读者按自己的用途挑榜单。

常换常新和稳定可比矛盾吗

有一点矛盾，但可以调和。完全换血会牺牲纵向可比，锚题法换来的是大体可比、偶有抖动。对使用者来说，动态榜单适合看「当前这一期谁强」，跨期排名变化则要看官方有没有说明校准方式。题怎么出、怎么判，这些底层问题可以回看什么是基准测试的题型？从选择到开放；固定路线的对照，见什么是固定题集？一套题测到底，别再混淆了。

动态评测速查表

• 换题节奏：定期滚动更新，新题持续入场。
• 公平手段：锚题校准，旧题当标尺。
• 适合场景：公开题库易被背、需要长期榜单的场景。

看动态榜单，先确认这期题目更新到什么时候。

下次看到「动态榜单」四个字，先别急着看名次，翻一下它这期换了多少题、怎么校准的，比名次本身更有信息量。

换个问法再问动态评测三句

• 新题从哪里来？：多由评测团队人工出题审核，部分项目也会从真实使用场景里筛选。
• 动态评测能不能防止一切背题？：不能，题刚换就被内部拿到仍有可能，保密题库是另一条路。
• 它和让人打分的评测是一回事吗？：不是一回事，人来评的对战玩法见什么是人机对比评测？人和机器一起评，算分则常用Elo 等级分。