固定集和动态集有什么区别？适用场景分开讲

选 AI 模型的评测题库，固定与动态是一道绕不开的分岔。先给结论：要长期追踪版本走势、做横向对比，选固定集；要防背题、测真实泛化，选动态集；成熟团队两个都用，固定集看趋势，动态集看成色。固定集和动态集的差别，按两个维度拆开就清楚了。

维度一：分数能不能纵向比

固定集题目不变，新版本与旧版本在同一套题上得分，可以直接纵向对比，适合发布节奏快的团队做回归验证。比如让豆包和文心一言在同一份固定集上连续跟踪三个版本，曲线一眼可见。动态集定期换题，分数波动里混有题目变化的因素，纵向可比性弱，趋势要靠多期滑动观察。

维度二：抗背题能力

固定集用得越久，被训练数据见过的风险越高，分数会虚高，这是它最大的软肋。动态集靠持续补新题保持新鲜，难以被针对性准备，测出来更接近真实泛化水平，代价是要有人持续供题，成本高。供题压力大时，用扣子搭一个半自动出题流程能省不少人力；新题的筛选与防泄漏机制，见开源评测框架是怎么用的。

适合场景对号入座

固定集适合：版本迭代频繁的团队做回归测试、厂商自评追踪优化成效、教学场景演示分数变化。动态集适合：防刷分的公开榜单、能力摸底、评估泛化与迁移。固定集的回归验证适合挂成自动流程，见评测自动化是怎么搭的；动态集常见的落点是各类榜单，通用榜和领域榜的分工见通用榜和领域榜有什么区别。

混用怎么配比

常见配法是七三开或八二开：固定集占大头保证可比性，动态集占小头保持区分度。两套分数分开公布，不合成一个总分，否则趋势信号会被稀释。混用之后分数怎么看才不迷惑，可参考跑分和体验有什么区别。

题库轮换的具体节奏

固定集的维护重点在版本管理：每次题集变更都留快照，跨版本比较时对齐同一快照，否则趋势线会被题目变化污染。动态集的维护重点是造题产能，常见做法是每季度更新三成题目，重题按主题轮换，保证覆盖不出现空洞。两者混用时，固定集负责「同一条尺子看走势」，动态集负责「换新题看真实成色」，报表上分两列呈现，不合成一个总分。轮换节奏一旦定下就写进流程，避免每次靠临时拍板，也方便复盘时解释分数跳变的原因。临时加题要单独标记，别混进正式对外的分数里，否则历史数据就没法比了。

比较跨季度分数时，先看清这一季动过哪些题。若题目换了三成，趋势线要分段呈现，或者只比两套题的交集部分，否则涨跌到底是能力变化还是题目变化，谁也说不清。对外披露分数时，附上题集版本号是最省事的做法。

固定集与动态集对照表

• 可比性：固定集强，动态集弱
• 抗背题：固定集随时间变弱，动态集占优
• 维护成本：固定集低，动态集高
• 典型用途：固定集追版本趋势，动态集测真实泛化

关于固定集和动态集，问得最多的三个

• 固定集多久必须换一次？：没有死线，出现全员分数齐涨、答题模式雷同等信号就该换，一般以半年到一年为周期。
• 动态集分数能发榜单吗？：能，但要标注换题节奏与版本号，读者才能分清波动来自模型还是题目。
• 小团队养得起动态集吗？：可以按季度小批量换两成题起步，成本可控，比全固定集更接近真实水平。