基准题是怎么设计的？从能力拆解

一套基准的题目并非凭空冒出来的：先拆能力、再配题、后质检，一步步造出来的。设计质量决定了这张考卷能不能真正测出 AI 大模型的本事，本文把整条生产线拆开给你看。

先拆能力再出题

第一步不是写题，是画能力地图。比如要测「推理」，得先拆成多步算术、逻辑推演、因果关系、反事实假设几条分支；要测「写作」，拆成结构组织、语言精炼度、指令遵循、风格适配。每条分支再定权重：哪些是核心能力占大头，哪些是辅助能力占小头。这张地图就是命题的任务书，进来的输入是一句能力描述，出去的输出是一份带题量配额的命题清单，后面所有环节都照它执行。这张地图定了，后面每一道题都有出处，分数低也知道低在哪个分支，排查起来才有方向。

一道题从想法到入库

以逻辑分支的一道题为例。命题人先领任务：出一道需要三步以上推理、答案唯一的题。接着写题干、配答案、写解析，标注考查的分支与难度档位。然后是交叉审题：另一名命题人独立做题，核对答案是否唯一、题干有没有歧义、预期难度是否合理，意见不合就回炉。通义千问团队公开的评测构建材料里就强调过这种双人交叉环节，扣子社区里一些自建评测项目也借鉴了同样的流程。最后题目带着全部标注信息进入候选池，等下一关。

难度和区分度怎么调

难度靠预测试校准：把候选题先在多个已知水平的模型上试跑，全部答对的题太容易，全部答错的题要检查是不是题目本身有问题，真正的好题是让强模型和弱模型拉开差距的题，也就是有区分度。太偏、太刁钻的题即使「难」，也测不出能力结构，只会制造噪声。这个环节的输入是候选题与试跑数据，输出是每道题的实测难度系数，作为组卷时的配比依据。经验法则是把难度分档配比，多数题落在中等难度，两端各留一部分，整体区分度反而最理想。

试跑结果大致四种，各自的处置不一样。

命题质检清单

• 答案是否唯一，有没有多种合理解释空间
• 题干是否有歧义，缺不缺关键条件
• 是否与已有题目高度雷同，换汤不换药
• 难度标注与实测结果是否一致

入库后的质检动作

题目入库不等于一劳永逸。定期检查项目的整体区分度，把长期「人人都对」或「人人都错」的题目换下来；监控外部环境，一旦发现题目在网上流传解答，立刻启动污染排查，方法可参考污染检测；换题时保持能力配比不变，避免卷子悄悄变形。质检的输入是每轮评测的作答数据，输出是题目的替换与修订决策，这条回路的松紧直接决定基准的寿命。设计基准时还要提前想好判分路径：客观题的自动化处理见选择题判分，主观题的标尺制定见开放题参考答案，而出好卷子只是开始，让成绩站得住还要满足可复现的条件。整套流程走通后，成绩对外发布的形式与解读边界，可参考评测报告的读法。

设计基准还有一组绕不开的取舍：公开还是私有、固定还是动态。公开带来协作与公信力，代价是暴露与老化；私有避开污染，代价是缺乏外部校验。动态题库能长期保鲜，但分数跨期不可比；固定题库便于追踪趋势，又难逃被研究透的命运。没有两全的方案，成熟的团队往往组合使用：公开固定集追踪长期趋势，私有动态集守住防刷底线，两套数据各司其职，结论互相印证，遇到分歧时反而更容易定位问题出在哪一侧。

聊聊基准题设计的常见疑问

• 题库越大越好吗？：不是，规模要服务于能力配比，几百道分布合理的题往往比上万道堆砌的题更能说明问题。
• 题目每年都要换吗？：看暴露程度，被广泛讨论和解答的题应尽快轮换，私有题库可以放缓节奏但也要定期检查。
• 难点和区分度矛盾怎么办？：分档配比是正解，多数题落在中等难度，两端各留一部分，再靠实测数据微调。