自建评测的信度是怎么验的？内部门道在这

给大模型攒出一套自建评测，跑出一个分数，然后呢？别人一句「你这题库靠谱吗」就能把它问倒。信度检验回答的正是这个问题：同一套题反复测、不同人判分，结果稳不稳。本文把验信度的门道一次讲清。

结论先行：自建评测的信度要过三道检验——重测一致、评审一致、难度校准，三道都过，分数才敢拿来做判断。

为什么信度要放在前头？因为不稳定的分数没有讨论价值：今天测是这个数、明天测是那个数，任何基于它的比较都是在噪声上盖楼。信度检验花的时间不多，却决定后面所有分析是否成立。

重测一致：同题多跑看波动

同一道题让模型跑多次，或者隔几天再跑一次，分数应该大体稳定。做法是抽一批题每题跑 3 到 5 次，统计结果的波动范围；波动过大的题要么是判分标准模糊，要么是题目本身有歧义，先修题再看模型。测智谱清言这类对话模型时，温度参数也要一并固定，否则波动里混进了人为因素。记录波动时要区分两类来源：模型侧的随机性与判分侧的模糊性，前者靠多次取均值，后者靠细化评分标准，混在一起看会错怪模型。

评审一致：判分的人稳不稳

人工判分要算评审者之间的一致率：两个人独立判同一批答案，一致率过低说明评分标准没写清。机器判分同样要验——抽出一部分答案让人工复核机判结果，偏差集中的题型要回头修评分规则。比如把同一批答案交给通义千问与文心一言各判一轮，跨模型对照更容易暴露判分漏洞。一致率的算法也写进文档：是逐题完全一致，还是允许半档误差，口径不同数字差很多。两种判分方式的分工与边界，可参考人评和机评有什么区别。

难度校准：别让题目白忙

人人做对的题和人人做错的题都测不出差异，要在试跑后淘汰或降权。保留的题目应形成难度梯度，简单、中等、困难各有占比，这样分数才有分辨力。校准时抽哪些题、抽多少，可对照评测的抽样策略是怎么定的。难度校准不是一次性的：每批新题入库都要试跑一轮，难度标签随数据更新，别用老印象管新题。

信度之外还要看什么

信度只回答「稳不稳」，不回答「测得对不对」。题目是否覆盖关键场景、是否刻意留了长尾题，决定评测的覆盖质量，往下可接长尾题目为什么重要。跨语言的题库还要留意翻译质量带来的偏差，处理思路见多语言评测是怎么保证公平的。一句话带走：先验稳定，再验覆盖，两关都过，自建分数才有资格和公开基准放在一起看。给个小目标：先让同一套题两次测量的分数差稳定在一个小范围内，再谈扩规模、加维度。

小样本的信度怎么估

题库只有两三百道时，单轮分数很容易被几道怪题带偏。可行的做法有三条：一是把题集随机劈成两半分别跑，两半分差超过阈值就重跑；二是同一配置连跑三轮，看均值和波动，波动大的项目说明题目噪声偏大；三是给分差配上区间，比如均值加减标准误，让「高两个点」这类结论先过显著性这一关。样本小的时候，别急着比较小幅领先，先把波动压下来再谈优劣。评审一致性也要按批抽查，两名评审对同一批样本的分歧率超过约定值，说明细则需要重写。

信度自查清单

• 抽样题每题多跑，波动范围已记录
• 人工判分算过评审一致率
• 机器判分抽检过，偏差题型已修规则
• 全对全错的题已淘汰，难度有梯度

聊聊自建评测信度的常见疑问

• 信度要验到什么程度才算够？：至少完成一轮重测与一轮判分抽检，关键场景的题再单独复核，规模可以小但不能缺。
• 题目少能验信度吗？：能，小题库更要把波动和判分一致率算清楚，数量不够时用重复测量来补。
• 信度高就等于评测好吗？：不等，信度只保证稳定，题是否测对了能力，还要看覆盖面与题目设计。