用自己攒的题测大模型，常被泼冷水：自测不算数。「自己测的不算数」错在把两种要求混为一谈：公开榜单的价值是横向可比，自建评测的价值是贴近业务，两者回答不同的问题。正确做法是把自测做规范，私有数据一样能进决策，自测数据也作数。
新手版入门先记一句话：公开榜回答「大家眼里谁强」，自测回答「你手里谁好用」。问错了问题，才会互相否定。
把「不算数」的说法反过来用，恰好是自建评测的路线图：没代表性就扩场景，不透明就写文档，没法复核就留记录，把路线图贴在题库首页，新人上手照着走。每补一项，可信度涨一截，三样补齐后，自测报告和公开榜单摆在一张桌上，谁也不虚谁。
出题环节给新手两个提示：一题一考点，别把格式、知识、推理揉在一道题里，出了问题没法归因，一题一考点还有个好处——复用率高，改改措辞就能出新题；题面用业务原话，不用测评腔，模型在真实措辞上的表现才是你要的。
判分文档怎么写？给每道题列三条：考点是什么、满分长什么样、常见半对长什么样。写到第三条时，大部分判分歧义会自己浮出来，趁写文档时解决它，比判分时吵架便宜。
存档用最朴素的格式就够：日期、版本、题集版本号、逐题得分、执行人。五列一张表，换人、换季度、换模型都能对上账。判断一个团队评测做没做规范，先看它能不能三分钟内翻出上上次的原始记录。
自测还有一个公开榜给不了的福利：题目可以带公司私有的上下文，测出来的就是「在你的系统里」的表现。这个维度只有你有，也只有你能测，别因为别人一句「不算数」就放弃自己独有的视野；每季度把自测亮点写进内部简报，让规范的价值被看见。
自测被看轻的原因
常见质疑有三：题量小没代表性；自己出题自己判分，既当运动员又当裁判员；口径不透明，别人无法复核。这三条都是执行问题，并非自测的原罪。
| 质疑 | 听起来在说什么 | 其实是执行问题出在哪 |
|---|---|---|
| 题量小没代表性 | 几十道题说明不了什么 | 题目来自少数几个场景，覆盖偏窄；扩场景比加数量有效 |
| 既当运动员又当裁判员 | 自己出题自己判分，难免偏向自己 | 判分标准写在脑子里没落纸面，写成文档就能被外部审视 |
| 口径不透明 | 别人没法复核你的结论 | 结果不留档，换个人测就对不上；固定存档格式即可解决 |
自测数据的问题在哪
真实毛病通常是：题目来自少数几个场景，覆盖偏窄；判分标准写在脑子里没落纸面；结果不留档，换个人测就对不上。把这些补上，可信度立刻上一个台阶。
正确做法：把自测做规范
四件事：题面与判分标准写成文档；判分尽量用规则自动判，主观题用裁判模型加人工抽查；固定随机参数；结果带日期存档。做到这四条，自测报告拿到跨团队讨论也站得住。
自测与公开榜互补
公开榜筛候选、看趋势；自测定落地、找短板。两者结论打架时，先核对题目分布差异，再信更贴近业务的那份。纳米AI 可以帮你快速整理多轮测试记录，扣子适合把重测流程固定成定时任务。
结尾给一个心态提醒：自建评测的起步阶段一定粗糙，粗糙并非放弃的理由，是迭代的起点。第一版题集测不准没关系，跑三轮就能看出哪里要修，规范就是在这种滚动里长出来的。
继续看误区系列：「差 0.5 分就是有差距」错在哪？讲波动，「AI 裁判很客观」错在哪？看三个漏洞讲裁判，还有「评测集越大越好」错在哪？别再混淆了、「不同语言的分数能直接比」错在哪？与「新模型一定赢旧模型」错在哪？。
自查清单
- 判分标准写成文档了吗？
- 结果带日期存档了吗？
- 换个同事重测，能对上结果吗？
末句提醒：自测不规范才不算数，规范了就是硬通货。
聊聊「自己测的不算数」的常见疑问
- 几十道题是不是太少？：覆盖典型场景就有分辨力，比量大不精更有用。
- 自测结果能对外讲吗？：附上方法说明可以讲，注明口径与日期即可。
- 自测和公开榜冲突听谁的？：落地决策听自测，趋势判断听公开榜。
