评测的抽样策略是怎么定的？过程拆开看

评测大模型的分数要站得住，抽样策略就是地基：同一套题库，抽法不同，结论可能完全相反。本文按制定过程拆开讲，从分层到定样本量，每一步都给出能照做的做法。

先给结论：抽样要回答三个问题——抽什么、抽多少、按什么比例抽，答案写进评测报告，分数才有解释力。

为什么抽法这么要紧？因为题库内部从来不是均匀的：常见题扎堆、难题稀疏，随机抽容易抽出一碗偏汤。分层的目的就是把「看不见的偏」变成「看得见的层」，一层一层配平。

先分层：把题库切成几块

按考点或场景把题库分层，例如事实问答、推理计算、写作生成、安全应对。分层后每一层独立抽样，保证每一块都有代表，避免总量达标而某类题挂零。层与层的边界要写成文档，两个人按同一份文档分出的层应该一致。分层的粒度还影响后续检验的稳定性，口径可参考自建评测的信度是怎么验的。层的数量也有讲究：三到六层最常见，太多则每层样本稀薄，太少则层内混杂失去意义；层定好后给每层一个稳定编号，报告按编号引用。

再配比：各层占多少有讲究

配比有两种思路：按真实使用频率配，反映实际分布；按均匀配，让每层信息量相当。两者选其一并写明理由，切忌暗中偏向自家强势层。比如拿腾讯元宝与另一款模型对测长文本层，若配比向长文本倾斜，总分就会被抬高——这类操作在评测自身的伦理问题里有更系统的讨论。两条思路各有代价：按频率配贴近现实，但弱势层信息少；均匀配信息全，但离真实分布远。取舍没有对错，前提是说清楚。

定样本量：几百题够不够

样本量取决于想要的分辨精度：要区分两个差距很小的版本，就需要更多题；只看大类强弱，几百题也能给出方向。实用做法是先小规模试跑，估算每层分数的波动，再反推需要的题量。同一套题跑多次取均值，比单纯堆题量更省成本。样本量估算可以粗略记一条：想分辨的差距越小、题目波动越大，需要的题量越多；估算拿不准时，宁可多备两成题量作缓冲。另外可用秘塔AI搜索核查抽出的题是否已被公开讨论过，减少无效样本。

留一块：动态与长尾的位置

题库要留两个特殊区块：一小块定期更换的新题，用来检测题库是否被刷熟；一块长尾难题，用来观察罕见场景的表现。新题区块的更替节奏见自建评测的题目从哪来，长尾层的价值与占比见长尾题目为什么重要。两个区块的分数照例单列，不与常规层混合，免得维护动作干扰主分数的解读。一句话收束：抽样没有标准答案，但有底线——每一层的抽法都能被第三个人复现。

成本与精度怎么平衡

抽样越密，结论越稳，跑批成本也越高。务实做法是先算出每道题的成本，再定「可接受的误差范围」，反推样本量，而不是先定样本量再互相说服。常见配置是核心能力层全跑、周边能力层抽三成、探索性题目抽一成；评审资源紧张时优先保证核心层，周边层改用月度轮换，长期覆盖一样能守住。分层标签可以用 Kimi 辅助整理，能省下不少归类时间，但分层口径仍要人拍板，机器只做初稿。

抽样策略速查表

• 分层文档化，边界清晰可复现
• 配比思路二选一，理由写进报告
• 样本量由试跑波动反推，不拍脑袋
• 预留新题区与长尾区并定期维护

关于抽样策略，问得最多的三个

• 随机抽和分层抽哪个好？：题库构成不均匀时优先分层抽，均匀题库用随机抽，关键是把选择理由写清楚。
• 样本量够大就能弥补分层失误吗？：不能，抽偏了的样本越多，偏得越稳定，先修抽法再谈数量。
• 抽出的题要不要提前告知模型方？：正式评测不提前公布题目，公布范围与时机本身就是防刷分的一部分。