评测的成本是怎么估算的？内部门道在这

给大模型跑一轮像样的评测，预算要多少？评测的成本是怎么估算的，取决于调用量、token 用量、判分方式和人工环节四个变量。账算不清，要么半途缩水影响结论，要么预算翻倍造成浪费。这篇按科目把账本摊开。

调用量是怎么算出来的

基础公式简单：题目数乘运行次数乘交互轮数。麻烦在后两项——Agent 类任务轮数不固定，一道题可能跑三步也可能跑三十步；多次运行的必要性又乘上去一层，见多次运行均值。估算时用历史数据取均值再加三成余量，比拍脑袋稳。

轮数估算还有个隐藏变量：失败重试。模型调用超时、格式错误、工具报错，都会触发重试，实际调用量往往比理论值高出两到三成。估算时把重试系数算进去，预算才不会中途告急。经验做法是先跑五十道题的小样本，记录实际调用次数与理论值的比值，用这个实测系数外推全量，比任何拍脑袋的系数都可靠，这笔小样本的开销很快会在后续的预算精度上赚回来。重试策略本身也要设上限，无上限重试既烧钱又会掩盖系统性问题。把重试单独记账，与正常调用区分开，复盘时能看出稳定性问题的规模；预算科目里为重试留出独立一行，是成本表成熟度的标志。科目越细，账越经得起复盘，预算的判断力也越准。

token 账本：输入输出分开记

输入输出单价不同，长上下文任务里输入 token 往往占大头：题目背景、少样本示例、历史轮次全部计入输入。示例给多少，直接牵动成本与分数的平衡，见提示词影响。记账要按任务分桶统计，混在一张总账里就找不到优化点。

判分与人工环节的开销

规则判分近乎零成本，模型判分按调用量计费，人工复核按小时计价。三者通常混用：机器先全量判，抽样人工复核校准。复核比例定多少，取决于机器判分的一致性表现。腾讯元宝、DeepSeek 这类产品做内部评测时，都会给人工环节单独留预算科目，因为它是超支大户。

省钱不省结论的几个办法

分层抽样减题量、用小题集做日常回归、把贵的大题集留给关键版本对比；跨硬件测试前先在小样本上探差异，见硬件与跑分关系；量化部署能压单次推理开销，但公平性要另做设计，见量化模型评测。算账的目的就一个：让每一分预算都换成有效信息量。

账本里还有一项隐性开销常被漏算：数据管理。题目存储、结果留档、版本对照，这些环节不直接产生分数，却决定评测结果能不能复用。没有留档的项目，下一轮评测要从头再来，等于前期投入的价值打了折。把数据管理的开销单列一个科目，复盘时才知道完整成本到底花在了哪里。

预算分配的经验比例也值得参考：常规配置下，推理调用约占一半，判分约占两成，人工复核与数据管理分摊剩余部分。比例随任务类型浮动，生成类任务推理占比更高，主观题多则人工占比上升。第一次做评测不用追求精确，按这个骨架先列科目，跑完一轮用实际数据修正，两三轮之后账本就贴合实际了。

成本账本速查表

• 调用量：题数×次数×轮数
• token：输入输出分桶记
• 判分：规则、模型、人工三笔账
• 余量：历史均值上浮三成

关于评测成本，问得最多的三个

• 哪一项最容易被低估？：人工复核，它按轮次与争议率增长，常在后期集中爆发。
• Agent 任务怎么估轮数？：拿小批量试跑取分布，用中位数乘余量，别用最大值吓自己。
• 省钱减题量会伤结论吗？：分层抽样做对了就不伤，随机砍题才会伤。