什么是提示的评测集？一批标准问题

判断大模型的输出好不好，凭印象最大的问题是标准会漂：今天觉得不错，明天同质量的输出又嫌平庸。提示的评测集就是把这批印象固化下来——挑一批有代表性的标准问题，配上合格标准，每次改提示词就跑一遍，用同一把尺子量所有版本。

一套评测集里该放哪些问题

四类各占一些：最常见的典型问题，保证日常场景不翻车；曾经出过错的翻车样本，防止旧病复发；刁钻的边界问题，如超长输入、格式古怪的内容，看会不会散架；再放一两个和任务无关的干扰问题，看它会不会被带偏。智谱清言、扣子里搭工作流时，评测集可以直接内置成固定节点。

判断：评测集的规模不求大，十来题覆盖这几类，就比一百题全堆典型场景有用。

每题配一句合格标准

「输出好不好」太主观，要翻译成可打勾的句子：条数不超过五、必须包含表格、不含编造的日期、语气平稳不夸张。合格标准写得越像检查项，评测越接近机器式的稳定，人只需要扫一眼打勾，不用反复琢磨。

打分之外，再留一列写备注：这题差在哪、好在哪。分数告诉你这版行不行，备注告诉你为什么行——下次调优时，备注是最值钱的线索。只记分不记原因，评测集就成了只会报分数的哑巴裁判。

类比：驾校的固定考核路线

驾校考试走固定路线、按固定项目打分，谁考都一样，分数才能横向比较。评测集就是提示词的考核路线：每一版提示词都跑同一条线，得分才能说明这版比上一版强在哪。没有固定路线，每次都换路考，分数再高也说不清进步没进步。

评测集还有一个隐藏用法：给不同模型选型当尺子。同一个任务在几个模型之间犹豫时，让它们跑同一套评测题，得分一目了然，比凭广告印象选可靠得多。一套攒好的题，用一次回本，用十次躺赢。

攒题的时机也有讲究：别等闲下来再攒。日常用提示词时随手记下「这次输出不对」的案例，攒到十来条自然成套；刻意找一天凭空造题，造出来的反而脱离真实使用。评测集是长出来的，不是编出来的，从日常使用里长出来的题目，才最贴你自己的场景。

考核路线常年不变，会催生应试

考核路线常年不变会催生应试，评测集也一样——只围着老题调优，新场景的能力没被考到。所以评测集要定期换血，补新题、退役过时题。另外，驾校考官一眼能看出开得稳不稳，模型输出有时要跑多次才见稳定性，重要题多跑几次再下结论。

评测集的题目从日常测试攒起，做法见什么是提示词测试？改之前先试，看完就会判断；改版后跑题防波及，靠什么是提示的回归测试？改了别处别坏了这里；示例部分的评测，参考什么是示例挑选？few-shot 给哪几个；示例按题自动匹配见什么是动态示例？按问题挑例子，通俗版解释；提示词内部的层次划分看什么是提示的分层？系统层与任务层。

评测集组装清单

• 典型题、翻车题、边界题、干扰题四类都放。
• 每题一句可打勾的合格标准。
• 每版提示词都跑同一套题。
• 定期换血，补新题退役旧题。

同一把尺子量所有版本，好坏才说得清。

关于提示的评测集，问得最多的三个

• 多少题算够用？：十到二十题、四类齐全，就够日常迭代；题不在多，覆盖面和合格标准的清晰度更要紧。
• 评测集要给别人看吗？：自己用足够；多人协作时公开出来，还能统一大家对「好输出」的理解。
• 模型升级了怎么办？：整套重跑一遍，结论全盘刷新，旧得分不能跨模型沿用。