微调后的模型怎么评估？专属测试集的做法

大模型微调跑完，训练曲线只是半张答卷，微调后的模型怎么评估，真正靠的是一套提前备好的专属测试集。loss 一路下降只能说明模型在训练数据上越来越熟，不能说明它在真实场景里变好，想验收效果，得换一套它没见过的题目来考。

为什么训练曲线说明不了全部问题

训练曲线记录的是模型在训练数据上的拟合程度，而微调要的是场景里的表现，两者经常脱节。常见的情况是：loss 压得很低，模型却把训练数据里的口头禅学得惟妙惟肖，换种问法就露馅。专属测试集的作用就是把这两件事拆开——题目全新、答案事先约定，模型见过训练集、没见过测试集，成绩才有参考价值。

这也解释了为什么拿别人的公开榜单验收自己的模型常常不靠谱。公开榜单考的是通用能力，你的微调改动的是垂直场景，分数掉几个点可能无伤大雅，关键任务分提升才要紧。验收标准必须跟着微调目标走，这是搭测试集之前要先想明白的事。

专属测试集的三层搭法

一套够用的专属测试集通常分三层。第一层是基础能力层，放通用题，防止微调把原有本事改坏了，业内叫防遗忘。第二层是目标任务层，放微调真正要学的场景题：要学的格式、领域、语气，每类至少配二十条，覆盖常见问法和变体。第三层是边界层，放超纲问题、含糊提问和容易踩坑的诱导提问，看模型会不会硬答。

搭法上有个实操经验：目标任务层的题要从未来真实会收到的提问里抽样，而不是从训练数据里抄。来源可以是客服记录、内部问答、同事模拟提问，越接近真实分布，测出来的分数越能预测上线效果。涉及多轮场景的，要整段对话一起测，只测单轮会漏掉承接问题，数据侧的连续剧本写法同样影响着评估题的拟真度。

三层题目各管一件事，题量和来源也不相同。

自查清单：三层题是否齐备；目标任务层的题是否来自真实提问而非训练集抄录；边界层是否包含超纲与歧义题；每类题量是否足够支撑分类统计。

自动指标与人工盲评怎么分工

评估通常两条腿走路。自动指标负责跑得快：格式正确率、关键词命中、结构化输出的可解析比例，这些能脚本化，适合每次训练后全量跑。人工盲评负责跑得准：抽两三百条，两个以上评估者背对背打分，一个问题看准确性、有用性、安全性三个维度，分歧大的进仲裁。

两条腿的结论要能互相印证。自动指标暴涨而盲评分不动，多半是模型学会了投机，比如把答案写得更长来蹭关键词；反过来，盲评分明显涨而自动指标平平，可能提升的是难以量化的话术质量。两种信号对不上时，先怀疑测试集本身，再怀疑模型。

评估结果怎么反哺下一轮

评估的终点不是打分，是归类错题。把答错的题按原因分堆：数据没覆盖、格式没学牢、知识本身错误、边界处理不当，每堆对应一种改法。数据缺口就补样本，格式问题就加一致性检查，知识错误要回到数据源头核对，边界不当则补充拒答样本，这块思路和安全对齐数据的构造相通。

还有一条容易忘：测试集本身会过时。模型针对性练几轮后，可能悄悄记住测试题的套路，分数虚高。稳妥做法是定期轮换一部分题目，保留一条旧题做长期对照。日常工具里，DeepSeek 和豆包都在持续迭代版本，每轮迭代背后都是这样一套评估、归因、补数据的循环，显存怎么省决定循环能跑多快，而风格迁移的验收同样依赖分层测试集。

微调评估快问快答三则

• 测试集要多大才够？没有统一数字，基本原则是关键场景每类至少几十条，边界层适当加量，能支撑分类统计就行。
• 可以直接用公开榜单吗？可以当防遗忘的参考，但它考的是通用能力，验收垂直效果还是要看专属测试集的分数。
• 从训练集里留一部分当测试集行不行？能应急，但不理想，模型见过分布，分数会偏乐观，条件允许还是补新题。