提示词不是孤立的句子,而是一张互相牵连的网:为修「列表太长」加了一句限制,结果短回答的质量也跟着掉了一截。大模型的执行是整体性的,任何一处改动都可能波及看似无关的输出。提示的回归测试就是防波及的手段:每次改动后,把以前测过的老问题重新跑一遍,确认没坏。
牵一发动全身,是怎么发生的
模型读提示词是整篇一起读的,新增的每个字都在改写它的行为倾向。比如你为了压缩篇幅写了「回答尽量精炼」,原本详尽的分析类输出就被连带砍短了——你只想管住某一类回答,模型却把要求撒到了所有回答上。改动看着局部,影响却是全局的。
判断:改完只测新问题、不测老问题,等于给提示词埋暗雷。
回归测试怎么做得省力
不用每次全测。把老问题按重要程度分级:核心场景三五个,每次改动后必跑;边缘场景十来个,大改动时才跑。每题都定一句「合格标准」,比如「条数不超过五」「必须含表格」,跑的时候逐条打勾。豆包、DeepSeek 都能直接当跑题工具,十分钟就能过完一轮核心题。
| 什么时候跑 | 跑多少题 | 怎么判定 |
|---|---|---|
| 每次改动后 | 核心场景三五个 | 逐条对照合格标准打勾 |
| 大改动时 | 边缘场景十来个 | 同样按每题的标准过一遍 |
| 换了模型 | 整套清单 | 结论全部重新验证 |
清单本身也要跟着提示词进化。提示词新增了一类输出能力,就补一组对应的考题;某类任务不再用了,相关旧题退役。一张三年不动的回归清单,测的早就是另一个时代的提示词,分数再漂亮也没有参考价值。
类比:改完水管,回头拧一遍所有阀门
装修改水管的人都知道,动了一处接口,记得把全屋阀门挨个检查一遍——水压是通的,一处拧松了,别处就渗水。回归测试就是这个回头检查:你动的是一处,渗不渗水要看全屋。
渗水看得见,质量滑坡要靠标准抓
水管的渗漏看得见摸得着,提示词的「渗水」往往藏在输出质量里,肉眼扫一眼未必发现,所以每题要有明确的合格标准,凭感觉检查会漏。另外,水管查一次能管很久,提示词换个模型就要重查一遍,回归清单跟着模型走,不只是跟着提示词走。
再讲一个实务细节:回归测试的结果要和版本记录放在一处。哪一版跑过哪些题、各题过没过,翻记录就能对上。发现了问题却对不上版本,排查等于重头再来——记录和测试本来就该是一套动作的两个半场。
回归测试跑多了容易流于打勾,要点是每次真看。输出从「五条」变成「五点」这种细微变化,打勾勾不出来,肉眼扫得到。工具负责提醒,判断还是人的——这也是回归测试没法完全自动化的原因。
回归测试的前提是改动有记录,方法见什么是提示词的版本管理?改到第几版;单次怎么测看什么是提示词测试?改之前先试,看完就会判断;题目攒成固定一批就是什么是提示的评测集?一批标准问题;示例变动后的波及,参考什么是示例挑选?few-shot 给哪几个;示例自动匹配的场景见什么是动态示例?按问题挑例子,通俗版解释。
回归测试速查表
- 核心题三五个,每次改动必跑。
- 每题一句合格标准,逐条打勾。
- 换模型或大改后,整套重跑。
- 新翻车样本随时补进清单。
改了别处,回头发一遍老题,确认这里没坏。
聊聊提示的回归测试的常见疑问
- 小改动也要跑回归吗?:改一个标点不用,改任何一句指令性文字都要跑核心题,成本十分钟以内,值得。
- 老题太多跑不动怎么办?:按场景分级,核心必跑、边缘抽查,清单定期清理过时的题目。
- 回归发现坏了怎么处理?:按版本记录回滚到上一版,再把新改动的范围收窄,定位是哪句引起的波及。


