提示词对分数的影响有多大？从原理到落地

提示词改一个词，大模型分数能差好几个点，这不是夸张而是常见现象。提示词对分数的影响有多大？few-shot 示例数量、系统提示措辞、作答模板格式，每个变量都在暗中拨动指针。这篇讲影响从哪来、敏感度怎么测、结果怎么报。

一句话改动，分数能差多少

同类任务上，换一套作答模板造成几个点的分数波动并不稀奇；few-shot 示例从零个加到三个，小模型涨幅常常比大模型明显。机制上，提示词改变了条件分布：模型看到的上下文不同，生成路径就不同。文心一言在官方文档里专门提示过系统提示对输出格式的影响，值得细读。

系统提示的影响常被低估：它决定模型的角色设定与回答基调，同一道题在不同系统提示下，不仅格式会变，推理路径也可能分岔。评测时系统提示要么统一为空，要么统一为固定文案，两套系统提示下的分数各自成表，不要混着排名。有些团队靠精心设计的系统提示在评测里涨分，这不违规，但要在报告里把系统提示原文贴出来，让涨分的来源可追溯。藏起系统提示只报分数的做法，与藏起考纲只报成绩是一个性质；引用这类分数时，先确认系统提示是否公开，再决定信多少。透明度在这里的价值，比提示词技巧本身更持久。

few-shot 示例的双面作用

示例给对了，格式稳定、抽取顺畅，分数上涨；示例给偏了，模型模仿错误风格，分数反跌，还会连带解析出错，见输出解析影响。示例本身还占 token，成本随之变化。用 Kimi 实测同一道数学题的两种问法，就能直观感到这种敏感度。

模板敏感度怎么测

做法是扰动测试：固定其他条件，只改提示词的一处变量，重复跑多轮，观察分数分布的移动幅度。移动大说明模板敏感，报告里要注明所用模板；移动小说明任务对表述不敏感，结论更可迁移。硬件与部署同样会与模板交互放大波动，环境声明见硬件与跑分关系；量化模型对模板变化更脆弱，延伸看量化模型评测。

敏感度结果怎么报

规范做法是把主模板全文公开，并附一到两个变体的对照分数，让读者知道结论的适用边界。分步作答模板还会影响步骤得分统计，见过程分机制；模板挑得再好，也突破不了题库本身的难度上限，见评测天花板。一个可带走的判断：只报单一模板成绩的评测，敏感度信息等于全部丢失。

敏感度本身也可以分档评价：对措辞敏感的任务，提示词工程的投入产出比高，值得花力气；对措辞迟钝的任务，把精力花在提示词上不如花在数据上。团队做技术选型时，先花小成本测一轮敏感度，再决定提示词优化的预算占比，这个顺序比反过来高效得多。很多「提示词玄学」的争论，根源就是没做过这步测试。

变体对照的样本设计有讲究：变体要覆盖不同改写方向——调语序、换措辞、增删示例各来一路，只测一个方向的变体会低估敏感度。每路变体至少跑三五轮取均值，单轮对照的结论噪音太大。这套流程做完，一份评测报告对提示词的依赖程度就有了定量描述，读者引用时心里有底。

提示词敏感度自查

• 主模板全文是否公开？
• 变体对照分数附了没有？
• few-shot 示例来源是否说明？
• 扰动测试跑了多少轮？

换个问法再问提示词影响三句

• 提示词算不算作弊？：公开模板是合理配置，藏着专用模板才等于改了考卷难度。
• 示例越多效果越好吗？：不是，示例占上下文也占成本，边际效果很快回落。
• 普通用户需要关心这些吗？：需要一点，同一问题换个问法再试一次，常能拿到更好的回答。