用大模型做事,输出不理想时摆在你面前的有三条路:改提示词、接知识库、做微调。很多团队把顺序弄反,一上来就想微调,结果投入花了效果没动。这篇先把微调和提示词的区别讲透,再给出判断顺序。
一句话区分:一个教模型,一个问模型
写提示词,像给一位聪明同事下指令——他本身没变,只是这一次按你的要求做。微调,则是把这位同事送去专门培训一段时间,回来之后他的底子变了。一个动输入,一个动模型,这个区别决定了成本、灵活性和适用场景的全部差异。
提示词:改的是输入,模型不动
你在对话框里写的每句话,都是给模型的临时上下文。它随时可改、几乎零成本、立刻见效,绝大多数需求——写文案、改格式、做总结——到这一层就解决了。提示词的短板也明显:每次调用都要重新带上,长了费 token;而且它约束的是「这一次」,模型本身的理解习惯没有变。
微调:改的是模型本身
微调是拿一批「输入—期望输出」的样本,对模型再做一轮训练,让它的表现往你的方向偏移。它需要三样东西:成规模的高质量数据、算力,以及后续的维护——底座模型更新后可能要重训。数据质量决定上限,几百条脏数据的效果不如几十条干净的;数据量到底要多少,见什么是微调数据量。
微调本身也分两档。全量微调更新模型的全部参数,效果上限高,算力门槛也高;参数高效微调(如 LoRA)只训练少量新增的小模块,冻住原模型,一张消费级显卡就可能跑得动。多数团队的实际起点是后者:先用小成本验证方向可行,再决定要不要上全量。这一层的选择同样取决于任务规模和数据量,别一上来就按全量的预算立项。
五个维度对照
| 维度 | 提示词 | 微调 |
|---|---|---|
| 改动对象 | 这一问的输入 | 模型参数本身 |
| 成本 | 接近零 | 数据、算力、维护都要投入 |
| 灵活性 | 随时改,立刻生效 | 改一次要重训一次 |
| 见效速度 | 即时 | 要等训练与评估周期 |
| 擅长的事 | 临时任务、格式要求 | 稳定风格、固定输出形态 |
什么情况才真的需要微调
四种信号:输出格式或风格要求极其稳定,提示词怎么调都飘;领域术语密集,通用模型反复理解错;调用量很大,长提示词按 token 计费反而不划算;数据不能出内网,只能自己部署和训练。注意顺序:效果不好先排查提示词,再试检索增强,最后才轮到微调。反着来,往往费钱又没效果。
判断时可以给自己设一道门槛:把「提示词调不出」具体写下来,比如「十次输出里有三次格式跑偏」。能写清楚失败率,微调完才有可比的验收标准;写不清楚,说明问题可能出在需求本身没定义好,微调解决不了它。
微调擅长学风格,不擅长记事实
一个常见误解是把微调当「喂资料」:想让模型知道公司报销标准,就去微调它。方向错了。让模型掌握随时更新的资料,正确做法是检索增强(RAG)——把资料接成知识库,回答时现查现用。微调学到的是风格和格式这类稳定的模式;风格微调和知识注入的差别,见风格微调和知识注入有什么区别。训练数据不够时,有人会用模型生成的数据补充,这条路可行但有前提,见合成数据和真实数据有什么区别。
它的边界:微调做不到的事
微调改不动三件事:它不能让小模型获得大模型没有的能力,只能让已有能力的表现更稳定;它不能替代资料更新,昨天发生的事它照样不知道;它也不能百分之百确保模型服从指令,训练完成后仍要做评估。抱着「微调万能」的预期进场,多半会失望。
还没讲到的三个追问
微调之后的模型还能用提示词吗?能,而且应该用。微调定下底子,提示词处理每次调用的具体要求,两者是叠加关系,互不冲突。
微调会让模型变笨吗?有这个风险,术语叫灾难性遗忘:只在窄数据上训练,通用能力可能下滑。常见的缓解办法是在训练数据里混入一部分通用样本。
微调用哪个模型当底座?优先选官方开放微调入口的模型,按任务规模挑参数量,底座本身的许可条款要先看清能不能商用。
微调决策速查
- 顺序:先提示词,再 RAG,最后微调
- 微调适合:稳定风格、固定格式、术语密集、内网部署
- 微调不适合:记资料、追热点、知识库问答
- 前提:拿得出成规模的高质量样本,养得起后续维护


