什么是指令微调？让模型学会「听指令」

预训练完的大模型本质上只会一件事：接着上文往下写。你问它「北京的首都是什么」，它可能顺着编出几个类似的问题，而不是回答。指令微调（SFT）解决的就是这个问题：用大量「指令加正确回答」的样本继续训练，让模型从文本接龙机变成能办事的助手。这也是为什么同样量级的底座，不同产品的手感差得很远——差别往往不在底座，在指令数据。

一条样本的三件套

指令微调的训练数据有固定结构：指令、输入、期望输出。指令说明要做什么，比如「把下面这段话翻译成英文」；输入是要处理的内容，有些任务没有输入，比如「写一首关于秋天的短诗」；期望输出是合格答案的示范。模型在这些样本上反复训练，学到的是「看到什么形态的请求，产出什么形态的回应」这件事本身，而不是记住某一道题的答案。数据覆盖的任务类型越广——翻译、摘要、改写、问答、代码、分类——模型面对没见过的新任务时，泛化表现越好。

训练时到底发生了什么

机制上，指令微调是在预训练权重的基础上做监督训练：喂进去一批样本，模型逐条生成回答，与期望输出比对，算出差距，再回传调整参数。改动的不是知识本身——事实性内容主要来自预训练——而是模型调用知识的方式和输出行为的分布。类比一下，预训练像是读完了整座图书馆，指令微调是学会按服务规范接待客人：书还在那里，但开口的方式完全变了。这也解释了一个常见现象：微调后的模型偶尔会「忘掉」一些冷门知识，因为训练压力都压在了行为调整上。

质量为什么压过数量

这一步的目标是学会怎么答，而不是记住答案，所以样本质量比数量更要紧。少量高质量、多样化的样本，效果往往好于海量低质重复的数据。重复样本的害处很具体：模型会用同一种句式回答所有问题，遇到换个问法的需求就露馅。判断数据集好坏可以看三点：任务类型是否覆盖你的目标场景，期望输出是否由人核对过，同一类任务的问法是否足够多样。三条里任何一条不达标，训出来的模型都会带着明显的偏科。

与预训练、对齐各管一段

三个阶段各司其职。预训练用海量文本打底，解决语言能力和世界知识；指令微调解决听懂并执行任务；对齐训练用人类偏好调整表达，让回答更有帮助、更少有害。三者缺一不可，跳过任何一步都有明显短板：只有预训练的模型答非所问，只有指令微调的模型可能输出有害内容，只有对齐的模型无话可答。

这张表还能反过来用于排查：一个产品回答质量差，先分辨问题出在哪一环——知识错了是预训练的事，不听指挥是指令微调的事，语气和边界不对是对齐的事，找对环节才好提需求。

它改不动什么

指令微调有清晰的边界。它改不了模型的知识截止时间——训练数据之后发生的事它依然不知道，这要靠检索外部资料来补；它改不了参数规模带来的推理上限，小模型微调得再好，复杂推理也到不了大模型的水准；它也不解决知识频繁更新的问题，企业资料天天变，靠反复微调去追既慢又贵，那是检索增强的活。把微调用在错的地方，是这类项目最常见的浪费。

关于指令微调的三个疑问

• 指令微调和提示词优化是一回事吗？：作用位置不同。提示词改的是每次请求的输入，微调改的是模型本身的行为。提示词免费、即时、可随时撤回；微调要花训练成本，换来的是不用每次都写长指令。一般先榨干提示词的潜力，再考虑微调。
• 没有团队自己能做指令微调吗？：开源权重模型可以自己微调，门槛集中在数据整理而非训练本身。几百到几千条高质量样本，通常就能看到行为上的变化，工具链也已相当成熟。
• 微调完模型反而变笨了怎么办？：多半是数据分布太窄，模型被带偏了。处理办法是把通用样本混回训练集做平衡，或者减少训练轮数，别让模型在窄数据上反复过拟合。

想把这条链路补全，可以接着读三篇：模型参数量 7B 与 70B 的差别解释了为什么尺寸决定能力上限；开源权重模型能不能免费用讲了哪些模型可以拿来自己微调；模型量化的原理则是另一条压成本的路径——量化改的是存储与计算精度，微调改的是行为，两者经常配套使用。

指令微调速查

• 样本三件套：指令、输入、期望输出
• 学的是行为方式，不是记住答案
• 质量与多样性压过数量
• 改不了知识截止时间与推理上限
• 知识频繁更新找检索方案，别硬微调