继续预训练和监督微调有什么区别？

同一个大模型基座，动手之前先分清两条路：继续预训练和监督微调有什么区别？一个补常识底子，一个教答题规矩。喂的数据形态、训练目标、风险结构全都不同，选错路不只是浪费算力，还可能把模型本来稳健的部分搞坏。

结论先说：补常识选续训，教规矩选微调

想让模型多懂一个领域的知识、跟上新出现的信息，走继续预训练，因为它就是在用海量无标注文本延续原来的学习方式。想让模型按你的格式答题、守你的边界、用你的语气回话，走监督微调，因为它用的是成对的问答样本，直接塑造行为。

一个简单的判别法：手头是成堆的文档，还是成条的问答？文档对应续训，问答对应微调。两类数据都有，先微调后看效果，不够再补续训。微调与提示词的分工是在这之后才展开的问题。

两者喂的数据不一样

继续预训练吃的是纯文本：文档、书籍、网页、代码，没有标准答案，模型的任务是预测下一个词。这种数据便宜量大，但目标模糊，它学到的是分布，说不清具体学会了什么。监督微调吃的是指令和回复的配对：一个问题配一个理想回答，目标明确，模型直接学这个映射。

数据准备的难度也差一级。续训的数据只要干净、相关，量越大越好；微调的数据要精心设计，覆盖题型、格式、边界，几千条精品胜过几万条粗货。语料清洗管线对两者都要过，但微调数据额外要过一轮人工质检。

两类数据从形态到质检要求都不一样，逐项对照更清楚。

目标与风险结构

续训的风险是遗忘：模型在新文本上泡太久，原来的指令理解能力退化，变得不会答题。微调的风险是过窄：模型对训练分布内的题型对答如流，分布外稍一变体就手生。两种风险方向相反，监控指标也不同，续训盯通用能力保留，微调盯场景泛化。

成本结构上，续训贵在算力和数据规模，一次正经的续训消耗不小；微调贵在数据人工，算力需求小得多。LoRA 的秩怎么取这类参数问题基本只属于微调侧，续训通常动全量参数或大范围适配。学习率的管理也不同：续训的步子要小，太大会把原有能力冲散；微调可以稍激进，因为目标是快速建立新习惯。

顺序上能不能互换

常见做法是先续训再微调：先把领域知识补进基座，再用问答数据塑造行为，相当于先读书再学答题规范。反过来先微调后续训的风险大，续训可能把好不容易教会的答题规矩冲淡。

两轮之间要留评估。续训后跑通用测试集，确认没忘本；微调后跑场景测试集，确认行为达标。智谱清言和 ModelScope 社区放出的模型迭代记录里，都能看到这种分段验证的痕迹。至于行为打磨得更细的偏好阶段，那是SFT 与 RLHF 的分工，再接上两条强化学习路线的选择。

中间态也存在。有些团队做轻量续训：不用海量文档，只把领域相关的高质量文本混进预训练，占比不高，补的是短板而不是换底子。这种做法对算力友好，但预期也要放低，它改不了模型的世界观，只能让它对某个领域不再陌生。判断标准回到最初那条：要补知识选续训，要教规矩选微调，两头都占就分两段做。

对照表：续训吃纯文本补知识，微调吃问答教规矩；续训盯通用能力保留，微调盯场景泛化；顺序上先续训后微调。文档对应续训，问答对应微调。

续训与微调快问快答三则

• 小团队能碰续训吗？谨慎，算力和数据门槛都高，多数场景用成熟基座加微调更现实。
• 续训后答题变差怎么办？降续训比例，混入通用指令数据，用通用测试集盯着恢复。
• 能不能同时训？可以混训，但配比和顺序都要小心，新手建议分开做、分段验，混训出了问题最难定位。