什么是继续预训练？给底模安排再读书

本科毕业工作几年，再回学校读个在职硕士，补的是系统化的新领域常识——继续预训练干的接近这件事：拿一个已经训练好的底模，喂进新领域的大批材料，让它接着学。DeepSeek、讯飞星火的技术资料里都提过这类回炉步骤，本文用回校读书的场景，把它和微调的差别讲清。

再读书和学手艺：两件事的分界

继续预训练喂的材料是没标注的大批量文本，就像回炉读的那一柜子专业书：没人给你标标准答案，读的是领域本身的语感、术语和行文习惯。它补的是底子的偏向——模型从此知道这个行业怎么说话、常识怎么排布。微调则像学手艺，拿标注好的问答对练规范，教的是问什么该怎么答。

分界还可以用成本来感受：继续预训练要喂大批量无标注文本，算力开销以天计；微调往往几千条标注数据、几张卡就能起步。选路之前先摸预算，别拿在职硕士的钱报全日制的班。

两条路的选择看缺口：模型对某行业一脸茫然，术语都不认识，该补常识，走继续预训练；认识但答得不合规范，该练手艺，走微调。什么是领域微调？行业模型的养成过程那篇讲的行业养成，多半是两条路配合着走。

两条路喂的材料、补的东西、门槛都不同。

在职硕士：一边工作一边补课

在职硕士这个比方还有一层像：都不脱产。底模原来的通用能力还在，继续预训练是往这身本事上叠新领域的常识，不是推倒重来。上课在周末，平时照常干活——对应到训练上，就是学习率通常调得比预训练温和，材料也只覆盖新领域那一块，不动通用数据的配比根基。

回炉的节奏还要看底子的底子：有的底模外语弱、代码弱，补的时候就要在这些短板的材料上多倾斜；有的底子偏科在长文本，短对话材料也得掺着喂，防止越读越偏。

风险也像：课选太偏，工作用不上；材料选太窄，常识补成偏科。什么是数据配比？训练材料怎么搭配那篇讲的配料单，在回炉阶段依然要盯紧，新领域材料和通用陪练的比例，决定补课补得正不正。

回炉路线速查表

• 喂什么：无标注的大批量领域文本
• 补什么：术语、语感、领域常识
• 不碰什么：模型的通用能力底子
• 节奏：学习率温和，材料配比盯紧

类比失效的地方：书不是随便读的

在职硕士类比有一处对不上：人会挑书，模型照单全收。材料里混进的错误常识、过时数据，会被当成行业真理学走，回炉读得越狠，偏得越远。挑选材料这道关，人在校外就完成了，模型却只能靠数据清洗兜底。

挑材料这道关有多重要都不为过：行业材料里的过时结论，比没读过更糟——它会自信地引用旧规。回炉之前，先把材料按年份、来源过一遍筛子。

还有一处：读书累了会停，训练没有刹车。什么是训练不稳定？loss 突然飞了是怎么回事那篇讲的风险，在回炉阶段照样要防——材料难度跳变、学习率偏大，都可能让刚稳住的底子重新晃起来。什么是适配器？插在模型上的小模块那篇的轻量路子，也是这时候的备选。

聊聊继续预训练的常见疑问

• 它和从零预训练差在哪？：从零开始是建全部常识，接着读只在原有底子上补一块；前者烧钱以月计，后者以天或周计。
• 回炉之后通用能力会掉吗？：配方不当会掉，所以材料里通常要掺通用陪练；盯着评测集看曲线，掉得明显就回调比例。
• 小团队值得做吗？：领域材料足够多、底子确实缺常识时值得；只是答题不规范的话，先用微调更省。

再读书补的是常识，手艺课练的是规范，别拿反了。看到模型在新行业露怯，先分清它是话都听不懂，还是听懂了不会说——前者回炉，后者拜师，分工从来清楚。