给大模型备微调数据时,常见两条路线:一锅烩的通用指令集,还是一个行业钻到底的垂直集。「通用指令数据和垂直领域数据差在哪?」决定了模型是变成什么都懂一点的通才,还是某一行的专才。先说结论:通用数据保下限,垂直数据提上限;只喂垂直数据,模型的通用会话能力会肉眼可见地退化,两者要按比例掺着来。
覆盖面与专业度
通用指令数据覆盖写作、翻译、问答、代码、数学等常见任务,让模型保持均衡的会话和推理能力,不偏科。垂直领域数据只深耕一个行业的口径、术语和流程,把专业场景的答对率往上抬。前者像全科大夫,什么病都能接;后者像专科大夫,只在一种病上见长。
数据长相差在哪
通用数据通常来自公开指令集的清洗合并,一条样本一个任务,格式整齐,量大但同质化高。垂直数据要行业专家介入,把内部文档、工单、规范转成问答对,量小但含金量高,还常带机构自己的口径。文心一言、通义千问的行业版方案,在公开分享里都强调行业语料与通用语料的分层管理。
混合比例怎么定
纯垂直数据的典型翻车是:专业问题答得好,日常聊天却变得生硬,指令跟随也退化。通用练太多又稀释了专业度,行业用户觉得不够专。常见做法是通用数据占大头,垂直数据按一成到三成的比例掺入,再用一套通用评测加一套行业评测分别验收。配比思路可以结合自建数据集和公开数据集差在哪?一起看。
评测要两套卷子
只跑行业评测,看不出通用能力的退化;只跑通用评测,又看不出专业度有没有真的提上去。稳妥做法是维护两套评测集:一套通用基准看会话、推理、指令跟随,一套行业真题看口径、术语、流程。评测集本身也要防泄漏,别让训练数据原句出现在卷子里。相关讨论可以延伸阅读风格微调和知识注入有什么区别?和多任务分头和任务混训有什么区别?。
两条路线摆在一起,差别就这五项。
| 对比项 | 通用指令数据 | 垂直领域数据 |
|---|---|---|
| 覆盖什么 | 写作、翻译、问答、代码、数学等常见任务 | 一个行业的口径、术语和流程 |
| 数据长相 | 公开指令集清洗合并,一条一个任务,量大但同质化高 | 专家把内部文档、工单、规范转成问答对,量小含金量高 |
| 练多了会怎样 | 稀释专业度,行业用户觉得不够专 | 日常聊天变得生硬,指令跟随也退化 |
| 配比里占多少 | 占大头,保下限 | 掺一到三成,提上限 |
| 评测用哪套卷子 | 通用基准,看会话、推理、指令跟随 | 行业真题,看口径、术语、流程 |
自建行业数据的起步顺序
从零起一个行业数据集,顺序错了会很痛苦。推荐的做法是先列场景清单:把真实业务里的高频问题分门别类,再按频次和难度排优先级。清单本身比数据更值钱,它决定了后面所有样本的覆盖面。
第二步是定口径文档:术语怎么写、答案多长、举不举例、哪些内容不能出现。这份文档由业务方确认后冻结,标注期不随意改。第三步才是试标:找两三个人各标一批,对不一致的案例逐条讨论,把口径补细,再放量。
常见错误是一上来就追求量,标到一半发现口径要改,前面全废。垂直数据的质量上限,在开口做清单的那一刻就定了,后面只是执行问题。
补一句量的问题:垂直数据不是越多越好,覆盖到位比条数重要。一个场景有三五种典型问法,每种配十几条,比单场景堆几百条更均衡。定期回头看清单,把新出现的场景补进来,数据集才能跟着业务一起生长。另外,垂直数据也有保鲜期,产品改版、流程调整之后,旧样本的口径可能失效,该淘汰的淘汰,别让过期数据继续占位置,否则模型会学着用旧口径回答新问题。
对照表:通用数据保均衡、防偏科,是底座;垂直数据提专业度,是增量;配比上通用占大头、垂直掺一到三成,评测两套分开跑。
通用指令数据和垂直领域数据快问快答三则
- 垂直数据太少能练出效果吗?:能,几百条高质量行业样本就能改出口径和术语,关键是覆盖典型场景,不是堆量。
- 通用数据用公开指令集够吗?:入门够用,但要挑质量、做去重,公开集里的噪声和重复比你想象的多。
- 先练通用还是先练垂直?:建议先通用打底再垂直精修,反过来容易把模型的通用会话能力练窄。


