大模型学新知识有两条路:把知识背进参数里,或者把知识放在手边随时查。微调和 RAG 怎么选,看的正是知识本身的脾气。常变的选检索,定型的选微调;这个判断先立住,后面的细节都是为它服务的。
结论先说:知识常变选检索,知识定型选微调
判断标准只有一条:知识更新的频率。一天一价的产品库存、随季节调整的活动规则、不断修订的内部文档,都该走检索路线,因为改文档比改模型便宜得多。反过来说,一套稳定的领域术语、固定的写作风格、很少变的业务口径,才值得微调进参数,因为它会被反复调用,值得花一次性成本。
还有个辅助判断:知识是事实还是手法。事实类知识更新快、条目多,是检索的强项;手法类知识比如回答的语气、结构的组织,变化慢,是微调的强项。续训与微调的区别也建立在这个分野上。
知识进屋的两种路径
微调的路径是把知识写成训练样本,让模型在参数更新中吸收。好处是调用时零延迟、不需要外部系统,模型对这类知识的回答也更连贯。代价是更新要重训,而且知识被摊在参数里,说不清它到底学会了哪几条。
检索的路径是把知识切成片段存进向量库,提问时先查出相关片段,再连同问题一起交给模型。好处是更新只需换文档,来源可追溯,答错了能查到出处。代价是依赖检索质量,查得不准时模型只能干着急,而且上下文长度受限,塞太多片段反而干扰回答。LoRA 的秩怎么取属于微调路径的参数问题,检索路径不涉及。
更新成本与出错方式的差别
成本账要算全。微调的成本集中在每次更新:准备数据、跑训练、评估、部署,一轮下来以天计。检索的成本集中在搭建期:文档切分、向量化、检索调优,一旦搭好,日常更新只是替换文档。团队只有一两个工程师时,检索路线的维护压力明显更小。
出错方式也完全不同。微调出问题是知识学歪了,表现为固执地输出过时或错误内容,而且很难定位是哪批数据造成的。检索出问题是没查到或查错,表现为答非所问,但至少能顺着文档摸到原因。
两条路的成本、出错和溯源,逐项对一遍。
| 对照项 | 微调 | 检索(RAG) |
|---|---|---|
| 知识怎么装进去 | 写成训练样本,在参数更新中吸收 | 切成片段存进向量库,提问时先查后答 |
| 更新成本 | 每次更新要备数据、跑训练、评估、部署,一轮以天计 | 搭好之后日常更新只是替换文档 |
| 出错表现 | 知识学歪,固执输出过时或错误内容 | 没查到或查错,答非所问 |
| 能不能溯源 | 知识摊在参数里,很难定位是哪批数据造成的 | 顺着文档摸到原因,答错能查到出处 |
| 擅长的知识类型 | 手法类:语气、结构、术语体系、业务口径 | 事实类:库存、活动规则、内部文档、最新数据 |
混搭时怎么分工
实际项目里两者常常一起上,分工原则是:微调管手法,检索管事实。用微调让模型掌握你所在领域的表达方式、结构偏好、术语体系,让检索负责注入具体的事实和最新数据。这样既避免了知识过时,又避免了模型有事实没章法。
混搭的常见坑是边界不清。事实也微调、手法也靠提示词现场教,结果两套系统互相打架。豆包和腾讯元宝的企业方案里都能看到类似分层:通用能力靠基座,领域表达靠微调,实时知识靠检索。至于先改模型还是先改问法,那是微调与提示词工程要聊的另一本账。
对照表:微调装手法,检索装事实;微调更新以天计,检索更新换文档;出错时一个难定位,一个可溯源。知识常变走检索,知识定型走微调。
混搭还要防一种隐性浪费:同一份知识两边都存。参数里学了一份,向量库里又存了一份,更新时只改了一边,两边就对不上了。治理办法是定一份唯一数据源,检索库和训练数据从同一份文档派生,更新走同一条流水线,这样才能保证两边说的是同一套事实。
微调和 RAG 的三个常问问题
- 预算只够做一样,先做哪个?知识常变的先做检索,搭建快、见效快;表达有固定套路再补微调。
- 检索会让模型变笨吗?不会,但查不准时回答会飘,检索质量和文档切分方式比模型选择更关键。
- 微调过的模型还需要检索吗?需要,微调装不下一整座图书馆,事实性知识交给检索更稳。


