跳到主内容

微调和 RAG 怎么选?知识进屋的两种装修

2026-10-18 发布 来源:我告诉你AI导航 阅读

大模型学新知识有两条路:把知识背进参数里,或者把知识放在手边随时查。微调和 RAG 怎么选,看的正是知识本身的脾气。常变的选检索,定型的选微调;这个判断先立住,后面的细节都是为它服务的。

大模型学新知识有两条路:把知识背进参数里,或者把知识放在手边随时查。微调和 RAG 怎么选,看的正是知识本身的脾气。常变的选检索,定型的选微调;这个判断先立住,后面的细节都是为它服务的。

结论先说:知识常变选检索,知识定型选微调

判断标准只有一条:知识更新的频率。一天一价的产品库存、随季节调整的活动规则、不断修订的内部文档,都该走检索路线,因为改文档比改模型便宜得多。反过来说,一套稳定的领域术语、固定的写作风格、很少变的业务口径,才值得微调进参数,因为它会被反复调用,值得花一次性成本。

还有个辅助判断:知识是事实还是手法。事实类知识更新快、条目多,是检索的强项;手法类知识比如回答的语气、结构的组织,变化慢,是微调的强项。续训与微调的区别也建立在这个分野上。

知识进屋的两种路径

微调的路径是把知识写成训练样本,让模型在参数更新中吸收。好处是调用时零延迟、不需要外部系统,模型对这类知识的回答也更连贯。代价是更新要重训,而且知识被摊在参数里,说不清它到底学会了哪几条。

检索的路径是把知识切成片段存进向量库,提问时先查出相关片段,再连同问题一起交给模型。好处是更新只需换文档,来源可追溯,答错了能查到出处。代价是依赖检索质量,查得不准时模型只能干着急,而且上下文长度受限,塞太多片段反而干扰回答。LoRA 的秩怎么取属于微调路径的参数问题,检索路径不涉及。

更新成本与出错方式的差别

成本账要算全。微调的成本集中在每次更新:准备数据、跑训练、评估、部署,一轮下来以天计。检索的成本集中在搭建期:文档切分、向量化、检索调优,一旦搭好,日常更新只是替换文档。团队只有一两个工程师时,检索路线的维护压力明显更小。

出错方式也完全不同。微调出问题是知识学歪了,表现为固执地输出过时或错误内容,而且很难定位是哪批数据造成的。检索出问题是没查到或查错,表现为答非所问,但至少能顺着文档摸到原因。

两条路的成本、出错和溯源,逐项对一遍。

对照项微调检索(RAG)
知识怎么装进去写成训练样本,在参数更新中吸收切成片段存进向量库,提问时先查后答
更新成本每次更新要备数据、跑训练、评估、部署,一轮以天计搭好之后日常更新只是替换文档
出错表现知识学歪,固执输出过时或错误内容没查到或查错,答非所问
能不能溯源知识摊在参数里,很难定位是哪批数据造成的顺着文档摸到原因,答错能查到出处
擅长的知识类型手法类:语气、结构、术语体系、业务口径事实类:库存、活动规则、内部文档、最新数据
微调框架能降低前者的操作成本,但省不了数据准备的功夫。

混搭时怎么分工

实际项目里两者常常一起上,分工原则是:微调管手法,检索管事实。用微调让模型掌握你所在领域的表达方式、结构偏好、术语体系,让检索负责注入具体的事实和最新数据。这样既避免了知识过时,又避免了模型有事实没章法。

混搭的常见坑是边界不清。事实也微调、手法也靠提示词现场教,结果两套系统互相打架。豆包和腾讯元宝的企业方案里都能看到类似分层:通用能力靠基座,领域表达靠微调,实时知识靠检索。至于先改模型还是先改问法,那是微调与提示词工程要聊的另一本账。

对照表:微调装手法,检索装事实;微调更新以天计,检索更新换文档;出错时一个难定位,一个可溯源。知识常变走检索,知识定型走微调。

混搭还要防一种隐性浪费:同一份知识两边都存。参数里学了一份,向量库里又存了一份,更新时只改了一边,两边就对不上了。治理办法是定一份唯一数据源,检索库和训练数据从同一份文档派生,更新走同一条流水线,这样才能保证两边说的是同一套事实。

微调和 RAG 的三个常问问题

  • 预算只够做一样,先做哪个?知识常变的先做检索,搭建快、见效快;表达有固定套路再补微调。
  • 检索会让模型变笨吗?不会,但查不准时回答会飘,检索质量和文档切分方式比模型选择更关键。
  • 微调过的模型还需要检索吗?需要,微调装不下一整座图书馆,事实性知识交给检索更稳。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]