主权重文件动辄几个 GB,而 LoRA 模型文件往往只有几十兆,相差上百倍。原因是后者并非完整的大模型,只是一层「低秩适配补丁」——它记录微调时学到的改动量,必须贴在对应的基座模型上才能工作。
完整模型记全部,补丁只记改动
基座模型的主权重把语言能力写进几十亿个数字里,文件自然按 GB 计。LoRA 的思路是:微调时冻结原有权重,只训练两片小小的低秩矩阵,把「这次学到了什么改动」单独存档。改动稀疏、维度低,几十兆就能装下。
顺带认识一下这个家族:QLoRA、LoRA+ 等变体名字不同,核心思路一致——都是冻结大权重、只训小矩阵,差别在省显存的手段和更新方式。下载时看到这类后缀,不必当成另一类东西,照旧按「外挂补丁」理解即可。
| 名字 | 核心做法 | 与 LoRA 的关系 |
|---|---|---|
| QLoRA | 冻结大权重、只训小矩阵,另有省显存的手段 | 同一思路的变体 |
| LoRA+ | 同样只训低秩小矩阵,更新方式不同 | 同一思路的变体 |
| 权重合并 | 两个模型权重整体融合,产物按完整模型计 | 另一条路线,产物是完整模型 |
可带走的判断:看到几十兆的模型文件,先默认它是外挂补丁而非独立模型,它必须和基座配对运行。
类比:不拆承重墙,只换软装
把基座模型想成一套精装房,承重墙与管线都已定型。LoRA 微调相当于重新布置软装:换窗帘、挪家具、刷局部配色,房子立刻带上你的风格,成本却远低于推倒重建。你平时用的文心一言、通义千问是官方调校好的完整模型;LoRA 服务的是想亲手改口味、定制专属风格的进阶玩家。
实用信息一条:模型仓库页面上通常会标明 LoRA 挂在哪个基座上,版本对不上就加载失败,和买家具要先量门口尺寸是一个道理。
类比失效处:软装再轻也要配户型
现实里的软装搬到哪套房子都大致能用,LoRA 不行。它和基座严格配对,架构、参数规模、版本任一项不匹配,轻则报错,重则输出崩坏。软装也改变不了采光格局,LoRA 同样搬不动模型的底层能力——想凭一个补丁让小模型脱胎换骨,做不到。
另一个失效点是适用范围:软装只影响观感,LoRA 补丁也主要影响文风与输出习惯,对数学推理、事实记忆这类硬能力的提升相当有限。
什么活儿适合交给它
换文风、学角色口吻、补小众领域的措辞习惯,这类「口味级」需求几十兆绰绰有余;涉及大面积新知识的任务,补丁就力不从心了。另一条路线是权重合并:把两个模型的权重整体融合,改动是全局的,文件也按完整模型计,与 LoRA 的局部小改形成对照。
还要分清两类「调节」:LoRA 改的是文件本身,而频率惩罚这类采样参数只在运行时生效,不动文件、只影响这一次输出。改口味找文件,调脾气找参数。
LoRA 与完整微调对照速查
- 改动范围:只训低秩小矩阵,还是全量权重?
- 文件体积:几十兆起步,还是按 GB 计?
- 硬件门槛:消费级显卡可训,还是需要多卡环境?
- 适配关系:必须与基座严格配对,还是自成一体?
四行看完,选哪条微调路线心里就有谱了。
LoRA 模型文件相关三问三答
- LoRA 文件能单独当聊天模型用吗?:不能。它只是外挂补丁,必须叠加在配套基座上运行,缺了基座它什么也做不了。
- 几十兆和几个 GB 的文件,该下哪个?:想原样使用模型能力,下主权重;只想在现有模型上叠加某种文风或技能,再补对应的 LoRA,两者角色不同。
- 微调产物为什么这么小?:训练时原有权重被冻结,只有两片低秩矩阵在更新,学到的改动量稀疏又低维,体积自然小。


