这一年开源大模型最明显的变化,是可用的下限在抬高:过去提开源总要补一句“效果差一些”,现在这句话在多数常规任务上已经不成立。与此同时,开源与闭源的方向在分开,一个往可部署、可改造走,一个往能力上限走。选型之前先认清这个分叉,比记住任何一个模型名都有用。
三个真变化:权重、成本、工具链
权重的可得性成了常态,主流厂商把开放权重当成一条产品线,而不是一次营销动作;推理成本被量化与蒸馏压低,同样的活能在更小的卡上跑起来;工具链成熟得比模型更快,推理框架、部署脚本、微调工具从“能跑”变成“照文档就能跑”。
三者叠加,自建的门槛从“有没有技术能力”变成“愿不愿意承担运维”。这是一句很实际的判断,很多团队卡住的原因不在模型,在没人愿意值班。
三个阶段,三种心态
早期大家关心“能不能跑起来”,跑通就是成果;中期关心“效果够不够用”,榜单和评测集成了主要参考;现在关心“能不能长期维护”,问题变成版本升级、显存、监控、回滚。这条迁移线说明开源模型进入了工程阶段,讨论重点从能力转向成本结构。
心态也要跟着换:还拿榜单名次做决策,等于用中期的标准处理现在的问题。榜单测的是通用任务的平均表现,你的业务只关心那几十条真实输入。
哪些环节真的变了
采购流程变了,过去要说服老板“用开源的”,现在要说服的是安全和运维;评测方式变了,从看公开榜单转为拿两百条自己的任务跑分;部署形态变了,从一台机器试跑转为开发、灰度、生产多环境;人才要求变了,会调接口的人多,会做推理优化和版本管理的人少。
还有一个不太被提的变化:替换模型的成本降低了。接口层做一层适配,换模型从“重构”变成“改配置”,选型因此从一次性决策变成可以按季度重估的事。
哪些其实没变
数据治理没变,脏数据进去还是脏结果;业务对齐没变,模型不知道你的行业黑话和内部口径;长尾任务没变,公开评测好看的模型在你的边缘场景上照样翻车;幻觉没变,只是变得更像真的;运维成本没变,甚至更高,因为版本与容量要自己扛。
这条最值得记住:开源省的是许可费用,总成本不一定省。人、卡、电、监控、值班,都要摊进去算。
选型前先答四问
- 数据能不能出内网,不能就别比效果了
- 月调用量能不能预测,波动大就优先调用
- 有没有两千条以上真实任务做回归测试
- 许可证的商用与再分发条款逐条确认了吗
自建还是调用,按场景分
| 场景 | 倾向 | 判断标准 | 隐性成本 |
|---|---|---|---|
| 数据不出内网 | 自建 | 合规要求写进采购条款 | 机房、审计、等保 |
| 高频稳定调用 | 自建或长期包量 | 月调用量可预测 | 低谷期容量闲置 |
| 需要深度定制 | 自建加微调 | 有几千条高质量样本 | 标注与评测人力 |
| 需求波动大 | 调用 | 峰值与谷值差三倍以上 | 单价随规模下降有限 |
| 强实时交互 | 看延迟实测 | 首字延迟能稳定复现 | 边缘部署与调度 |
表里第四列是决策时最容易被跳过的一列。隐性成本不会出现在报价单上,但会出现在半年后的预算复盘里。
许可证比榜单更实际
能不能商用、有没有用户量上限、要不要署名、改过的权重能不能再分发,这四条决定你能不能用,比能力排名实际得多。常见的坑是把“开源”理解成“随便用”,实际有些许可对商业用途、模型输出、二次分发各有条件。三种常见限制可以看开源模型都能商用吗。
实操建议:把许可条款当成采购清单里的一行,逐条确认并留档;重要用途让法务过一遍,别拿“社区都说可以”当依据。条款以官方发布为准,转述和博客解读都可能过期。
怎么读这一年的新闻
看芯片新闻时,分清制程、算力、生态三件事,别被单一参数带走,方法见怎么看懂 AI 芯片新闻;看价格战时,分清补贴价和长期价,判断标准见怎么看懂一次 AI 价格战。两条线的共同点是:短期数字好看,长期结构才决定你能不能依赖。
具体到开源模型,值得追的新闻只有三类:权重是否真的开放、许可条款有没有改、推理成本有没有实质下降。发布会的参数对比,对你的选型几乎没有影响。
三个判断上的分歧
小团队有没有必要自建。除非数据不能出内网,多数情况不值得。一台卡的运维成本常常高于一年的调用费,而且模型半年一换,折旧比想象中快。
版本更新要不要跟。按季度评估,不按发布跟。每次升级都要跑同一套回归用例,没有用例就不要升,凭感觉升级的代价通常大于收益。
开放权重和开源是一回事吗。不是。开放权重只给参数,训练数据、训练代码、数据流程未必公开;判断能不能改、能不能复现,要看具体开放了什么,这一点在评估“可不可控”时差别很大。
本文只讲方法与思路,不构成法律建议,具体事项请咨询执业律师。


