企业选大模型,先算账再比能力:一年调用多少次、每次多少 token、失败重试多少、谁来维护。百川和零一万物都提供开放接口,也都发布过开源权重,差异不在谁的分数高,在垂直方向、部署形态和服务方式。这三项对齐了,选型才有意义。
下面按三条判据和一个成本模型拆开,最后给一张能直接对号入座的表。具体版本、价格与授权范围以厂商官方最新版本为准。
结论:先定部署形态,再定厂商
数据能出域、团队没有推理运维能力,走 API,两家都能接,比价格、比限流、比响应速度。数据不能出域,或者调用量大到单价敏感,走开源权重自部署,比的是模型在你自己硬件上的吞吐和显存占用。
先定这一层,是因为它决定后面所有比较的维度。API 比的是每百万 token 多少钱、配额多少、故障怎么赔;自部署比的是单卡能跑多少并发、量化后掉多少效果、谁来值夜班。两者的评分表根本不是一张。
判据一:通用文本还是行业垂直
摘要、抽取、分类、客服问答、文案改写,这些通用任务两家都能做,差距经常小于提示词写得好不好的差距。这类场景别在模型上纠结,把预算放在评测集和提示词上更划算。
行业垂直场景不一样。医疗、政务这类方向,差距不在榜单分数,在词表、标注数据、交付经验和合规流程。公开资料里百川把医疗作为重点方向之一,这类积累体现在专业术语少错几个,以及知道哪些话不能说,需要用自己的样本测。
判断方法:拿五十条本行业的真实输入,其中二十条包含专有名词、缩写、口径歧义,看两家谁错得少、错得是否可解释。榜单测不出这些。
判据二:上下文与结构化输出
长文档场景看两件事:能放多长,以及放在中间的内容能不能被找到。窗口大不等于读得准,把关键条款放在第三十页,很多模型会漏。测试时把答案分别放在开头、中间、结尾,各跑一遍。
结构化输出看稳定性。要 JSON 就连续跑一百次,统计字段缺失率、格式错误率、多余解释的比例。这项指标直接决定你要不要写一堆解析兜底,兜底代码也是成本。
还有一个常被漏掉的项:流式输出。要边生成边展示的场景,看首字延迟和中途断开的恢复方式,这比总耗时更影响体验。
成本:四个口子
一是单价乘用量。输入和输出通常不同价,长上下文更贵,缓存命中可能便宜。算的时候用自己真实的输入输出比例,不要用平均值。
第二个口子是重试。结构化输出失败要重跑,实际成本等于单价乘以一加重试率。重试率高的场景,便宜的单价会被吃掉。
第三个口子是人力。提示词维护、评测集维护、推理优化,至少要半个人。自部署还要加运维:驱动、显存、扩容、监控,这些不会因为开源而消失。
第四个口子是迁移。调用有没有封在一层内部接口,决定换模型是改配置还是改代码。这一项在签约时看不出价值,第二年换模型时救命。
自部署和调 API 的账怎么算,权重自部署与 API 的取舍给了完整的对比框架,包括硬件折旧和人力怎么摊。模型结构的选择,稠密模型与 MoE 的差别会影响推理成本和显存占用,采购前值得看一遍。
决策对照
| 条件 | 倾向 | 先验证什么 | 成本口径 |
|---|---|---|---|
| 月调用量小、要快速上线 | 走 API,两家都可 | 一周内跑通核心链路 | 按量付费,预留两成重试余量 |
| 数据不能出域、有运维团队 | 开源权重自部署 | 单卡吞吐与量化后效果 | 硬件折旧、电费、人力分摊 |
| 医疗、政务等垂直场景 | 看行业积累与合规经验 | 五十条行业样本的错误类型 | 含交付与合规改造 |
| 中英双语内容为主 | 看双语一致性 | 同一批样本双语对照 | 按 token 计,注意语言价差 |
| 有微调需求 | 看是否开放微调与蒸馏 | 小样本微调是否真的涨点 | 训练、标注、迭代三轮 |
表只解决方向,最后一步一定是 POC。POC 不要做演示,要做一条真实业务链路:从输入到输出到人工复核,跑两周,记录失败次数和人工介入时长。
要不要微调,还是先做检索增强,微调和 RAG 怎么选给了判断顺序。多数知识型需求先做检索更划算,模型本身不用动。
它做不到什么
榜单分数预测不了你的场景。公开评测的数据分布和你的业务不一样,分数高三分不代表你的任务成功率高三分。
私有化不等于合规。模型部署在你机房,数据分类、访问控制、日志留存这些流程还得自己建,买软件不送制度。
开源权重不等于免费。许可范围、商用条件、二次分发限制要逐条读,尤其是对外提供服务的场景。
一家模型吃不下所有任务。分类用小的、生成用大的、长文档用长窗口的,混用通常比统一用一家的大模型便宜,代价是多一套调用管理。
企业选型速查
- 先定 API 还是自部署,再比厂商
- 通用任务比价格与稳定性,垂直任务比词表与合规
- 长文档测中间段落,结构化输出测一百次
- 成本等于单价乘用量,乘重试率,再加人力
- 评测集一百到三百条,每条有标准答案
采购前的三个问题
先做 POC 还是先谈价?先 POC,但谈的时候带上预估月调用量。同样的模型,量级不同拿到的配额和支持级别不一样,先谈价再测容易测了个假环境。
评测集要做多大?一百到三百条起步,覆盖高频场景和边界情况。每条要有标准答案或评分规则,否则跑完只能凭感觉挑,等于没测。
怎么避免被一家锁死?把调用封成内部统一接口,模型名走配置;提示词里不写某家的特殊语法;输出解析写成容错模式。做到这三条,换供应商是一次配置变更。


