要把开源大模型搬进自己机房，拿到两份报价单时最容易卡住：一边写着「开箱即用的一体机」，一边是「服务器加软件的自搭清单」。一体机是厂商把硬件、推理环境和常用模型预装调好之后整体交付；自搭方案则是自己选卡、装环境、跑通服务。结论先说：要确定性就买一体机，要灵活和成本控制就自搭，分界点落在团队有没有持续运维的人手。
一台一体机里装了什么
拆开看无非四层：算力硬件、驱动和推理框架、预置的模型权重、一个管理界面。它像品牌整机，通电配置网络就能用，从下单到上线往往按天计。厂商负责兼容性验证，出问题有统一售后入口，这是它最大的卖点。管理界面通常还带用量统计和权限分级，这部分自搭要自己拼装，不少人低估了它的工作量。
自搭路线要搭哪些东西
自搭是把四层全部自己拼：先选卡，再装驱动和推理框架，然后去 ModelScope 这类平台下载合适的模型权重，最后做接口、权限和业务对接。每一层都可以按需裁剪，想省显存就换小模型，想提速就改量化方案，自由度高，但周期以周计，中途踩的坑都得自己填。框架选型本身有讲究，社区活跃度、量化支持、更新频率都该列入考察，中途换框架的代价远比想象大。
三五年后的账差别最大
买的时候只差几万块，拉长到三五年就分出高低：一体机的升级受制于厂商的版本节奏，想换更新的模型只能等适配；自搭随时换卡、换框架、换模型，硬件还能挪去干别的活。反过来自搭要一直养着懂行的人，这笔人力钱别忘了加进去。电力和制冷这类细水长流的开销两边都要算，整机功耗有时反而更低，拿到参数表再比。拿不准就把两条路线的支出项目交给腾讯元宝或文心一言列个清单，逐项填数字对比。
把这两条路线摊在四笔账上，差别一眼可见。
| 账目 | 一体机 | 自搭 |
|---|---|---|
| 升级节奏 | 受厂商版本节奏约束，想换新模型只能等适配 | 随时换卡、换框架、换模型，节奏自己定 |
| 人力投入 | 厂商统一售后，团队不必养专职运维 | 要一直养着懂行的人，这笔钱别漏算 |
| 硬件去向 | 整机绑在一起，挪作他用不灵活 | 硬件能挪去干别的活 |
| 电力与制冷 | 整机功耗有时反而更低，看参数表再比 | 逐件选配，功耗随配置浮动 |
什么规模选什么
- 几十人以内、只想尽快用上大模型，一体机最省心；
- 有专职运维、业务要深度定制，自搭上限更高；
- 数据要和私有化环境深度集成，自搭或参考私有化和混合部署的混合路线更顺；
- 预算一次到位、不想年年扯皮，一体机的整包价位更好谈。
采购前问自己四个问题
第一，有没有人能长期管机器？没有就别碰自搭。第二，模型半年内会不会大换？会的话优先可替换的方案。第三，上线之后监控谁来做？不管选哪边，都要配好实时告警和定期巡检。第四，以后要不要接多个模型分摊请求？要的话提前预留调度位置，参考多模型路由和单模型加降级。还有一种折中：先用一体机把业务跑起来，第二年再评估要不要迁到自搭集群，两步走的风险最小。
自查清单
- 运维人手：有 → 自搭；无 → 一体机
- 上线时限：一周内 → 一体机；可等一个月 → 自搭
- 三年内扩卡计划：有 → 自搭；无 → 一体机
- 售后要求：要上门 → 一体机；能远程自己修 → 自搭
- 模型定制：深度改造 → 自搭；用现成的 → 一体机
划重点：分界点不在钱上，在人手上。
一体机和自搭方案快问快答三则
- 一体机里的模型能自己换吗？：部分厂商开放权重替换入口，换之前先确认许可范围和推理框架的兼容性，别等买回来才发现锁死。换机器前还要把数据导出路径确认清楚，别把日志和微调数据锁在旧设备里。
- 自搭最少要几个人维护？：小规模单机场景，一名熟悉服务器和模型的工程师兼职就能覆盖，规模上来后再加人。
- 两边的账怎么摊到部门？：把硬件折旧、电费、人力分开记账再分配，口径参考成本归集和成本分摊这篇更清楚。
把「谁来看管它」想清楚了，选哪条路线其实只剩流程问题。分界点从来都在人身上，不在配置表上。
