本地跑 AI 值不值：三类人值得，三类人不值得

有人算过一笔账：一台带显卡的机器一万出头，云端接口每月几百块，两年下来本地更贵。可账不能这么算——如果手上处理的是客户名单、未公开的财报或者内部审计材料，钱根本不是主要变量。本地跑 AI 值不值，取决于你被什么卡住：数据不能出门，网络不稳，还是调用量大到账单难看。三类人各有各的答案，判断依据也不一样。

数据不出门是唯一站得住的硬理由

其他理由都能被替代方案化解，这一条不能。合规要求、客户约定、内部保密制度写明了数据不得离开指定环境，那就只能本地。反过来，如果只是「心里不踏实」，先去看云服务商的数据条款：多数商用接口承诺不使用客户数据训练，这一条能覆盖很大一部分顾虑。

需要分清「数据不出内网」和「模型不联网」两件事。前者是部署位置问题，后者是推理时是否调用外部服务。本地部署通常两者都能满足，但也有人把本地模型接上联网检索，那就另说了。

六类人，一张表看清

这张表里只有第一行是无条件的，其余五行都是算术题。算的是你未来两年的真实用量，不是想象中的用量——很多人按峰值估，结果机器大部分时间在待机，摊下来的单次成本比接口贵好几倍。

成本表上没写的四项

显存：模型权重之外，上下文长度直接吃显存，长文档场景的显存需求常被低估一半，处理两万字材料和两千字材料是两台机器的差别。内存带宽：不少机器显卡够用，瓶颈在主板和内存，token 生成速度上不去。电费与散热：满载运行的功耗和噪音，放在办公室是实际困扰。时间：从装驱动到跑通第一个模型，多数人要花掉一个完整的周末。

维护是持续支出。依赖冲突、驱动升级、模型换代，每次都要重新折腾一遍。这部分不进账单，但真实存在，而且往往落在同一个人头上——那个人休假的时候，机器出问题就没人管。

本地能跑的模型差在哪

三处最明显。长上下文：几万字的文档，本地模型容易丢中段信息，问到细节就开始编。复杂推理与工具调用：多步任务的完成率明显低于旗舰模型，一步错后面全错。中文细粒度任务：公文改写、术语一致性、格式保持，这些看起来简单的事，旗舰模型更稳。

量化能压低显存占用，代价是精度损失，位宽越低越明显，原理和取舍见量化。先想清楚你要的是「能跑」还是「跑得好」，这两个目标在本地往往不能同时满足。

混合方案往往比纯本地划算

敏感部分本地跑，脱敏后的部分交给云端；或者本地做初筛、格式转换、批量分类，云端只做最终生成。这条路的前提是你能把数据切开，切不干净就没有意义——一份文档里既有客户姓名又有公开条款，人工拆分的时间成本可能超过省下的钱。

切分的粒度要提前定。按文件切最简单，按段落切最灵活，按字段切最省事也最容易漏。三种做法对应三种脱敏流程，选错了后面每一步都在返工。

怎么算这笔账

三项加总：硬件按三年折旧，加上电费，再加上你自己维护的时间折算；然后对比同等任务量下的接口账单。日均调用次数要用日志里的真实值，不要用峰值。需要多少算力、显存怎么估，可参考算力的基本口径。

有个容易漏的项是试错成本。本地部署前期要反复试模型、试量化档位、试推理框架，这段时间不产出任何东西。把它算进去，很多看起来划算的方案就不划算了。

它算不出你的三个数

第一，它不知道你的真实调用量，这个数只有日志能给。第二，它不知道你的时间值多少钱，也不该替你定——有人愿意花周末折腾，有人一小时都不想花。第三，它判断不了合规边界：哪些数据算敏感，取决于行业规定和你签的约定，这个结论得问法务。

还有一层是时效。模型能力迭代很快，今天算出来的结论半年后可能翻转，本地与云端的差距在缩小，同一价位能买到的显存也在变。本地与云端的取舍逻辑，可对照免费版与付费版里那套「先看约束、再看能力、最后看钱」的顺序。想先弄清本地跑的到底是什么，见大语言模型的基本结构。

速查：决定之前先回答五个问题

• 数据是「不能出门」还是「不想出门」？只有前者非本地不可。
• 日均调用多少次？用日志里的数，别用感觉。
• 能接受能力降一档吗？长文档和多步任务最先暴露差距。
• 谁负责维护？这个人在出问题时有没有时间。
• 能不能把敏感和非敏感部分切开？能切就先考虑混合。