什么是端侧大模型？手机上的 AI 是怎么跑的

手机发布会上说端侧大模型，指的是模型权重被放进设备，推理过程在本地完成，不经过服务器。判断一个功能是不是真端侧，有个简单办法：开飞行模式试一下。还能用，说明算在本地；转圈报错，说明它仍然要联网。这个测试比看参数表直接。

差别在于算力放在哪

云端 AI 的流程是：设备把输入发到服务器，服务器跑模型，结果回传。端侧 AI 的流程是：输入留在设备内存里，芯片上的推理单元直接算，结果直接给应用。前者受网络影响，后者受芯片和内存影响。

五行里容易被宣传模糊的是头一行。同样叫大模型，云端跑的和端侧跑的往往不是同一个东西，参数规模差一到两个数量级，能力自然不在一条线上。

一个模型怎么塞进手机

原始模型动辄几十 GB，直接放进手机不现实。常见三步压缩：量化把权重从高精度降到低精度，用少量精度换大幅空间；蒸馏让小模型学习大模型的输出分布，拿大模型当老师；剪枝去掉贡献小的连接。三步叠起来，体积能降到原来的几分之一甚至更低。

量化是常被提到的一步，原理是把每个权重用更少的位数表示，模型量化的基本机制决定了它能瘦身多少、损失多少。这里有个取舍：压得越狠，内存占用越少，细微的语义差别越容易丢。

参数量在这里的作用也要说清。7B 和 70B 的差别不只是体积，还有能力上限，参数量与能力的关系可以对照着看。手机端普遍选小参数模型，原因不是不想用大的，是内存和功耗撑不住。

跑起来之后，体验差在哪

端侧的即时感来自省掉网络往返。一个简单的文本改写任务，云端方案要经历上传、排队、推理、回传，端侧只有末一步。这个差别在短任务上明显，长任务则会被计算时间盖过。

代价在持续负载。模型常驻内存会挤占其他应用的空间，连续生成时芯片负载升高，机身温度上升，系统往往会降频保护，速度随之下掉。用过一段时间会发现刚开始很快、后面变慢，这属于正常现象。

还有一层是模型更新。云端模型迭代，你下次请求就用上新版；端侧模型要跟着系统或应用更新才能换，节奏慢得多。开放权重的模型之所以在端侧受关注，一部分原因就是它可以被自由裁剪和部署。

哪些任务该留端侧，哪些必须回云

这张表的分界线取决于三个量：延迟敏感度、隐私敏感度、任务复杂度。前两个高、第三个低，就放端侧；反过来就交给云端。

端侧方案的边界

它撑不起需要大量世界知识的任务。模型小，记住的事实少，遇到需要广泛背景的问题容易给出似是而非的答案。它也做不了长上下文，手机内存装不下几十万 token 的中间状态，对话稍长就得截断。

多模态能力同样受限。图像理解和生成对算力的要求高于纯文本，端侧通常只能跑简化版本，效果和云端有明显差距。需要精细识别时，本地那一步更多是初筛。

还有一种隐性失效：宣传说支持端侧，实际只在特定机型、特定系统版本上开启。买之前确认自己的设备在支持列表里，别把发布会的能力当成到手的能力。

看到宣传时该问的三个问题

一问是不是全程本地。有些功能标着端侧，实际是本地做初步处理、云端做精细处理，断网就退化。二问占多少存储。模型文件动辄几个 GB，对存储紧张的设备是实际成本。三问支持哪些机型。芯片的推理单元型号不同，同一功能在不同设备上的速度差好几倍。

对普通用户来说，这三个问题的答案比参数表有用。你关心的是断网能不能用、手机还剩多少空间、换了设备还能不能用。

如果要做技术选型，还得看生成速度。端侧每秒能出多少 token 直接决定交互是否流畅，生成速度与 token 的换算可以用来估算一次回答要等多久，再判断这个任务放本地是否划算。

端侧 AI 速查

• 开飞行模式测试，能跑才是真端侧
• 端侧模型通常在十亿参数级，能力上限低于云端
• 量化压缩换空间，代价是细节精度
• 短任务与敏感数据放端侧，长文和复杂推理回云端
• 买前确认机型支持列表和模型占用空间

端侧和云端是分工关系，短期内不会互相替代。手机上的 AI 会越来越多地先在本机处理一轮，再把难题交出去，这个混合形态对用户的实际感受，取决于两端切换得是否平滑。