按下快门的瞬间,手机其实连拍了好几帧,你拿到的却只有一张干净的照片——中间这道工序,就是计算摄影里的多帧合成:AI 先把多张原始画面收进缓存,再对齐、融合,算出一张单次曝光拿不出的好照片。它与滤镜那种事后修饰不同,是从按下快门那一刻就开始的「先拍后算」。这篇按工序拆开讲:连拍收什么、对齐怎么对、融合怎么融,以及算力与内存在这条流水线上要付的代价;整机拍照 AI 的场景清单,见相机 AI 能力一篇,那里讲的是「能做什么」,这里讲「怎么算出来的」。
连拍:先把素材收进缓存
多帧合成的第一步是多拍。单帧有物理极限:暗光下想曝光充分,快门就得拖长,手一抖画面就糊;想快门快,进光少,噪点就爬满画面。多帧合成的思路是把这道两难题拆开:连拍多张短曝光的帧,每张都清晰,噪点却是随机的——随机的东西多张一平均,就能互相抵消。所以按下快门的瞬间,系统会以极短的间隔连收数帧甚至数十帧,有的机型还会同时收不同曝光时长的帧,亮的帧保住高光细节,暗的帧捞出阴影信息,素材越全,后面能算出的东西越多。这些原始帧都先存在内存里等处理,内存要为此留出成片的缓冲空间,预算怎么排,本地内存预算一篇的思路可以对照。
对齐:把几张画对到同一步上
多张素材到手,麻烦才真正开始:连拍之间手在抖、人在动、树叶在摇,每帧的画面都不完全重合,直接叠在一起,出来的就是重影。对齐这一步做的,是把所有帧「搬」到同一坐标系上:算法从画面里提取特征点——边缘、角点、纹理丰富的小块——在相邻帧之间追踪它们的位置变化,据此估算每一帧的偏移与旋转,再把像素逐点搬回位。对齐精度以亚像素计,差半个像素,融合后细节就发虚。更难处理的是运动区域:画面里走过的行人没法跟静止背景对齐,算法会把这类区域单独圈出来,只在静止区域做平均,运动区域取单帧,避免出现「鬼影」。这一步是整条流水线里计算最密的地方,也是各家画质差距的主要来源。
融合:加权算出一张
帧对齐了,最后一步是把多张图算成一张。融合按区域加权:噪声水平低的区域多取,模糊的区域少取;不同曝光的帧各取所长,高光处取短曝光的帧压住过曝,阴影处取长曝光的帧补足细节;锐度上,每个位置取最清晰那一帧的像素。平均之后还要做后处理:清掉残余噪声、恢复真实色彩、把细节锐回来。到这一步,几十帧原始数据才算收敛成一张照片——你看到的成片,是算出来的而非直接拍到的。
| 工序 | 关键动作 | 原文给出的判据 | 决定成片的什么 |
|---|---|---|---|
| 连拍收帧 | 以极短间隔连收数帧至数十帧,部分机型兼收不同曝光时长 | 短曝光帧噪点随机,多张平均可互相抵消 | 素材够不够全:亮帧保高光,暗帧捞阴影 |
| 对齐 | 提取边缘、角点、纹理块,追踪帧间偏移与旋转,把像素搬回位 | 精度以亚像素计,差半个像素细节就发虚 | 有没有重影;运动区域单独圈出、只取单帧以避免鬼影 |
| 融合 | 按区域加权:低噪多取、模糊少取,高光取短曝、阴影取长曝,每个位置取最清晰帧 | 按噪声水平与锐度分配权重 | 动态范围与锐度 |
| 后处理 | 清残余噪声、恢复真实色彩、把细节锐回来 | 在融合之后执行 | 观感是否自然 |
代价:算力与内存的账
这套工序的代价记在两个账本上。一是算力:连拍、对齐、融合要在几秒内跑完几十帧千万像素级的数据,靠的是芯片里专门的算力单元,能跑多复杂的多帧方案,先看芯片有多少算力余量,算力怎么计量,TOPS 是什么一篇讲过。二是内存与功耗:几十帧原始数据同时压在缓存里,内存的容量与带宽都要跟得上;高频运算也让机身发热、耗电加快,所以连拍一阵后你常会觉得机身温热——那是流水线在满负荷运转。功耗怎么在整机里分配,功耗预算一篇算过总账。厂商权衡的正是这三样:算力、内存、发热,配给越足,能用的多帧方案越激进。
看懂工序再看功能
把工序走通一遍,很多日常现象就解释得通了:为什么按完快门要等一瞬才出片——对齐与融合需要时间;为什么三脚架上拍夜景更干净——帧间偏移小,对齐损耗低,平均可以做得更狠;为什么拍运动物体时夜景模式效果打折——运动区域只能取单帧,平均的降噪红利吃不到。同一个原理,配上不同的连拍策略与融合权重,就是夜景、HDR、抓拍这些功能名。想自己验证,可以让 DeepSeek 列一张「夜景模式开启前后成像差异」的对照清单,再用豆包的相机实际对比一组明暗场景的样张,把工序与效果对上号。
多帧合成速查
- 先拍后算:连拍多帧是素材,成片是算出来的
- 对齐靠特征点追踪,精度以亚像素计,运动区域单独处理
- 融合按区域加权:低噪多取、高光取短曝、阴影取长曝
- 代价三样:算力、内存、发热,配给决定方案上限
- 按完快门等一瞬,是流水线在跑对齐与融合
关于多帧合成的三问三答
- 连拍了那么多张,为什么最后只有一张?:多帧是原材料,成品只有一张。每帧都有各自的缺陷——这张噪点多、那张手抖了,合成的作用是取长补短,把几十帧的信息收敛进一张图,所以成片只有一张。
- 多帧合成和后期修图是一回事吗?:层次不同。修图改的是已经成型的那张图;多帧合成发生在成像环节内部,用的是多张原始数据共同算出成片,素材包含的信息比最终照片还多。两者可以叠加,但先后与深度都不一样。
- 为什么有些手机夜景几乎秒出,有些要等几秒?:流水线速度取决于算力配给与方案复杂度。算力足、方案轻的机型融合快;帧数收得多、对齐做得细的机型画质上限更高,等待也更明显,这是速度与画质的取舍。


