用 AI 生成一段十几秒的视频,人物前几秒还是同一张脸,镜头一转就悄悄换了人,观众口中的「变脸」就是这么来的。可灵、即梦AI 这类视频生成工具都在和这个问题较劲。要理解它为什么难治,得先看视频是怎么一帧帧长出来的。
变脸发生在哪一步
视频生成模型通常以图生视频或直接文生视频的方式工作:按时间顺序分段生成一帧帧画面,帧与帧之间靠模型内部的记忆维持连贯。问题在于,这份记忆是概率性的,不是数据库里存好的一张身份证。每生成一段,面部特征都有微小的重新采样,累积几段之后,差异就从看不出来变成一眼假。
打个比方,像传话游戏:第一个人描述得再准,传到第五个人嘴里也会走样。帧与帧之间传递的就是这种「描述」,而不是原图本身。
人物数量是另一个变量。单人生成时,特征只需要守住一条线;两人同框时,模型要同时押住两套特征还要防止互相污染,难度翻倍。常见穿帮是两个人的五官互相渗透,A 的鼻子长到了 B 脸上。给双人镜头做生成时,把两人的外貌差异拉得越大越稳妥,比如一高一矮、一深一浅的发色。
| 变量 | 为什么会让脸变 | 可以怎么压 |
|---|---|---|
| 概率性记忆 | 每段生成都重新采样面部特征,差异逐段累积 | 缩短单段长度,让每段贴近锚点 |
| 人物数量 | 两人同框要同时押住两套特征,还防互相污染 | 把两人外貌差异拉大 |
| 镜头切换 | 参考信息断档,等于重新起笔 | 一个镜头一条生成任务 |
| 时长 | 生成越往后离参考图越远,约束越弱 | 人物特写安排在片段前段 |
镜头切换是重灾区
同一镜头内,相邻帧的传递链条短,脸还能稳住;一旦切镜头或大幅运镜,模型等于重新起笔,参考信息断了档,五官、发型甚至脸型都可能悄悄重掷。所以观察生成的视频会发现,变脸高发于转场之后,而不是镜头平稳的段落。
可带走的判断:想压住变脸,先压住镜头数。一个镜头一条生成任务,比一段视频里塞三个机位稳得多。
参考图和提示词的拉扯
现在的主流做法是首帧参考加文字描述:先给一张确定的人物图,让后续帧向它看齐。参考图给了锚点,但提示词也在同时发力,如果文字里出现「回头」「奔跑」这类大幅动作,模型为了完成动作,可能牺牲五官细节。动作幅度和面部保真之间,始终存在一笔隐性账。
还有一个容易被忽略的因素:时长。生成越往后,离参考图越远,约束越弱,脸也越容易飘。重要的人物特写尽量安排在片段前半段,效果普遍更好。
实操里可以用这套配合:首帧用静态图定妆,生成到三分之一长度截断,取最后一帧当作新的首帧再续生成。分段续接虽然多了工序,但每段都贴近锚点,变脸概率明显下降。代价是段与段的衔接处要逐段检查,动作接不上就回退重来。
帧间约束怎么起作用
工程侧的补救思路是给帧与帧之间加显式约束,比如限制相邻帧的特征差异范围,或者在面部关键点上做对齐。各家产品的具体实现以官方技术说明为准,但方向一致:把概率性的记忆,换成带锚点的传递。声音侧也有类似的连贯性话题,标点是怎么影响语音合成的讲的是另一个「守住节奏」的战场;形象固定在静态图里的解法,见数字形象的风格是怎么固定的;光影层面的穿帮则归生成图像的光影为什么会「假」管。
压制变脸的速查表
- 少切镜头,一镜一条任务。
- 首帧放清晰正面参考图。
- 动作提示词别与长相细节抢戏。
- 人物特写安排在片段前段。
最后一句:锚点越近,脸越稳。
人物变脸快问快答三则
- 为什么人物越常见越稳?:训练数据里同类面孔多,特征分布集中,采样不容易跑偏,虚构的罕见长相则相反。
- 时长翻倍脸必翻车吗?:概率大增但不必然,锚点强、镜头稳的情况下,长片段也能守住。
- 变脸能后期修吗?:局部可以,用视频编辑工具逐段替换面部,代价偏高,不如在生成阶段就控制住。


