跳到主内容

Vidu 参考图生视频怎么用:一致性技巧

2026-10-08 发布 来源:我告诉你AI导航 阅读

Vidu 的 AI 参考图生视频,针对的是「同一个角色换个镜头就变脸」。做法是把一张图作为外观依据,文字描述只负责动作。听起来简单,翻车通常发生在两处:参考图本身不合格,或者描述里又把外貌写了一遍——图片和文字给出两个信号,模型只能...

Vidu 的 AI 参考图生视频,针对的是「同一个角色换个镜头就变脸」。做法是把一张图作为外观依据,文字描述只负责动作。听起来简单,翻车通常发生在两处:参考图本身不合格,或者描述里又把外貌写了一遍——图片和文字给出两个信号,模型只能各取一半,脸就散了。

一致性靠减变量,不靠加描述

每多一个变量,模型就多一次自由发挥。参考图定长相、风格句定影调、动作句定运动,三段各管一件事,边界清楚,结果才稳。描述里同时出现「短发、圆脸、米色外套」和一张参考图时,两者不一致,模型会折中,折中的结果就是一张既不像图也不像描述的脸。

有个简单的判断:把描述里所有形容外貌的词删掉,读一遍,如果动作和镜头仍然说得清,这段描述就是合格的。删完发现信息不够,说明你原本在用文字替代参考图,该回去换图而不是加形容词。

这条原则也适用于风格。参考图本身带影调,再写一句「冷色调、强对比」,等于给了两个指令。风格句的作用是锁住,不是改动。

参考图筛选的四条硬标准

正面或接近正面、光线均匀、背景干净、分辨率够。四条里最容易忽略的是光线:一张侧逆光的照片,脸部一半在阴影里,模型提取到的特征本身就是残缺的,后面怎么调都补不回来。

全身图和特写不要混用。同一角色,前一段用半身图、后一段用全身图,模型对脸部的参考信息量差了一个量级,第二段的脸容易「泛化」成一张普通的脸。多段生成时统一用同一张半身图作基准,需要全身镜头就靠描述里的景别去推。

画面里不要有第二个人。出现两张脸,模型未必知道你要哪一个,动作幅度大的片段里尤其容易把两个人的特征混在一起。同样要避开的还有大面积遮挡:口罩、墨镜、手挡脸,都会让可用特征变少。

描述只写「动」,不写「长什么样」

参考图已经给了外观,文字的任务是告诉模型「这一秒在做什么」。有效的描述包含四项:动作本身、动作幅度、镜头关系、环境互动。比如「人物从坐着站起,右手撑桌,镜头保持中景不移动,窗外光线不变」。

要避开三类词:外貌形容(发型、脸型、服装细节)、情绪抽象词(悲伤、自信)、无法验证的风格词(电影感)。前两类模型无法稳定映射,第三类会把影调带偏,反而破坏多段之间的一致性。

动作写得越具体,一致性越好,因为模型把注意力放在「怎么动」而不是「长什么样」。同一个角色连做三段,每段只给一个主要动作,比一段里塞三个动作更容易保持脸不漂。

多段一致的操作顺序

先定基准图和基准句,再逐段改动作。基准句是一段固定不变的风格描述,通常是「写实、自然光、浅景深、中景」这类影调与镜头信息,每段原样复制;动作句每段重写。顺序不能反——先写一堆动作再去找共同点,很难统一。

生成顺序也有讲究。先做段一,挑出最满意的一条作为后续的视觉基准;段二生成时对照段一检查脸型、发型、服装主色。发现有偏移,先改参考图或降低动作幅度,不要指望靠加描述拉回来。

部分产品提供固定随机种子的入口,能否复现同一条结果以实际界面为准。有种子就固定种子,没有就靠固定参考图加固定风格句,效果差一些,方向仍然一致。

哪些差异该忍,哪些必须重生成

差异类型是否正常处理方式判断标准
五官比例与脸型不正常换更清晰的正面图,降低动作幅度能认出是同一角色
发型走向与发丝轻微正常一般不处理发长与分缝不变
服装褶皱与下摆正常不处理主色与版型不变
背景元素位置轻微正常固定背景描述不出现明显穿帮物
光影方向与色温不正常统一风格句,去掉矛盾光源词两段影子朝向一致
手部与道具常见错误减少手部特写,改景别指数量与握持关系正确

这张表的作用是先分类再决定花不花时间。脸和光错了必须重来,褶皱和背景可以放过,否则一段五秒的片子能卡一整天。

参考图搞不定的场景

参考图给的是静态外观,给不了动作习惯。一个人走路的重心、说话的手势、转身的节奏,这些从一张图里推不出来,多段之间容易出现「同一个人的不同演法」。要缓解只能在描述里把动作写细,或者减少同一角色的连续镜头。

大幅度动作是弱项。奔跑、跳跃、格斗这类镜头,模型需要重绘身体姿态,参考图提供的外观信息在重绘中被稀释,脸容易飘。可行的做法是把动作拆小:先站起、再转身、最后走出画面,每段幅度控制住。

时长和分辨率会影响细节保留,时长越长、分辨率越低,脸部细节丢失越明显,具体档位以官方最新版本为准。需要交付高清成片时,先用低档位试动作,动作定了再出高档位,比直接出片省额度。

参考图一致性速查

  • 三段分工:图定外观、风格句定影调、动作句定运动
  • 参考图选正面、匀光、干净背景、够清晰
  • 描述删掉所有外貌词,只留动作与镜头
  • 多段用同一张基准图、同一句风格描述
  • 脸和光错了重生成,褶皱和背景可以放过

三个常被问到的问题

  • 能用真人照片做参考图吗?:技术上可以上传,但要先确认肖像授权和平台规则。商用素材里出现可识别的真人脸,风险不在生成环节而在使用环节,拿不到授权就不要用。
  • 同一角色换服装,怎么还是同一个人?:把服装变化写进描述,参考图仍用原来那张,让模型在保持脸部的前提下换衣。变化幅度大时,先出一张换装后的静帧,确认脸没变,再拿它当新的基准图。
  • 参考图和首帧能同时用吗?:部分产品把两者分开设置,参考图管角色、首帧管构图,同时用能兼顾一致性和起手画面。两个入口是否同时开放,以实际界面为准。

一致性解决之后,接下来是交付参数。时长与分辨率怎么选直接决定细节能不能留住;动作描述总写不顺,把通用模板改成自己的写法里有可以照搬的结构;一个项目里参考图和成片越积越多,用共享知识库统一存放能避免拿错版本。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]