什么是唇形驱动？数字人说话的嘴

看 AI 数字人播报新闻，它开口说「大家好」，嘴型也真的在做「大家好」的动作，音画严丝合缝。让虚拟面孔的嘴跟上语音的技术，叫唇形驱动——数字人像不像真人的关键细节，观众一眼就能看出破绽的地方。

它要解决什么问题

人说话时嘴唇、下颌、舌头、脸颊在毫秒级协同动作，且和发音内容严格对应：「啊」要张大嘴，「唔」要抿圆唇。唇形驱动的任务，是拿到一段语音（或文字）后，逐帧算出口部该摆什么姿势，再驱动数字人的面部模型做出动作。做不好，就是观众最反感的「对口型错位」和「嘴巴匀速开合像在嚼东西」。

类比：配音演员贴口型，以及它失灵的地方

译制片配音演员对着原片口型调整台词节奏，和唇形驱动目标一致。但类比失灵之处：配音演员有语言功底，能灵活变通，机器却要按规则逐帧硬算；而且真人面孔的细节远超模型表达——牙齿、舌尖若隐若现、脸颊肌肉的牵动，缺一样就透出「假」。所以口型做对只是及格，微表情跟上才算像。

两条技术路线，各有各的算盘

主流做法有两类。一类是规则加音素映射：先把语音对齐到音素（对齐方法见语音识别里的对齐一文），再按「音素到口型」的对照表驱动面部，稳定可控，但动作偏机械。另一类是端到端学习：拿大量真人说话视频训练，模型直接从声音推测整张脸怎么动，效果自然，但训练数据不足时容易学出怪相。实用产品常两者混用：关键口型走规则保准确，周边表情走学习保自然。

观众为什么一眼看出假

槽点通常集中在三处：一是口型滞后于声音几十毫秒，人耳眼对这种错位极其敏感；二是停顿没有动作，真人不出声时嘴唇会预备下一句，数字人却常常「死机脸」；三是只动嘴不动眼，眼神和头部不参与，像面具在说话。改进方向也明确：语音侧把节奏做足（韵律先调好），驱动侧让头部、眨眼、眉毛一起参与。整段交互里「它什么时候开口」由前端判断，见端点检测与唤醒词检测；数字人整体怎么动起来，见数字人的驱动方式；从平面照片到立体形象的制作，见3D 生成。

补充一个观察人自己的角度：试着留意真人视频通话时对方的嘴，你会发现人眼对口的敏感远超想象——对方声音卡了零点几秒，你立刻察觉「怪怪的」。这正是唇形驱动难做的根本原因：它要骗过的是一套进化了几百万年的察言观色系统。也因此，评价数字人别只看宣传片，要找实时交互的演示看，录播可以反复调到完美，实时生成才是硬功夫。画面细节不满意，还能在生成后用指令编辑的方式定点修整，嘴型、表情都能单独调。这一行的进步顺序也大致如此：先对嘴，再对手势，最后才轮到眼神。

观感自查

• 嘴型慢半拍：语音与驱动的时延没对齐
• 嘴巴匀速开合：音素映射太粗糙
• 无声时面无表情：缺预备动作和微表情
• 只动嘴不动头：头部驱动没开启

一句话带走：口型是数字人的「信」，嘴对了观众才信这个人，嘴一错立刻穿帮。

聊聊唇形驱动的常见疑问

• 外语配音也要重新驱动口型吗？：要。不同语言音素组合不同，口型序列得重算，有些产品干脆改口型贴合台词或遮挡嘴部。
• 一张照片能让它开口吗？：可以，单图驱动是热门方向，模型推测照片背后没拍到的头部结构，效果好但大幅转头仍易失真。
• 为什么唱歌的口型特别难对？：歌唱拖长音、加转音，音素边界模糊，节奏又快，对齐和驱动都要加码处理。