跳到主内容

AI 数字人的口型:自然度怎么判断

2026-10-08 发布 来源:我告诉你AI导航 阅读

AI 数字人的口型自然度,演示片说明不了什么。演示里语速平稳、句子短、正面特写,挑不出问题;换成你的稿子,数字、专名一多,嘴就跟不上。判断能不能用,要按真实播报的语速和文案去测。

AI 数字人的口型自然度,演示片说明不了什么。演示里语速平稳、句子短、正面特写,挑不出问题;换成你的稿子,数字、专名一多,嘴就跟不上。判断能不能用,要按真实播报的语速和文案去测。

口型是怎么被做出来的

链路分四段。文本先规范化,把数字、日期、金额、缩写转成读出来的词;再转成音素序列,处理多音字和连读;声学模型生成音频,同时给出每个音素的起止时间;末了把音素映射成口型参数,按时间轴驱动人脸。任何一段出错,画面都表现为「嘴型不对」。

这也解释了问题为什么总出在特定位置。数字和日期有多种读法,「2026」就有两种;专名按字母读还是按词读,规则不统一;连读会让音素边界变模糊;语速一快,预测的时长被压缩,口型动作来不及做完。看上去是嘴的问题,根子在文本和时长。

还有一层是渲染。唇形、牙齿、舌位的精度,决定大小开口音能不能区分;帧率决定动作能切多细。30 帧每秒的素材,一帧约 33 毫秒,两个音素之间的过渡只给一两帧,画面就会「糊过去」。

三个瞬间容易露馅

爆破音。b、p、m 要求双唇先闭合再放开,闭合那一瞬如果嘴张着,观众立刻觉得假。测时暂停在发音前一刻,看嘴唇有没有合上,放开的时机是否同步。

唇齿音。f、v 需要上齿轻触下唇。很多模型做成普通张口动作,单看一帧不明显,连看几个词就露馅。

句尾收声。一句话末尾通常是轻声或拖音,嘴应该逐渐闭合。不少成片在句尾还保持张口,像话没说完。播放头停在句号处逐帧看,很容易抓到。

连续快读是第四个高发点。新闻播报、产品参数、条款条文,语速一快,辅音密集,口型会明显滞后。正常语速下差距不大,快读时才拉开。

用你的稿子做一段 30 秒测试

测试稿不要用平台的「大家好,欢迎收看」。自己写 30 秒,含五类内容:十个数字或日期,三个专名或缩写,两句爆破音密集的话,一段接近真实播报速度的长句,一个句尾轻声。

生成时用正面特写、1080p 以上,不用美颜磨平嘴部。同稿、同形象、同参数,至少生成两版,避免把随机性当成稳定表现。跨平台对比时,稿子、语速、景别、分辨率保持一致。

看的时候分三档:正常播放看不出,算可用;暂停在特写能看出、全景看不出,算可修;正常播放就出戏,算不可用。三档比「自然度 8 分」有用,能决定用全景还是特写、要不要补帧。

再加一个盲测:找三位同事,不告诉他们用什么工具,只问「哪里看着别扭」。说不出哪里不对时,往往就是时序出了问题。让他们指具体位置,比给总分有效。涉及真人形象或声音,先取得本人同意。

评分要有门槛,不要只看平均分

检查项分五类:爆破音闭合、唇齿音、数字与专名、连续快读、句尾收声。每类按三档记,先设一票否决:爆破音、快读、句尾这三类里,任一类落到不可用,直接淘汰。这三处出问题,正常播放就会察觉,后期也难补救。

三项过线后,再比剩下两项和整体观感。这样选出来的工具,未必是样片好看的那个,却更可能是你的稿子能稳定交付的那个。只算平均分,平台可能特写好、快读崩,平均及格却不能交付。返工成本也要算:改一个字是否整条重生成,导出要不要排队,有没有水印。

哪些场景可以放宽

口播短视频可以放宽。观众注意力分散,画面切换快,轻微不同步不容易被抓住,内容和节奏更重要。把精力放在稿子和剪辑上,比逐帧对齐划算。

正式宣讲、教学视频、无障碍播报要收紧。画面被长时间注视,观众会盯着嘴看;教学还要求每个字清楚,口型错了会干扰理解。特写、固定机位、长段落凑在一起,问题会被放大。产品发布介于两者之间:全景可接受轻微偏差,特写和近景不行。

它做不到的口型

侧脸角度一大,唇形信息丢一半,模型只能猜。遮挡同样致命:口罩、手、麦克风挡住嘴,画面里没有可对齐的目标。胡须改变嘴唇轮廓,快速转头产生运动模糊,都会让口型发飘。多人对话、镜头频繁切换,逐帧对齐的成本也会成倍上升。

情绪激烈是另一道坎。大笑、哭喊、惊讶时,嘴型和面部肌肉联动,单靠音素驱动容易做成「嘴在动、脸没动」。唱歌更明显,拖音、转音、换气不在普通口播的训练范围。方言和外语会遇到音素覆盖不足,小语种尤其明显。

口型自然不等于内容可信。数字人能把错误的话说得很顺,观众不会因为嘴型自然就去核对。内容审核、事实核查、授权确认,仍要放在生成之前。

一张验收表

检查点测试素材合格表现常见原因
爆破音 b/p/m连续出现「不、怕、没」的短句发音前双唇闭合,放开与声音同步口型参数缺闭合动作;音频起音被裁
唇齿音 f/v含「方法、服务、发布」的段落上齿轻触下唇,不是普通张口音素映射缺项;牙齿遮挡未建模
数字与专名十个日期、金额、英文缩写读法与字幕一致,口型跟着实际读音文本规范化出错;多音字未标注
连续快读接近播报速度的 20 秒长句辅音不吞、口型不滞后时长预测被压缩;帧率不足
句尾收声每句末尾为轻声或拖音嘴随尾音渐闭,不保持张口尾音被截断;驱动曲线未收尾

数字人口型速查

  • 先看爆破音闭合、快读跟不跟、句尾收没收,任一项不可用就淘汰
  • 测试稿 30 秒,含十个数字、三个专名、两句爆破音、一段快读
  • 正面特写、1080p、无背景音乐,同稿同形象生成两版
  • 分可用、可修、不可用三档
  • 侧脸、遮挡、大笑、唱歌、方言,是目前容易失效的边界

数字人的实时驱动和口型对齐是同一套时间账,实时驱动讲得更细。测试前先确保音频干净,转写准确率会影响读音判断;口型训练依赖配对数据,数据质量的检查思路同样适用。具体功能与额度以官方最新版本为准。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]