语音识别把声音变成文字,语音合成把文字变回声音,方向恰好相反。先说结论:要「听清人话」用识别,要「让机器开口」用合成,讯飞星火、豆包等产品里两者常打包出现,但内部是两条不同的技术线。下面从原理到评测,把听与说分开讲。
先说结论:输入输出互为镜像
识别的输入是音频、输出是文本;合成的输入是文本、输出是音频。镜像关系让很多人以为它们互为逆过程,能简单对调,其实两边的难点完全不同,模型结构也不同,不能想当然地反向复用。
记不住公式没关系,记方向就够:识别是「听写员」,合成是「播音员」,岗位不同,考核标准自然不同。
听的过程怎么拆解声音
识别要闯三关。声学关:把连续的声波切成时间片段,提取频率特征;对齐关:声音片段和候选文字之间没有天然界线,连读、吞音、口音都增加歧义;解码关:在众多候选里结合语言习惯挑出通顺的序列。热词机制就是在最后一关做文章,给指定词加分。
环境噪音是识别的宿敌,同一段录音,安静房间和嘈杂咖啡厅的表现可能差出一个档位。
远场和近场也是分水岭。手机贴着嘴说话,声学条件理想;会议室里隔几米吊麦收音,混响和串音全来了。同样是识别,场景差一点,难度翻几倍,所以商用转写方案都很看重硬件配合,软件单打独斗有天花板。
说的过程怎么拼出语音
合成走的路径不同:先把文本正则化,数字、缩写、多音字定读法;再预测韵律,哪里停顿、哪里升降调;最后生成声波。难点在自然度,机器腔和真人腔的差距集中在语调起伏和呼吸感上,标点正是韵律的重要线索,标点怎么调度停顿,站内专题有展开。
可带走的判断:识别拼的是「听懂没听懂」,有对错之分;合成拼的是「像不像真人」,是程度之分。两者的改进方向因此完全不同。
情感表达是合成的新战场。同一句「你来了」,疑惑、惊喜、冷淡读出来该是三个版本,早期系统只有一种腔调,新一代模型开始支持情绪标签,在文本里标注语气就能切换。这个方向和配音行业的角色感需求直接对上,也是产品拉开差距的地方。
评测口径为何不一样
识别看字错率,数字越低表现越好,错一个字记一个字,客观直接。合成看自然度,靠人耳打分或者用模型模拟人耳评价,主观成分高。所以宣传识别效果时爱报错误率数字,宣传合成效果时爱说「接近真人」,口径不同,比较时别混着看。
两边的差别不止方向,逐项并排看更清楚。
| 对比维度 | 语音识别(听) | 语音合成(说) |
|---|---|---|
| 输入输出 | 音频进、文本出 | 文本进、音频出 |
| 内部环节 | 声学关、对齐关、解码关三关 | 文本正则化、韵律预测、声波生成 |
| 难点所在 | 噪音、远场混响、连读吞音与口音 | 自然度,机器腔与真人腔的语调起伏和呼吸感 |
| 评测指标 | 字错率,错一个字记一个字 | 自然度,人耳打分或模型模拟人耳 |
| 改进方向 | 拼「听懂没听懂」,有对错之分 | 拼「像不像真人」,是程度之分 |
试听时建议用自己的真实素材:拿一段目标场景的录音去测识别,拿一段典型文稿去测合成,别用厂商的演示样例。演示素材都是精心挑过的,换你的素材露馅快,五分钟就能看出成色。
两条线的上游都靠数据支撑,图像侧的对照话题见文生图和文生视频的模型差在哪;克隆声音的进阶玩法在声音克隆和音色转换有什么区别;读图与读文档的分野,见OCR 和文档理解差在哪。
听与说对照表
- 识别:音频进文本出,看字错率。
- 合成:文本进音频出,看自然度。
- 选型:转写场景看识别,播报场景看合成。
末句:先分清让机器听还是让机器说,再谈效果。
关于语音识别语音合成再多问三句
- 同一款产品里两者共用模型吗?:多数不共用,各自独立训练,只是产品层面打包在一起。
- 合成的声音能反过来被识别吗?:能,合成语音也是正常声波,识别系统照常处理,准确率一般还很高。
- 方言是识别弱还是合成弱?:识别受方言影响更直接,合成则难在方言语调的还原上,两边各有各的坎。


