说话人分离：AI 转写这项怎么看

2026-10-08 发布来源：我告诉你AI导航阅读

会后回听一段四十分钟的录音，最麻烦的地方不在听不清，而在听到一半发现：刚才那段反驳到底是谁说的。两个人声音太像，AI 转写稿里全归到了同一个人名下。说话人分离要解决的就是这件事——它把混在一起的语音切成若干条，分别标上说话人。分对了...

会后回听一段四十分钟的录音，最麻烦的地方不在听不清，而在听到一半发现：刚才那段反驳到底是谁说的。两个人声音太像，AI 转写稿里全归到了同一个人名下。说话人分离要解决的就是这件事——它把混在一起的语音切成若干条，分别标上说话人。分对了，转写稿能直接改成纪要；分错了，稿子越完整越难用。

转写稿能不能用，卡在「谁说的」这一步

语音识别只负责把声音变成字，它不关心这些话出自谁口。一段两人对话，识别准确率九成五，读起来依然可能一塌糊涂：A 的质疑和 B 的让步连成一段，逻辑正好反了。会议纪要、访谈整理、客服质检这三类工作，内容加工的起点都是归属，归属错了，后面所有整理都在错的基础上做。

这也是评估转写工具时最容易漏掉的一项。多数人只看错字率，而错字可以靠上下文猜，归属错了却很难反推——你得回听录音才知道哪句该挪给谁。

四类场景，四种难点

同一项能力，在不同场景里的难度差得很远：

场景	难点	怎么判断好坏
一对一访谈	只有两个人，理论上最简单，但采访者应声多、插话碎	把「嗯」「对」这类应声归给正确一方，不并进受访者的长段落
三到五人小组会	轮流发言时基本准，一旦有人抢话就开始串	数一遍人数是否与在场一致，再看交叉发言那几段有没有并成一段
六人以上圆桌	相似音色、远场拾音、中途进出的人同时出现	抽三个人各查两段，看归属是否稳定，中途加入者有没有独立标签
线上线下混合会	远程接入的声音经压缩，音质与现场不在一个水平	单独看远程发言那几段，是否被整体降级或错挂到现场某人名下

人数一多，工具往往倾向于「合并」——它宁可把两个人算成一个，也不愿把一个人拆成两个，因为前者看起来更整洁。判断时要专门找这种整洁：如果六个人的会只分出四个标签，多半不是真的只有四个人说话。

分错的根源在声纹，不在听写

常见做法是两步：先给每一小段语音算一个声纹向量，再把这些向量聚成几堆，一堆对应一个人。第一步决定「像不像」，第二步决定「分几堆」。声纹向量的维度与区分度决定了相似音色能不能被拉开；聚类这一步常用 K-means 这类按距离分堆的方法，但它要求事先知道堆数，而会议里到底几个人往往事前并不知道，于是不少工具改成自动估计，估计错了整份稿子的归属就全歪。

语音识别那一段的错误会顺带传下来：一句话被听成另一句，声纹特征跟着变，归属判断也跟着偏。识别环节的稳定性是分离效果的地基，地基不稳，后面调什么都白费。

交叉发言与相似音色，是目前普遍过不去的坎

两个人同时说话，麦克风收到的是一段叠加信号，任何单一向量都无法同时代表两个人。多数工具的处理是把这段整体判给音量更大的那个，或者干脆只保留一个人的文字。这类段落通常在会议里占比不高，却恰恰是争论最激烈、信息量最大的部分。

相似音色是另一个硬骨头。同性别、同年龄段、口音接近的两个人，声纹距离可能小于同一人在不同情绪下的距离。工具于是把同一人的两段拆开、把两人的段落合并，两种错误还会互相掩护，看统计指标都不明显。真正能暴露问题的是连续追问：让同一个人隔十分钟再说一段，看标签有没有变。

拿到稿子之后还要做什么

自动结果几乎都需要人工过一遍，区别只在过多久。有效的做法是先定位再通读：先把标签数量与在场人数对一遍，再把每个标签下最长的那一段抽出来听十秒，确认是不是同一个人。这两步做完，剩下的错通常是零散的应声和短句，读的时候顺手改掉即可。支持手动合并、拆分、改名的工具能把这部分时间砍掉一半，选工具时值得当成硬指标看。