给一个上线运行的 AI 应用做监控，两条路：看指标，看样本。结论先给——指标判断「有没有变差」，样本判断「差在哪」；前者预警，后者定位，两件事都做才成体系。这篇讲分工、怎么配、阈值怎么定、抽检抽多少。
指标监控管全局，样本抽检管定性
指标监控的形态是给每次调用打点——调用量、响应时长、错误率、点赞点踩率——汇总成曲线，超阈值就告警。优点是覆盖全部流量、实时。
短板同样明确。指标是人定的，定义之外的恶化看不出来——你定义了「答案含敏感词率」，它看不见回答开始敷衍；平均值还会抹平严重问题：整体满意度 4.5 分，可能掩盖某类问题几乎全差。
样本抽检是另一套逻辑：从真实对话里抽一批人工看，看的是「到底发生了什么」。价值在能定性——指标只告诉你曲线变了，样本能告诉你因为改版，还是新问题在扩散；它还能发现指标没覆盖的问题，比如一类回答开始变短。
代价也实在：抽检量有限，看不到全貌；依赖人的判断，标准不统一时不可比——同一条回答两个人判出两个结果，分数就没法纵向比。
按什么配：一套最小可用组合
最小组合是「少量实时指标加固定节奏抽检」。实时指标盯系统健康：错误率、响应时长、调用量，异常意味着服务出问题，必须分钟级告警；质量类指标——满意度、通过率——波动慢，小时级或天级汇总就够，实时看只会狼来了。
抽检按固定节奏走：每天或每周固定条数，分层抽——按场景、用户类型、问题类别各抽一批；全随机抽样会把少数但严重的问题淹死，分层抽才能确保每类都有样本。指标异常时，针对异常维度加抽一轮，这是应急模式。
一个可带走的判据：指标负责「什么时候看」，样本负责「看什么」。底线是任何一次指标异常，你都能当天抽出定位原因的样本——达不到，说明抽检量或分层不够。
阈值怎么定，抽检抽多少
阈值没有通用值，定法有三条。一看历史波动：拿过去一到两周的曲线做基线，阈值设在波动上限之外。二分级：提醒、告警、严重三档，配不同响应速度，全设成一档，告警会被当噪音。三留复核：触发后先抽样本确认再处理——指标误报是常态。
抽检量按「能发现问题」倒推。新功能上线期、指标波动期密度加倍；稳定期可减，不能归零。抽检结果要记录口径——谁抽的、按什么标准判的，口径不变分数才能纵向比。
语音类应用的抽检有额外前提：转写不准，抽检就是抽错。嘈杂环境下转写准确率明显下降，涉及电话客服、现场录音的监控，先评估转写误差，参考嘈杂环境下的转写准确率对比；选工具的思路，和按任务选工具的方法相通。
指标设计：先避开平均值陷阱
最容易出的问题是「只看平均」。整体满意度 4.5 分，可能掩盖某类问题几乎全差。关键指标都要做分维度拆分——按场景、按用户类型、按问题类别，问题往往藏在某个细分里；最差的那一档，就是抽检重点盯的对象。
指标不在多。十个指标九个没人看，等于没有。每个指标只问三件事：异常了触发什么动作、多久看一次、归谁看，答不上来的删掉。监控的价值不在曲线好看，在异常能定位、能修复、能验证。
指标定义要拿实测校准。新指标写出来，先在历史数据上跑一遍，看能不能复现已知问题——复现不了，定义就错了。设计实测可以参考语音助手的实测对比：先定场景清单，再逐场景跑。
这套监控的盲区
指标发现不了没被定义的问题，这是结构性的：先想到风险才能给它定指标，没想到的，曲线毫无反应。样本抽检是对冲，但覆盖率有限。兜底的是用户反馈通道——投诉、退订、负面传播，往往比任何指标早。
样本判断依赖人，人会累、会漂移。同一个人连续看两百条之后，标准会无意识松或紧。对策是样本里混入已知答案的校准题，定期看判定稳定度；标准要写成文字，不能凭感觉。
监控链路自己也会坏。告警渠道挂了、打点漏了，监控本身哑火，而你收不到「监控已失效」的告警。定期故意触发一次已知问题看告警响不响，这个动作每季度至少做一次。
指标与样本分工速查
- 指标判断「有没有变差」，样本判断「差在哪」
- 系统类指标实时告警，质量类指标小时或天级汇总
- 抽检分层抽，不随机抽；指标异常时加抽异常维度
- 阈值看历史波动定，分三档，触发后先抽样本复核
- 关键指标必须拆维度，先看最差档，再看均值
| 监控场景 | 做法 | 判断标准 |
|---|---|---|
| 实时告警 | 错误率、响应时长、调用量分钟级监控，分三档阈值 | 服务异常分钟级可感知，误报当天可复核 |
| 周期复盘 | 每天或每周固定条数，按场景、用户、问题类别分层抽 | 每类都有样本，口径不变、分数可比 |
| 指标异常时 | 针对异常维度立刻加抽一轮样本 | 当天给出原因假设，不等下次复盘 |
| 新问题排查 | 指标没动但感觉不对，靠样本主动发现 | 新问题在扩散前被抽检命中 |
| 平均值陷阱 | 关键指标按场景、用户类型、问题类别拆分 | 能说出最差的维度是哪一档 |
补三个实施里的问题
问：指标异常但抽检看不出问题，怎么办？答：两种常见原因。一是统计假象——突增流量带来的分母变化，看绝对值和比率两个口径再判断；二是问题在抽样框之外，换个维度重抽。连续两次无果，先查数据链路，别急着改业务。
问：指标维护和抽检怎么分工？答：指标归开发，定义、打点、告警链路是一次性建设加日常维护；抽检归运营或产品，要懂业务的人看内容。两拨人要定期对口径——指标异常时抽检结论怎么回填到定义里，这个动作没人做，监控就停在「看到了」。
问：多语言、多地区的应用，指标怎么设？答：先分语言建基线，再决定要不要合并。不同语言的满意度、错误率基线不同，混在一个均值里两边都看不出来。代价是指标翻倍，换来异常定位从「全区」缩到「单语言」，通常值。
