跳到主内容

实时告警和事后复盘有什么区别?

2026-10-18 发布 来源:我告诉你AI导航 阅读

大模型应用上线后,系统半夜出问题靠什么发现?答案有两层:当场叫停的实时告警,和事后挖根的事后复盘。前者是止血栓,越快越好;后者是改进源,越深越好。只设告警不做复盘,同样的问题换个马甲再来一遍;只做复盘不设告警,问题发现全凭运气。

大模型应用上线后,系统半夜出问题靠什么发现?答案有两层:当场叫停的实时告警,和事后挖根的事后复盘。前者是止血栓,越快越好;后者是改进源,越深越好。只设告警不做复盘,同样的问题换个马甲再来一遍;只做复盘不设告警,问题发现全凭运气。

先给分工:一个止损一个改进

实时告警的目标是在影响扩大前把人叫来,判据是现在不管会怎样,所以它必须灵敏、必须直达值班人。事后复盘的目标是找出系统性原因,判据是怎么让它不再发生,所以它要慢工出细活。两者的节奏、参与人、产出物都不同,混在一个流程里两头都做不好。判断一个告警体系是否健康,看它响之后人是去处理还是去关掉,答案会说明一切。

一个止血一个改进,差别落在五处。

对比维度实时告警事后复盘
判据现在不管会怎样,在影响扩大前把人叫来怎么让它不再发生,找出系统性原因
节奏分钟级,恢复现场季度级,改造系统
参与人直达值班人,响了就要去处理出事环节的人必到,下游受影响的人也在场
产出物每条告警都写清触发后的处理动作改动的清单和验证方式
处置纪律致命的打电话、要紧的发消息、一般的进日报只摆事实,不忙着定责任

实时告警的阈值怎么定

告警最怕两件事:漏报和狼来了。阈值太松会漏报,太紧会把人练麻木,最后真警报也被随手划掉。实用做法是从人工会立刻处理的异常倒推阈值,每条告警都要写清触发后的动作,没有对应动作的告警直接删。用 DeepSeek 这类模型辅助归纳告警记录、合并同类项,能明显压低噪音。告警分级也常被忽略:致命的打电话,要紧的发消息,一般的进日报,级别和响应方式对齐,值班的人才知道哪条必须立刻动。所有告警一个待遇,等于没有级别。

事后复盘靠什么不流于形式

复盘要回答三个问题:当时哪里失守、为什么失守、下次靠什么守住。产出物不是一页检讨,而是改动的清单和验证方式。时间线上要覆盖从异常发生到恢复的全程,材料主要来自调用记录与留痕。挖根时常发现是分工方式的问题,比如把一件事硬拆给多个智能体反而更慢,参考 「多 Agent 一定比单 Agent 强」错在哪?。参与人也有讲究:出事环节的人必须在场,下游受影响的人也应在场,复盘会上只摆事实不忙着定责任,否则该说的都不说了,挖出来的原因会失真。

复盘发现的问题常常落在提示词与流程上,固定段和动态段的责任要分清,见 固定提示词和动态拼装有什么区别?;如果是任务形态本身设计不当,批处理任务和交互任务有什么区别? 能帮你重新归类。

两套机制共用一套底账

告警和复盘看似两个团队的事,其实吃同一口锅:请求记录、调用链、失败明细。底账记全了,告警有据可查,复盘有料可挖;底账残缺,告警变成猜谜,复盘变成互相推脱。所以先把记录层做扎实,再谈告警灵敏和复盘深入。节奏上两者互补:告警解决分钟级的问题,复盘解决季度级的问题,一个恢复现场,一个改造系统,别指望一份文档同时干两件事。腾讯元宝、秘塔AI搜索这类工具查资料顺手,但内部底账还得自己建。

监控复盘配置单

  • 每条告警都附触发后的处理动作
  • 每次复盘都产出改动清单和验证方式
  • 同类问题两周内重犯要升级处理

告警管今天,复盘管以后,缺一不可。

有人指望把监控复盘也交给智能体全自动运转,想法很省心,现实有边界,「Agent 能全自动搞定一切」错在哪? 拆过根因;工具加了一堆效果却没见涨,问题常出在配置思路上,「工具越多能力越强」错在哪?一次讲明白 值得读一遍。

聊聊实时告警与事后复盘的常见疑问

  • 小团队没人力值夜怎么办?:把告警收敛到只留必须叫人的,其余归入日报,人工介入的频次能降一个量级。
  • 复盘多长时间做一次合适?:大事故当周做,小问题攒批月度做,关键是改动清单有人认领、有验证。
  • 告警工具选什么标准?:送达可靠排第一,其次才是图表好看,叫不醒人的告警等于没有。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]