舆情监测用 AI：从采集去重到研判分类

一周的品牌提及拉出来两万条，去掉重复和搬运，真正需要看的不到八百条。剩下的一万九千多条不是噪声，是同一条内容被不同账号反复转发的结果——直接按条数统计，热度会被高估一个量级。用 AI 做这套流程，最容易失手的地方不在采集，在去重和分类。

舆情监测通常分五段：定范围、采集、清洗去重、分类、研判。下面按段说明每段该产出什么、最容易在哪出错，以及哪些判断不适合交给工具。

抓得广，不如分得准

采集面扩大的边际回报下降得很快。监测词从十个加到一百个，新增内容里大部分是无关讨论；而每多一类噪声，后面每一段的人工复核成本都要跟着涨。所以范围设计的目标不是覆盖全部，是让信噪比维持在人能处理完的水平。

一个可用的分层：核心词做精确匹配，必须一条不漏；相关词做抽样，按天或按周看趋势；竞品与行业词只作背景参考，不进日报。三层混在一起统计，日报里就会出现讨论量上涨三倍这种没有意义的结论。

五段流程，各自的产出物

真正吃模型能力的只有清洗和研判两段，前两段靠规则和人工就能定，最后一段的判断权必须留在人手上。把工具堆在采集上，是最常见的方向性错误——采集是最容易做的一环，也最不产生判断。

去重做不干净，后面全是错的

同一条内容会被搬运、改标题、换封面、加几句评论再发一遍。按字符串完全匹配去重，只能去掉最原始的那批复制。语义去重解决的是说的是不是同一件事，判断依据是文本向量之间的距离，而不是字面是否相同，原理可以参照向量检索怎么判断相似。

去重之后要留一个重复度指标：某条内容被转发了多少次、跨了几个平台。这个数字本身就是研判依据。一条被搬运两百次的内容，即使观点偏激，也说明它已经进入公共讨论；只在一个小群里流传的，处理方式完全不同。

按影响分档，比按情绪分档有用

正面负面是最容易做的分类，也是最没用的。真正决定要不要动手的是影响：会不会转化成实际投诉、有没有被媒体或大号接住的迹象、是不是集中在某个具体产品批次上。这三类对应的响应速度差一个量级。

分档的另一个好处是可控。三档之后，日报的篇幅、值班的人力、升级的路径都能定下来。五档十档看着精细，执行时会退化成重要的和其他的两类，中间那几档没人认真填。

事实和观点要分开摆

一条内容里通常混着两种东西：可核实的事实，哪天、哪个门店、发生了什么；和主观判断，服务差、以后不买了。事实错了可以用证据回应，观点分歧回应往往只会放大传播。把两者拆开，是研判环节最省时间的一步。

拆分之后还有一个动作：标出哪些内容有被放大的可能。判断依据不是情绪强度，是账号的传播结构——粉丝量、历史内容的转发比、是否被同类账号跟转过。这部分只能靠人对平台的理解，模型给不出可靠答案。分类本身也会带上偏差，模型偏见是怎么产生的那篇讲过训练分布如何影响判断，用在舆情上同样成立。

工具读不出来的几类内容

反讽和黑话是第一个坎。这服务真是绝了是夸是骂，取决于语境和社区习惯，模型经常判反。跨平台的内容形态差异是第二个坎：短视频评论区、图文平台的标题党、私域群里的截图，同一件事的表达方式完全不同，一套提示词覆盖不了。

第三个坎更根本：模型判断的是语气和措辞，不是真伪。它能把一条内容标成负面且情绪激烈，但没法告诉你这件事是否真的发生。核实要回到原始出处、当事人和现场，这一步没有捷径。生成式模型在这里还有编造风险，AI 为什么编出看起来可信的内容那篇解释过机制。

怎么验收一套流程

验收不看条数，看抽样复核的命中率：从每一档随机抽二十条，人工判断它该不该在这一档。三档的错分率都在一成以内，这套流程才算能用。错分集中在一档，说明分档标准写得含糊；分散在各档，说明提示词或模型选得不对。

速查：舆情流程的五个检查动作

• 监测词表分三层，每季度删一次不产出内容的词
• 采集必须存来源链接和时间，否则后面无法核实
• 去重用语义相似度，同时统计单条内容的搬运次数
• 分类只做三档，按影响不按情绪
• 每条拆出事实与观点，处置建议由人定