一个中型 AI 平台每天新增的内容可能上百万条，文本、图片、视频混在一起，靠人工逐条看没有可能。通行做法是两层结构：审核模型先把可疑内容筛出来，人工只复核机器拿不准的那一部分。理解这套机制，既能明白内容为什么被拦，也能在被误判时知道怎么处理。
四类内容，宽严各不相同
审核模型要过滤的对象不止违法信息一类。按常见口径分四层：明显违法的，涉暴恐、涉诈骗类信息，几乎零容忍；风险内容，诱导、欺诈、争议性话题，留有讨论空间；商业违规，虚假宣传、违规导流；低质内容，垃圾广告、刷屏、无意义重复。四类的宽严差别很大，直接一刀切反而会误伤正常表达。
这个分类对创作者有直接用处：发布前对照一遍，能提前避开大半风险。模型看的是语义特征，纯靠替换错别字、拆字谐音这类老办法绕审，在语义模型面前基本失效。
文本、图片、直播各靠什么识别
不同形态走不同路径。文本靠语义理解，模型读整句甚至整段的含义，逐字匹配关键词的老式过滤只是兜底；图片和视频靠视觉识别，画面内容、叠加文字、水印都在识别范围里；直播最复杂，要在画面之外叠加实时音频转写，语音先变文字再进文本模型，整条链路要压在秒级完成，对吞吐要求极高——每秒输出多少 token 在这里直接决定方案可不可行。
识别结果通常不是「违规」或「不违规」的二值，而是一个风险分：超过高阈值直接拦截，落在中间区间的转人工，低于阈值的放行。多种模型各管一段，分数最后汇成一条决策依据。
误判是结构性的，不是偶然故障
正常内容被拦，多数能归到三个结构性原因。一是语义依赖上下文，同一句话在科普语境和教唆语境里含义完全不同，模型只看局部就可能判错。二是新话术出现太快，绕过手段从谐音、拆字到外语音译一直在变，模型更新总有滞后。三是边界本身模糊，大量内容处在「可以讨论」和「不该传播」之间，标准还随平台政策调整。
理解这一点有个实际好处：被误判时别急着认为被针对，更可能只是触发了某个关键词或语义特征。改写表述、把语境补清楚，通常一轮就能通过。
分层处理：机器管量，人工管准
分层是整套流程转得动的关键。常见分法三档：高风险直接拦，中风险转人工，低风险放行。人工只看中风险那一档，这是投入产出比安排最合理的一层——机器确定的不必再看，机器拿不准的恰好是人擅长的。
| 风险档位 | 机器怎么处理 | 典型例子 |
|---|---|---|
| 高风险 | 直接拦截，不给曝光 | 涉诈骗引导、明显违法信息 |
| 中风险 | 转人工复核，限时给出结论 | 争议话题、疑似违规导流的软广 |
| 低风险 | 放行，进后续抽检 | 普通商业内容、质量偏低但不违规 |
分层的代价是标准不透明。同一篇内容在两个平台可能得到不同结果，各家阈值和人工尺度并不互通。做多平台分发的创作者，按「一稿多审」来安排更稳妥，别假设一处能发处处能发。
什么情况下需要自建审核能力
自己运营社区或客服系统的团队迟早面对同样的问题。通用做法是先接平台提供的审核接口，成本低、规则库更新快；等内容量到了每天数十万条以上，或数据不允许出内网，才考虑基于开源权重模型自己搭一层。自建意味着要自己跟新话术赛跑，维护成本常被低估，选型前先看开源权重模型的授权边界，再算投入。
它做不到什么
审核模型给的是风险分，裁决要由平台规则和监管要求来做，模型只是执行层。它拦不住所有变体，新话术从出现到被覆盖有时间差；它也无法替代人工对争议内容的最终判断，中风险段的复核只能靠人。对普通使用者，两条够用：平台标准通常严于法律底线；被误判时改写比申诉快，但涉及账号处罚的决定，还是要走正式申诉通道。
内容审核机制速查
- 流程：机器先筛，人工只复核中风险段
- 四类对象：违法、风险、商业违规、低质，宽严不同
- 输出是风险分：超高阈值拦、中间转人工、低则放行
- 误判三因：上下文语义、新话术、边界模糊
- 被误判：改写表述补语境，通常一轮就过
关于审核的三个追问
- 同一篇内容换个平台发，结果为什么不同？：各家模型、阈值、人工尺度都不一样，审核结果只在平台内有效，跨平台没有参考价值，只能按各平台标准分别处理。
- 删掉重发能绕过审核吗？：重发同内容会再次进同一套模型，触发过一次特征的表述大概率再触发一次；正确做法是找到触发点，改掉那段表述再发。
- AI 写的文章会被当成违规吗？：不会因为生成方式被判违规，但 AI 生成内容里常见的夸大、堆砌表述更容易撞上商业违规类特征，把说法收敛到有依据的范围内即可。
审核只是平台技术栈的一环。想理解模型规模与算力的关系，7B 和 70B 的参数量差异有直接对照；打算自建审核层的团队，成本结构可以参考免费版和付费版大模型的差异，再决定自建还是采购。
