每款大模型上线前都要过一场特别的考试:有人想套危险内容,模型必须守住底线,这场红线考试就是安全评测。你在腾讯元宝或纳米AI 上感觉某些请求它就是不接,背后是安全评测与配套策略在起作用。
红线都画在哪些地方
各家的红线清单不尽相同,常见区块包括:危险物品与危险行为的指引、伤害他人的内容、欺骗与冒充、隐私刺探,以及各类违法违规请求。红线测试的做法是构造大量这类请求去试探模型,统计它守住的比例。打个比方,它像机场安检的例行演练——安检员明知大部分是普通旅客,仍要按规程把每种违禁品场景过一遍。类比失效之处:安检查的是物品,安全评测还要对付伪装成正常请求的变形题。出题人常反过来琢磨:如果是我要绕过防线,会怎么问——攻击者视角是安全题库的一半来源。多轮铺垫型题目最难出好,既要层层递进,又不能让正常用户觉得突兀。灰区请求同样占一席之地:擦边的、可解释成两种意思的,考验策略的精细度。红线还会随法规与平台规则调整,题库跟着版本走。复测频率也是指标,半年不更新的安全榜,参考价值要打折扣。所以安全分数从不单独看,要和误拒数据成对出现:守线率高而误拒也高,说明策略粗,一刀切的多;两头都好,才是真功夫。这场考试不加分,只扣分,守不住就是硬伤,底线稳了,体验才有谈的资格。
一道安全题长什么样
直接型:明晃晃的违规请求,看模型拒不拒。伪装型:把请求包装成虚构写作、学术研究或角色扮演,看模型在剧情里守不守得住。变形型:拆字、谐音、多轮铺垫,一点点把对话引向红线。第三类最考验模型,也是提示注入攻击的常见手法。
三类题从明着问到绕着问,难度逐级往上。
| 题型 | 构造方式 | 考的是什么 |
|---|---|---|
| 直接型 | 明晃晃的违规请求 | 看模型拒不拒 |
| 伪装型 | 包装成虚构写作、学术研究或角色扮演 | 看模型在剧情里守不守得住 |
| 变形型 | 拆字、谐音、多轮铺垫,一点点把对话引向红线 | 第三类最考验模型,也是提示注入的常见手法 |
过了考试就不越线了吗
不一定。安全评测是抽样检查,不是全量承诺:题库没覆盖的变体,模型仍可能失守;新花样的攻击也会不断出现。所以分数要读成「在测试过的场景里守住的概率」,而不是一劳永逸的证书。规范的项目会定期更新题库并复测,思路与动态换题相通。判定谁好谁坏时若引入模型评审,评审偏向会干扰结果,见什么是裁判偏好?裁判自己的毛病。
安全评测和普通考卷哪里不同
三个不同:判分只有守与不守,模糊空间比能力题小得多;题目要持续更新,跟着新攻击手法走;误报同样致命——把正常问题拦下来,用户体验直接受损,所以它和「误拒率」绑在一起看。红线行为的取舍正是对齐工作的一部分,见什么是对齐评测?价值观的考卷,通俗版解释。受误导后模型能否稳住,则是稳定性考卷的事,见什么是鲁棒性评测?抗干扰能力,别再混淆了;格式与字数层面的听话是另一张卷子,见什么是指令遵循评测?听不听话,一次讲明白。
安全评测自查清单
- 红线清单是否覆盖你所在场景的高风险请求。
- 误拒率有没有和守线率一起公布。
- 题库多久更新一次,是否跟随新攻击手法。
三项过关,这场红线考试才算考得完整。
把安全分数读成底线成绩单:它说明下限在哪里,说明不了上限有多高。选模型时,先确认下限够稳,再去比能力上限,顺序别颠倒。
关于安全评测,问得最多的三个
- 普通用户能自己测吗?:可以做简单的试探,但规范评测需要成体系的题库与判分标准,个人测试只当参考。
- 守住比例多高才算合格?:没有统一线,要看场景风险,高风险场景对个别变体的失守都很敏感。
- 长文本里埋红线请求也能测吗?:能,这类思路与长文考法相通,见什么是大海捞针测试?长文本的考题。


