安全评测的题库是怎么维护的？内部门道在这

豆包、文心一言这类模型上线前都要过安全评测，而安全评测的题库是怎么维护的，外界很少看到细节。题库管不好，测出来的安全水位就是假象：题目泄露等于泄题，分级混乱等于白测。这篇按题库生命周期，把分层、冻结、补题、应急几个环节讲透。

题库分层：从公开题到封存题

成熟的安全题库至少分三层：公开样本层用于社区复现，内部常规层用于日常回归，封存层只在正式评测时启用。进来的是各类渠道收集的风险场景，发生的是去重、分级、脱敏，出去的是带标签的题目条目。分层的好处是即便外层泄露，封存层仍然有效，不至于整库作废。

分层之外，层与层之间的流转规则也要成文：一道题从影子集毕业进入封存层，依据什么标准；封存层题目用过几次后转入内部常规层，间隔多长。没有成文规则，层级会在实际操作中逐渐模糊，最终退化成一个大池子，分层的设计初衷就落空了。流转记录与题目条目绑定存档，哪道题在哪一层待过多久，随时可查，这份账目在事后审计时比题目本身更有说服力。对外披露时，只需说明各层的大致规模与流转周期，不必公开具体题目，透明与保密可以兼得。这套机制跑顺之后，新接手的维护者按文档就能延续运营，题库的寿命不再依赖某几个人的经验。

版本冻结与影子集

每次正式评测前，把当次使用的题目集合冻结成不可变版本，配上哈希校验，事后可查证用的是哪一版。影子集则是不对外公布的新题，平时只做内部观测，用来判断旧题是否已经失效。安全题目的措辞还要跟着产品形态更新，多模态输入出现后，图像侧的风险场景就得补进来，这方面可对照Agent评测环境里的任务构造思路。

四层题目的用途与管理方式，差别就在能不能公开：

泄露后的应急处理

发现题目在网上流传，先标记受影响题目并从当次评测中撤下，再评估污染范围，必要时整批更换，污染的扩散路径见题目污染。判分环节若涉及自动比对，规则题可以参考数学自动判分的容差思路，安全题则多用拒答质量分级，主观成分更高，压主观性的手段见对齐评测方法。

人工审核走几道

安全题入库前通常过三道人审：初审核对风险场景是否成立，复审标注严重级别，终审确认题目不会误伤正常请求。审核记录全部留档，题目出问题时能回溯到人。日常维护中还会定期抽样重审，标准随行业共识滚动调整。一个可带走的判断：题库的可信度不取决于题目数量，取决于分层与留档是否做得扎实。

审核标准的漂移是长期维护里最隐蔽的问题：同一道题，年初的审核组和年底的审核组可能给出不同的级别判定。对策是维护一份标注手册，把级别判定写成可对照的例子，新人上手先对照例子练习，与老审核员的判定一致率达标后才能独立上岗。手册本身也要定期回顾，把新出现的风险场景补成新例子，让标准跟着产品形态一起演进。

题库规模也不是越大越好。题目质量参差时，扩大规模反而稀释区分度，真正有信息量的题目可能只占一部分。定期做题目质量盘点：统计每道题的通过率与区分度，把长期全对或长期全错的题目标记出来，前者太简单后者可能有问题，都进入退役评估。让题库保持流动的新陈代谢，比单纯堆数量更能维持评测的有效性。

安全题库速查表

• 公开层：复现用，泄露不影响大局
• 内部层：日常回归，定期轮换
• 封存层：正式评测专用，哈希冻结
• 影子集：不公布，专测旧题失效

安全题库快问快答三则

• 题目泄露为什么危害这么大？：被测对象可以针对性准备，测出来的不再是无准备状态下的真实水位。
• 影子集和封存层有什么区别？：封存层是正式题目但不公开，影子集连是否启用都未定，只做观测。
• 普通用户能参与出题吗？：能，走官方渠道提交的风险案例会进入初筛，通过后同样要过三道人审。