问 AI「这份协议里的违约金上限按哪一版规定」,它回一句「我不太确定,建议咨询专业人士」。这句话可能是它真的没查到,也可能是产品要求它在这个领域加保留措辞,还可能是它没弄明白你要问哪一版。三种情况对应三种处理方式,混在一起就白费功夫——要么把有依据的内容当胡说扔掉,要么把编出来的答案当可靠结论用下去。
一句话的措辞,和它的可靠性没有固定关系
语言模型每次输出的是下一个词的概率分布,采样出来的文字再拼成句子。「我不确定」也是这样生成出来的四个字,它反映的是训练数据里这类表达出现的语境,而不是模型内部某个置信度读数。这一点决定了不能靠措辞强弱判断答案质量:说得笃定的可能是编的,说得含糊的可能句句有出处。
真正能反映可靠性的,是答案里的事实密度和可核验性。给了具体条文号、具体日期、具体数字的,逐条去核;通篇是「通常」「一般来说」却没有任何可查证的锚点,那就当它没回答。概率输出准不准这件事本身有专门讨论,见模型校准。
三种说法,三种应对
| 说法 | 实际含义 | 该怎么应对 |
|---|---|---|
| 「我不太确定,建议咨询专业人士」 | 领域触发了产品层的谨慎策略,内容未必没有依据 | 追问「这条依据出自哪份文件」,拿到线索后自己核原文 |
| 「我的知识截止到某年,之后的变化我不掌握」 | 训练数据的时间边界,确实缺信息 | 把最新材料贴进去,或者直接去官方渠道查 |
| 「你是指 A 还是 B」「能补充一下场景吗」 | 问题有多种合理解法,缺约束 | 补三样:受众、用途、判断标准 |
| 「一般来说是这样」,随后给出具体数字 | 框架可能对,细节多半是补全出来的 | 数字、名称、条款一律外部核对,不直接引用 |
四行的共同点是都要动手核,区别在核什么:第一行核依据,第二行核时效,第三行补条件,第四行核细节。分不清是哪一种就追问一句,成本很低。
追问「你缺事实还是缺条件」,为什么有效
这句追问把隐式判断变成了显式分类。模型在生成时本来就要在「继续答」和「转交」之间做选择,你把选项摆出来,它多半能说清自己卡在哪:找不到相关资料,还是不知道你要哪种口径。相比反复重问同一个问题,这一句的收益高得多,因为重问只会得到同一分布的另一次采样。
追问也要防一个坑:多轮对话会累积你给的前提。你问「那第二款呢」,它会默认存在第二款并顺着编下去,哪怕原文里根本没有。发现它在跟着你的假设走,就回到原始材料重新提问,别在错误前提上继续加码。
把问题拆小,确定性会自己回来
「这个政策怎么理解」是开放题,答案取决于立场、对象和用途,模型只能给一段四平八稳的综述。「这个政策哪一年发布、废止了没有」是两个有唯一答案的事实题,答错的概率低得多。同一个知识点,问法决定了它能不能给出确定答案。
给材料是另一个立竿见影的动作。把原文贴进去,把闭卷考试变成开卷,编造的空间被压掉大半。代价是长文档里中段信息容易丢,几万字的材料问到细节仍然会错,这是上下文窗口的固有限制,提问技巧解决不了。要求它标注每条结论出自第几段,是第三个有效动作:有出处的部分可以直接用,没出处的部分会自己暴露。
它读不到自己的置信度
模型没有「我知道多少」这个内部仪表。所谓不确定,是生成出来的措辞,不是对内部状态的读数。因此它既可能在高把握时说得含糊,也可能在完全编造时说得斩钉截铁。让它自评「你对这个答案有多大把握」,得到的仍是一句生成出来的话,和真实正确率的关联很弱,编造的部分和AI 幻觉是同一套机制。
它也分不清「训练数据里没有」和「有但被策略压住」。同一件事换个问法,可能从「不知道」变成一段完整回答,而这段回答的质量并不会因为被解锁而提高。更麻烦的是,它不知道你的场景约束——地区、版本、行业口径,这些没写进问题里的东西它只能猜。有些「不确定」恰恰是正确反应,硬逼它给确定答案,等于把风险从它那里转移到你这里。
把它当信号,而不是结论
听到「不确定」,下一步通常是补信息或换来源,而不是继续追问同一个问题。判断标准可以简化成一句:这句话指向的是缺材料还是缺条件。缺材料就去拿原文,缺条件就补受众和用途。两种情况都不适合在原地打转。
需要外部权威答案的事——法规条文、药品说明、协议条款——最终都要回到原始出处。模型在这里的作用是帮你找到该查什么、该怎么读,不替你下结论。提示词怎么写才能减少这类拉扯,提示词的基本结构给了更具体的写法。
速查:听到「我不确定」先做四件事
- 问一句:是缺事实,还是缺我要什么。两种缺口的补法完全不同。
- 看它后面接什么:给了具体建议,多半是谨慎措辞;开始绕圈,多半是真缺数据。
- 把大问题拆成有唯一答案的小问题,再问一遍。
- 手上有原文就贴进去,然后要求它逐条标出出处。
- 涉及法规、药品、合同的内容,一律回原始出处核对。


