有人让 AI 查一份「2024 年某咨询机构发布的行业报告」，它给了标题、作者、发布日期，还附了三页的要点摘录。按标题去搜，什么都没有。这不是它故意骗人，是它在做被训练来做的事：接上一段最像答案的文字。
它为什么会装懂
语言模型的训练目标是预测下一个词，不是判断自己知不知道。当一个问题它没有把握时，最像答案的续写仍然是一段结构完整、语气确定的文字，于是它照写。流畅和正确在这套机制里没有直接联系，但在人的阅读体验里，两者几乎无法区分——这就是「装懂」的由来。更系统的解释在AI 幻觉那篇。
五个信号，长什么样，怎么验证
| 装懂信号 | 长什么样 | 怎么验证 |
|---|---|---|
| 细节过密 | 年份、页码、作者、机构名一应俱全，组合起来却像模板 | 挑最具体的一条线索去搜，搜不到原文就按编造处理 |
| 追问即改口 | 问「这个数据出自哪」，它换一个说法，或者说「无法提供具体来源」 | 第一次答案作废，换个问法再问一遍，看两次是否自洽 |
| 顺着你的前提走 | 你说「听说某公司去年裁了三成」，它接着分析影响和对策 | 把前提抽掉重问，或者换一个反向的假前提，看它是否照样顺着说 |
| 通篇工整却无可证伪 | 每段都有「首先、其次、最后」，却没有一个能被查证的具体断言 | 要求它给出可被推翻的结论：谁、什么时候、多少 |
| 从不承认不知道 | 对极冷门的事实也给出确定答案和细节 | 问一个你确定不存在的东西，看它是否照样编出完整介绍 |
五个信号里，第二个最管用。编造的内容经不起追问，一问就露出「无法提供来源」或者换一套说法。第三个最容易自己制造——很多人习惯在问题里塞一个假设，等于给了它一个必须顺着走的起点，之后所有分析都建在这个假设上。
三个动作，成本很低
要来源，并且自己去搜。注意搜的方式：用它给的最具体的词组去搜，而不是搜标题。编造的内容往往标题像模像样，具体到某一页的表述却搜不到，这一层差异就是破口。
换个问法再问一次。把「这个政策什么时候实施」换成「这个政策在实施前后分别有什么变化」，如果两次的答案对不上，至少有一次是编的。反过来问也有效：问它「有哪些情况不适用」，顺着问的模型通常答不出具体的例外。
先不给前提。把自己的假设从问题里拿掉，让它自己说。这一步能过滤掉大量「顺着你说」的内容，代价是答案会变得更笼统——笼统但可靠，比具体但编造有用。
哪些内容必须回原始来源
五类：数字、日期、法规条款、人名机构、引用出处。这五类只要会出现在你要发布的东西里，就必须核对一遍。再加三类实战里踩过的：金额和比例、链接和文号、以及任何带「首次」「唯一」「最大」的排他表述。排他表述最容易被顺着写出来，也最容易被同行挑出来。
其余内容按错误代价决定。写一段内部讨论的提纲，错一个比喻无所谓；发给客户的报价单，错一个小数点就是事故。把核对成本花在会发出去、会花钱、会担责的地方，其余的放过。
能识别，不能消除
这几个方法有一个共同的局限：它们都依赖你对该领域的了解。你越不懂，越难看出哪里不对——而这恰恰是你最需要它的时候。让一个不懂税务的人核对模型给的税率，他只能核对算术，看不出适用条件错了。这时候正确的动作是去找懂的人，而不是多问几轮。
追问也不是万能的。多问几轮之后，模型会顺着你的追问调整答案，改口后的版本不一定更接近事实，可能只是更接近你想听的。所以判断标准要放在「能不能对上原始来源」，不是「说得像不像」。
接上检索的知识库能降低编造率，但降不到零：检索到的片段可能不相关，模型仍会在片段之间补上自己想当然的连接。关于这条路能解决到什么程度，RAG 是怎么做知识库问答的讲得比较实在。
还有一点反直觉：让它「标注不确定的部分」通常不管用。它对自己是否确定的判断同样不可靠，标出来的「高置信」可能正是编得最顺的那段。自查的责任不能交给它。
把核对变成流程，而不是靠记性
靠记性核对，三天就忘。把要求写进提问模板更稳：让它在给出结论的同时列出依据，依据要具体到可以搜索的层级；让它把「推测」和「引用」分开写。这样即使它编，也会编在明处，扫一眼就能看出哪几句没有来源。
发布前的最后一道是人。任何要署你名字的内容，你都等于在为它的准确性背书。工具能把初稿的速度提上去，责任一分也接不走。这一点和可解释性讨论的是同一个问题的两面：能说清结论从哪来，才敢把它交出去。
速查：识别装懂的五个动作
- 凡引用必搜，用最具体的词组搜，不要只搜标题
- 追问一次来源，改口就作废，换问法再验一遍
- 问题里不塞假设，让它自己说，再看是否自洽
- 数字、日期、条款、机构、出处，发布前逐条回原始来源
- 别指望它自报不确定，自查的责任留在人这边
