大模型答错时,最麻烦的地方在于你不知道哪一句错了。幻觉溯源要做的就是给每句结论挂一个坐标:这句话来自哪份文件、哪一段、哪一句原文。它把「信不信 AI」换成「信不信这份来源」,但没替你把来源点开看一眼。
它管出处,不管对错
先分清两个属性。事实正确性问这句话对不对,归属正确性问它是不是这份来源说的。溯源只负责后者。来源本身错了或过期,溯源会标得清清楚楚,结论依然错。
它的用法很明确:把无从核对变成有处可核,再把核对动作交回给人。声称能同时解决对错的产品,要么在来源侧另做了事实校验,要么只是把模型自评包装成了引用。
进来什么:三类输入
能不能溯源,在输入阶段就定了。一类是闭卷:只有问题和模型参数。这时它给的任何出处都是生成的,看起来像书名、像文号,实际不存在。
另一类是开卷但没检索:全文粘贴进对话,材料在上下文里。这时可以标到第几段,坐标是上下文中的位置,关掉窗口就失效。
还有一类是检索或工具返回:从索引召回段落,或调用搜索、数据库拿到结构化结果。只有这一类能给出稳定、可点击的坐标,也才有可能做批量审计。判断产品属于哪类,看回答时有没有查看来源的入口,点进去是不是原文。
发生什么:检索、绑定、校验
先做检索。问题被改写成查询,从索引召回若干段落。召回率决定上限:能回答问题的段落没被召回,后面怎么生成都只能编。工程上先调召回,再调表达。
接着是绑定。把召回的段落放进上下文,要求每句结论后面带编号。更严格的做法是先产出结论与证据的配对,再写成句子,这样引用是句子的骨架,不是事后贴上去的标签。生成时绑定成本低但可能引错;生成后绑定多一道匹配,贵一些,却能抓住引非所答。
最后是校验。逐句判断结论能否被所引段落支持,不支持的降级为未找到依据或删掉。校验器可以是另一个模型,也可以是规则比对,它自身也会错,其准确率决定整套机制的漏检率。
出去什么:引用的四个层级
一条引用有四个层次。文档级,只说明来自哪份文件,核对成本最高;段落级,标到第几节第几段,多数产品停在这里;句子级,给出被引用的原句;字符级,标到具体的词或数字,用于金额、日期、条款这类不能含糊的位置。
定位越细,核对越省力,实现越难。合格的引用还应带支持程度:直接支持、间接支持、无依据。只有直接支持能单独作为结论依据。
三种实现方式的强弱
| 实现方式 | 机制 | 能防住什么 | 防不住什么 |
|---|---|---|---|
| 提示词强制引用格式 | 要求每句后写编号,对应上下文材料 | 明显的无出处断言 | 编号对不上、模型自行凑号 |
| 先检索后生成 | 召回段落进上下文,再基于段落作答 | 知识型问题的大部分编造 | 召回错误导致引用错误;多跳问题断链 |
| 生成后逐句校验 | 用另一个模型或规则做蕴含判断 | 引非所答、结论被夸大 | 校验器自身误判;成本与延迟上升 |
| 人工抽检 | 按比例回原文核对 | 系统性偏差 | 覆盖率低,抽不到就漏 |
四行不互斥,通常要叠加:检索负责有料,格式负责可读,校验负责不跑偏,抽检负责发现系统性错误。只做提示词约束的,引用标记接近装饰。
错误归因:有出处但不支持
这是溯源最隐蔽的失效方式:引用真实存在,但那段话并不支持这个结论。常见四种:引非所答,段落讲甲产品价格,结论说乙产品;以偏概全,原文写部分样本,结论写成普遍情况;二手转引,引的是转述版本,原始出处已经变形;来源过期,条款早已修订,引用的还是旧版。
它比直接编造更难发现,因为引用标记会给人已核实的错觉。有效检查动作是把引用段落和结论并排读,问自己:如果这段话是我写的,我会不会拿它支撑这句话。答案是否,归因就有问题。
它在什么情况下失效
最常见的是知识库里没有答案。只能标未找到,但模型补全倾向很强,会把没有写成有。要监控无依据回答的比例,它突然下降未必是好事。
其次是多跳推理。甲是乙的供应商、乙被丙收购,结论要把两段材料拼起来,没有哪句原文单独支持它,只能给推理链。
第三是概览型结论。整体上升这类判断由多个数字汇总而来,找不到对应原句,只能标到数据表。
第四是解析错位。扫描件、双栏排版、跨页表格解析出错时,坐标指向错的段落,引用看着完整,点进去对不上。要先修解析,再谈溯源。
第五是来源不可信。营销稿、论坛帖、二手转载都能被成功引用,溯源只证明它确实这么说过。选型要看来源白名单,而不是只看有没有引用。接入时注意套壳应用的入口问题,入口不明的产品,来源链路往往也查不清。
第六是模型自评。让生成答案的同一个模型判断有无依据,它倾向于说有。校验要换模型或换成规则比对。不同代际模型的服从度差别明显,免费版与付费版的差异不只在额度,也在是否愿意承认不知道。
怎么用:把引用当线索
三个动作就够。看引用指向的那一段,而不是整篇文档;核对限定词,比例、时间范围、适用条件最容易被放大;区分直接支持和相关。
对关键结论保留人工复核,尤其是数字、条款、时间。流式输出时结论先到、引用后到,生成速度带来的这个时间差会让人在引用出现前就下判断,等两秒再看,能少犯不少错。
如果它说未找到依据,是好消息,说明机制在起作用。要警惕的是每句都有引用、每条都点得开、却没有一条真正支持结论的答案,那种整齐往往是凑出来的。
幻觉溯源速查
- 溯源管出处,不管对错,来源错了结论照样错
- 只有检索型输入能给稳定坐标,闭卷回答的出处不可信
- 生成时绑定便宜,生成后校验更准,两者要叠加
- 引用看定位层级和支持程度,不只看有没有编号
- 多跳结论、概览结论、解析错位,三处最容易失效
- 点开原文那一段,重点核对数字与限定词


