跳到主内容

什么是幻觉溯源?怎么让 AI 标明「这话从哪来」

2026-10-06 发布 来源:我告诉你AI导航 阅读

大模型答错时,最麻烦的地方在于你不知道哪一句错了。幻觉溯源要做的就是给每句结论挂一个坐标:这句话来自哪份文件、哪一段、哪一句原文。它把「信不信 AI」换成「信不信这份来源」,但没替你把来源点开看一眼。

大模型答错时,最麻烦的地方在于你不知道哪一句错了。幻觉溯源要做的就是给每句结论挂一个坐标:这句话来自哪份文件、哪一段、哪一句原文。它把「信不信 AI」换成「信不信这份来源」,但没替你把来源点开看一眼。

它管出处,不管对错

先分清两个属性。事实正确性问这句话对不对,归属正确性问它是不是这份来源说的。溯源只负责后者。来源本身错了或过期,溯源会标得清清楚楚,结论依然错。

它的用法很明确:把无从核对变成有处可核,再把核对动作交回给人。声称能同时解决对错的产品,要么在来源侧另做了事实校验,要么只是把模型自评包装成了引用。

进来什么:三类输入

能不能溯源,在输入阶段就定了。一类是闭卷:只有问题和模型参数。这时它给的任何出处都是生成的,看起来像书名、像文号,实际不存在。

另一类是开卷但没检索:全文粘贴进对话,材料在上下文里。这时可以标到第几段,坐标是上下文中的位置,关掉窗口就失效。

还有一类是检索或工具返回:从索引召回段落,或调用搜索、数据库拿到结构化结果。只有这一类能给出稳定、可点击的坐标,也才有可能做批量审计。判断产品属于哪类,看回答时有没有查看来源的入口,点进去是不是原文。

发生什么:检索、绑定、校验

先做检索。问题被改写成查询,从索引召回若干段落。召回率决定上限:能回答问题的段落没被召回,后面怎么生成都只能编。工程上先调召回,再调表达。

接着是绑定。把召回的段落放进上下文,要求每句结论后面带编号。更严格的做法是先产出结论与证据的配对,再写成句子,这样引用是句子的骨架,不是事后贴上去的标签。生成时绑定成本低但可能引错;生成后绑定多一道匹配,贵一些,却能抓住引非所答。

最后是校验。逐句判断结论能否被所引段落支持,不支持的降级为未找到依据或删掉。校验器可以是另一个模型,也可以是规则比对,它自身也会错,其准确率决定整套机制的漏检率。

出去什么:引用的四个层级

一条引用有四个层次。文档级,只说明来自哪份文件,核对成本最高;段落级,标到第几节第几段,多数产品停在这里;句子级,给出被引用的原句;字符级,标到具体的词或数字,用于金额、日期、条款这类不能含糊的位置。

定位越细,核对越省力,实现越难。合格的引用还应带支持程度:直接支持、间接支持、无依据。只有直接支持能单独作为结论依据。

三种实现方式的强弱

实现方式机制能防住什么防不住什么
提示词强制引用格式要求每句后写编号,对应上下文材料明显的无出处断言编号对不上、模型自行凑号
先检索后生成召回段落进上下文,再基于段落作答知识型问题的大部分编造召回错误导致引用错误;多跳问题断链
生成后逐句校验用另一个模型或规则做蕴含判断引非所答、结论被夸大校验器自身误判;成本与延迟上升
人工抽检按比例回原文核对系统性偏差覆盖率低,抽不到就漏

四行不互斥,通常要叠加:检索负责有料,格式负责可读,校验负责不跑偏,抽检负责发现系统性错误。只做提示词约束的,引用标记接近装饰。

错误归因:有出处但不支持

这是溯源最隐蔽的失效方式:引用真实存在,但那段话并不支持这个结论。常见四种:引非所答,段落讲甲产品价格,结论说乙产品;以偏概全,原文写部分样本,结论写成普遍情况;二手转引,引的是转述版本,原始出处已经变形;来源过期,条款早已修订,引用的还是旧版。

它比直接编造更难发现,因为引用标记会给人已核实的错觉。有效检查动作是把引用段落和结论并排读,问自己:如果这段话是我写的,我会不会拿它支撑这句话。答案是否,归因就有问题。

它在什么情况下失效

最常见的是知识库里没有答案。只能标未找到,但模型补全倾向很强,会把没有写成有。要监控无依据回答的比例,它突然下降未必是好事。

其次是多跳推理。甲是乙的供应商、乙被丙收购,结论要把两段材料拼起来,没有哪句原文单独支持它,只能给推理链。

第三是概览型结论。整体上升这类判断由多个数字汇总而来,找不到对应原句,只能标到数据表。

第四是解析错位。扫描件、双栏排版、跨页表格解析出错时,坐标指向错的段落,引用看着完整,点进去对不上。要先修解析,再谈溯源。

第五是来源不可信。营销稿、论坛帖、二手转载都能被成功引用,溯源只证明它确实这么说过。选型要看来源白名单,而不是只看有没有引用。接入时注意套壳应用的入口问题,入口不明的产品,来源链路往往也查不清。

第六是模型自评。让生成答案的同一个模型判断有无依据,它倾向于说有。校验要换模型或换成规则比对。不同代际模型的服从度差别明显,免费版与付费版的差异不只在额度,也在是否愿意承认不知道。

怎么用:把引用当线索

三个动作就够。看引用指向的那一段,而不是整篇文档;核对限定词,比例、时间范围、适用条件最容易被放大;区分直接支持和相关。

对关键结论保留人工复核,尤其是数字、条款、时间。流式输出时结论先到、引用后到,生成速度带来的这个时间差会让人在引用出现前就下判断,等两秒再看,能少犯不少错。

如果它说未找到依据,是好消息,说明机制在起作用。要警惕的是每句都有引用、每条都点得开、却没有一条真正支持结论的答案,那种整齐往往是凑出来的。

幻觉溯源速查

  • 溯源管出处,不管对错,来源错了结论照样错
  • 只有检索型输入能给稳定坐标,闭卷回答的出处不可信
  • 生成时绑定便宜,生成后校验更准,两者要叠加
  • 引用看定位层级和支持程度,不只看有没有编号
  • 多跳结论、概览结论、解析错位,三处最容易失效
  • 点开原文那一段,重点核对数字与限定词

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]