大模型微调完,总有人问:模型现在不说胡话了吧?「微调后就不会幻觉了」错在哪?在于把微调当成纠错机制。正确说法是:微调能降低特定场景的编造概率,但消除不了幻觉本身;只要模型还在做概率生成,幻觉就始终在场,能做的只有管理和缓解。
错在哪:指望一训永逸
微调教的是这类问题该这样答,对没见过的提问,模型依然靠概率拼答案,该编还会编。数据里的事实错误甚至会被原样学走,让幻觉变得更稳定、更难发现。把微调当疫苗,是打错了对象。
微调对幻觉到底做了什么
在训练覆盖的场景里,模型的回答会更贴近数据中的标准表述,同类编造明显减少。换个问法、换个场景,缓解效果就打折。想衡量变化,只能用没进训练集的平行问题做前后对比,原题答得好不算数。
幻觉该归谁管
幻觉管理是日常的系统工作:事实走检索,回答留依据,关键场景加人工复核,输出标注置信边界。微调在这个体系里负责表达一致性,不负责事实正确。Kimi、文心一言都在产品层加了引用来源的机制,正是这个思路的落地。
这段话其实是一张分工表,拆开看更清楚。
| 责任环节 | 承担手段 | 具体做法 |
|---|---|---|
| 事实核查 | 检索 | 事实走检索,不靠模型自己记 |
| 回答依据 | 引用来源 | 回答留依据,Kimi、文心一言在产品层加了引用来源 |
| 高风险场景 | 人工复核 | 关键场景加人工复核 |
| 不确定边界 | 置信标注 | 输出标注置信边界 |
| 表达一致性 | 微调 | 负责表达一致,不负责事实正确 |
配套动作有哪些
三个立刻能做的:回答要求附依据,没依据就明说不知道;关键场景设拒答边界,宁可答不了也不瞎编;定期用新问题抽检,把幻觉率当指标盯。数据侧的配合可以读「数据看起来干净就不用清洗」错在哪?,知识问题见「微调能让模型记住新知识」错在哪?,数据量与效果的关系看「数据越多微调效果越好」错在哪?。
抽检怎么做才不走过场
抽检最怕形式化:每周固定抽二十条,看完打个勾,问题一条没发现。有效的抽检要有明确的问题导向:这轮想验证什么假设,就冲着它设计抽检样本,而不是随机撒网,没有问题导向的抽检,只是走个流程。
样本来源要覆盖真实分布。从线上日志里按时间抽,比从测试集里抽更有价值,因为那才是用户真实的问法,测试集里的问法,永远比真实用户客气。抽检池定期更新,老问题看够了就换新角度。
判定标准要事先写清。一条回答算没问题、算小瑕疵、算事故,三级标准先定好,不同抽检人的结论才可比。标准模糊,抽检就退化成看心情,这一条最容易被忽略,却最影响结论。
结果要落地。抽检发现的问题按类型归堆,每堆对应一个动作:数据补位、口径修正、边界收紧。只发现问题不改流程,抽检就变成了昂贵的自我安慰,跟进到底才是抽检的价值所在。
频度上,上线初期密集抽,稳定后拉长间隔,但别归零。幻觉率是慢变量,连续几周的上升趋势,比单周的具体数值更说明问题。把抽检结果画成折线,比翻表格直观得多。
最后补一条认知:缓解幻觉是长期工作,不是项目里程碑。产品在变、用户在变、话术也在变,任何一版模型都不能宣称解决了这个问题。把幻觉率纳入常态监控,比追求一次清零现实得多,也健康得多,这是和概率生成机制共处的正确姿势。承认它消不掉,才能把力气花在对的地方:检索兜底、依据留痕、边界收紧,每一件都比许愿管用。
自查清单:幻觉是概率生成的伴生现象;微调只降概率不除根;缓解靠检索、依据、拒答边界、定期抽检四件事。
换个问法再问「微调后就不会幻觉了」三句
- 微调能降低多少幻觉?:只在训练覆盖的场景里有可测的下降,且必须用平行问题前后对比,原题说明不了问题。
- 拒答边界和体验怎么平衡?:按场景分级,高风险场景从严,日常场景从宽,别一刀切全拒。
- 幻觉率能当考核指标吗?:能,定期抽新问题统计错误率,盯趋势比盯具体数值更有用。


