跳到主内容

「截断掉的上下文模型还记得」错在哪?

2026-10-18 发布 来源:我告诉你AI导航 阅读

和 Kimi 聊了两百轮之后,前面聊过的内容模型还记着吗?不少人以为被挤出去的部分只是收进抽屉,需要时还能取回来。错在这里:超出窗口的内容,对模型和 AI 本身而言是彻底消失,没有任何东西被收好。这个误解值得逐条对照机制讲清楚,日常...

和 Kimi 聊了两百轮之后,前面聊过的内容模型还记着吗?不少人以为被挤出去的部分只是收进抽屉,需要时还能取回来。错在这里:超出窗口的内容,对模型和 AI 本身而言是彻底消失,没有任何东西被收好。这个误解值得逐条对照机制讲清楚,日常使用里大部分「它怎么忘了」的困惑都源于此。

误解和机制,逐条对照

误解的根源是拿人类记忆类比模型。人会记住旧事、需要时回忆,模型只认当前摊在窗口里的内容。窗口像一块固定大小的白板:写满了,最旧的内容被擦掉,给新内容腾地方,擦掉的字迹不存在任何抽屉里,模型连自己曾经写过都不知道。把记忆的直觉套在白板上,才产生「还记着」的错觉。下表把四个常见误解和真实机制摆在一起。

常见误解真实机制由此带来的后果
旧内容收进抽屉,用时取回窗口写满即移出,没有第二存储追问早期细节,答不出或现编一个
聊得越多,模型越了解我会话结束,上下文不进模型本体换个会话,它对你的了解归零
摘要压缩等于原文还在概述只留大意,逐字细节丢失引用具体数字和原话时出错
模型会像人一样回忆只处理窗口内文本,没有检索动作「你之前说过」这类追问常常落空

溢出时发生什么

不同产品的处理策略略有差异,常见两类:滑动窗口式,最旧的对话直接移出;摘要压缩式,把早期内容压成一段概述再继续。无论哪种,原始的逐字内容都不再完整在场。要留意的是从哪里开始丢:有的从最旧的消息丢起,有的连最早的系统设定也一并压缩,后者更危险——约束悄悄失效后,模型行为会漂移,你很难立刻察觉原因。长会话跑到一半,隔一段把关键约束重新声明一遍,是廉价又有效的补救。

为什么感觉模型还记得

错觉顽固有三个来源。一是概述压缩保留了大意,模型谈早期话题的方向仍然正确;二是你恰好问到了摘要里保留的内容;三是某些应用把关键信息存进外部记忆系统,检索后重新注入——那已经不算模型记得,是应用替它查了资料。三个来源叠加,「它其实记得,只是有时想不起来」的感觉就形成了。机制上,不在窗口就是不在场,没有中间状态。

十分钟做个验证实验

实测比读十篇解释有效。开一个新会话,第一轮告诉它一个自造的暗号词,然后连续闲聊十轮以上,聊到会话变得相当长时再问暗号是什么,多数情况下它答不上来或答错——这一刻你会真切理解什么叫不在场就是不记得。顺带留意窗口的计算范围:它包含你发去的所有内容,粘贴的长文、上传的文件都算在内,别只数自己打的那几行字。窗口容量和能读的字数之间还隔着换算,两个常见误区分别见 「上下文 128K 就能读 12 万字」错在哪 和 token 数不等于字数。

正确的做法:自己管理上下文

指望模型不如自己动手。关键结论让它当场复述一遍,或者复制出去存档;重要约束写在提问开头,新会话时随第一条带回来;会话过长主动切割,别等窗口满了被动截断。另外别指望多聊几句就把信息聊进模型——聊天不改变模型本身,想让模型长期掌握特定知识,是训练层面的事,对微调的常见误读见 微调一次一劳永逸错在哪;训练也不是越久越接近目标,训练时长的误读单独有一篇。存档还有一个好处:它就是新会话的种子材料,开新会话时贴回去,比从头回忆省力得多。

截断与记忆速查

  • 窗口是白板:写满即擦,没有抽屉
  • 溢出两类:直接移出,或压缩成概述
  • 记得的感觉来自:大意还在、恰好问到处、外部记忆注入
  • 自救三招:当场存档、约束前置、主动换会话

再补三个追问

窗口越大是不是就不会忘?只是推迟,写满照样丢。而且窗口越长,模型对中部内容的注意力越容易松,大窗口不等于全程可靠。

让模型把要点复述一遍留在会话里,有用吗?复述只是把内容挪回近期窗口,换个会话照样丢。真正留底的是你自己复制出去的存档。

长会话中途新开一个,怎么带走结论?让旧会话把关键结论压成三五条,复制进新会话的第一条,比指望它记得省事得多。

把存档的习惯建立起来,记忆这件事,交给自己比交给模型可靠。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]