什么是持续学习？AI 能不能活到老学到老

人学新东西，通常不会把旧的忘光；但一个大模型学新知识时，却可能把旧知识挤掉——这被称为灾难性遗忘。持续学习要解决的，正是让模型不断接收新数据、更新自己，同时保持原有能力不退化。

灾难性遗忘从哪来

根源在于模型的知识是「挤」在同一批参数里的。学新知识要调整这些参数，而调整会干扰旧知识。打个比方：这像在一张已经写满字的纸上继续写，要么擦掉旧的，要么写不下。传统训练是「一次学完就固定」，持续学习则要求「一边学新的一边留旧的」，两者天然冲突。

为什么不能每次都用重训解决

有人会问：新知识来了，把模型整个重训一遍不就行了？问题在成本。一次完整的重训耗时以天甚至周计，算力开销也高，为了一点增量信息就重训整个模型，性价比太低。持续学习想要的，是用更小的代价完成更新，这比每次从头再来划算得多。

已有的几条技术路线

研究者尝试过不少办法，思路大致可以归为几类，各有各的代价。

这几条路线目前都没有成为公认的标准答案，更多是各自在特定场景里试用。原因在于「记住新的」和「不丢旧的」是一对难以同时满足的目标，常常顾此失彼。

表格里的「数据回放」听起来简单，实际操作并不轻松：旧数据要长期保存，存储成本随更新次数累积，而且回放多少旧数据、按什么比例掺入，都会直接影响遗忘和新知识学习的效果。这些问题目前没有统一答案，是持续学习迟迟无法落地的重要原因之一。

业界常用的折中办法

工程上更常见的做法，其实是绕开「改模型」这条路：不改参数，改用检索。把新知识放进外部知识库，回答时现查现用，这个思路就是常说的 RAG。它并非真正的持续学习，但胜在实用——知识更新快，成本也低，不用为一点新信息就重训整个模型。

它做不到什么

持续学习目前还是一个开放问题，有几个现实边界要认清。其一，它无法确保新旧知识长期共存，遗忘问题没有根本性解法，所以大语言模型的知识会过时，至今仍是常态。其二，它不代表「学一次就永远对」，外部记忆的检索也可能漏掉或取错。其三，多数产品为了稳定，宁可选择「定期重训」或「检索增强」这类办法，也不轻易让模型在线自我更新。

知识过时的真实代价

持续学习没解决好的后果，会具体落到下游产品上。语音合成里，遇到新词、新读音时，文本前端可能按旧规则念错；视频处理里，出现新的构图玩法时，模型若没学过，就做不出对应的智能重构图效果。这些现象都指向同一个根源——模型停在训练那一天。

顺带一提，持续学习和「在线学习」常被混在一起。在线学习强调模型一边服务一边根据新样本即时更新，更看重实时性；持续学习强调的则是「长期、多次更新后旧能力还在」。两者有关联，但侧重点不同。多数面向普通用户的大模型产品，为了避免稳定性波动，通常不采用实时在线更新，更倾向批量更新或检索增强，这也是你在使用中感觉不到模型「每天在变」的原因。

该怎么理解它

持续学习速查

• 目标：不断学新知识，同时不丢旧能力
• 难点：知识挤在同一批参数里，学新会扰旧
• 路线：数据回放、参数隔离、正则约束、外部记忆
• 现实：工程上多改用检索增强绕开问题

理解持续学习，能解释一个常见困惑：为什么 AI 的回答里会出现过时信息。因为模型的知识有「出厂时间」，在那之后发生的事，它未必知道。持续学习正是想跨过这道坎，让 AI 从「一次性训练」走向「长期可用」。这条路还没走通，但方向是明确的。