LSTM 是怎么解决梯度消失的？1997 年的遗忘门

今天你对着手机说一段话，AI 能当场把语音转成文字；把一段外语丢给 DeepSeek，译文几秒内出来。这些能力的背后，曾有一款服役近二十年的主力零件：LSTM，长短期记忆网络。它 1997 年发表，要解决的问题是循环神经网络训练里的一个老毛病——梯度消失。这篇按公开论文讲清楚：当年问题卡在哪里，门控设计是怎么解开这个结的，以及它为什么在发表近二十年后才大规模爆发。

病根在 1991 年就被指出

要讲 LSTM，得先回到 1986 年。那一年反向传播论文登上《自然》，多层网络的训练方法被系统推广，见反向传播一篇。研究者很自然地把它接到循环网络上，想处理带先后顺序的数据：一句话、一段语音、一串记录。想法直白——网络带着记忆，读完前文再判断后文。

麻烦出在训练上。循环网络按时间展开后，等于一个很深的网络：当前的误差要一路传回几十步之前，网络才学得会「记住早先的信息」。1991 年，慕尼黑工业大学的学生霍赫赖特在学位论文里对这件事做了系统分析，公开结论是：误差信号往回传时随时间步不断缩小，跨过多步之后已经微弱到不起作用，网络几乎学不到几步之前发生的事。这就是梯度消失在循环网络里的形态——训练照常进行，长距离的依赖却学不进去。

1997 年的门控设计

解法出自同一条线。霍赫赖特毕业后与导师施密德胡伯合作，论文《长短期记忆》1997 年发表在《神经计算》期刊上。设计的核心是一个带「恒定误差传送带」的记忆单元：单元内部状态沿时间传递时误差不衰减，跨越长距离的信息得以保留；往里写什么、往外读什么，则交给门来决定。按公开论文口径，1997 年这一版有输入门与输出门；著名的遗忘门是在随后几年的修订论文里补上的，由格尔斯等人署名，负责把没用的记忆清掉。门控家族自此凑齐，版本与署名细节以公开论文为准。

这套设计后来成了序列任务的标准部件：记忆单元负责长期保存，几个门负责写入、读出与遗忘，全部参数靠训练自己学出来。回头看，它没有推翻反向传播，而是给误差修了一条不衰减的专用通道——绕开衰减，而不是在原路上硬扛。

等了近二十年的爆发

论文发表后的头些年，LSTM 只是少数实验室手里的方法。公开文献里的转折发生在 2000 年代：它先在国际手写识别等竞赛里接连拿出成绩，2006 年格雷斯等人提出的序列分类方法又让语音这类连续序列的对齐问题有了通用解法；2015 年，谷歌公开宣布其语音识别产品线改用 LSTM；2016 年 9 月，谷歌上线神经机器翻译系统，按公开说明同样以 LSTM 为骨干，机器翻译六十年的路线交接见机器翻译是怎么走过六十年的一篇。按谷歌随后的公开口径，LSTM 已进入其翻译、语音等多条产品线。

1991 年：霍赫赖特在学位论文里系统分析循环网络的梯度消失；1997 年：《长短期记忆》发表于《神经计算》；2000 年前后：加遗忘门的修订论文公开；2000 年代：LSTM 在多项序列任务竞赛中公开取得领先成绩；2015 年：谷歌语音识别改用 LSTM；2016 年：谷歌神经机器翻译上线；2017 年：Transformer 发表，路线更替开始。

被接替的位置

爆发的顶点也是更替的起点。2017 年谷歌团队的 Transformer 论文把循环结构整个去掉，只用注意力机制，训练的并行度大幅提高，见Transformer 论文一篇；此后几年，大模型几乎全部改走注意力路线。LSTM 退出了主角位置，但遗产留了下来：门控思想仍出现在诸多网络结构里，在小数据、低算力与端侧场景，它也仍是工程师清单上的实用选项。

顺带一提，围绕序列学习与卷积方向的优先权，学界有过多年公开讨论，双方声明与回应的梳理见施密德胡伯和杨立昆之争一篇。今天你用腾讯元宝总结一篇长文、用通义千问改写一段话，读长文的能力是注意力机制在撑；而 LSTM 那二十年，把「序列要带着记忆处理」这个直觉，实打实在生产环境里验证了一遍。

关于LSTM的三问三答

• LSTM 是谁在什么时候提出的？霍赫赖特与施密德胡伯合作的论文 1997 年发表于《神经计算》；遗忘门由格尔斯等人在随后的修订论文里补上，版本细节以公开论文为准。
• 它解决的是什么问题？循环网络训练中的梯度消失：误差往回传时随时间步不断缩小，长距离依赖学不到。LSTM 用不衰减的记忆通道加门控，让长程信息得以保留。
• 现在还在用 LSTM 吗？大模型主流已改用注意力机制，但 LSTM 在小数据、低延迟与端侧场景仍是实用选项，门控思想也延续在后来的网络设计里。