反向传播为什么被冷落了几十年？1986 年那篇论文

AI 方法史上有一笔延迟了十几年的账：反向传播这项后来支撑起整个深度学习的训练方法，核心思路在七十年代就见于公开文献，却直到 1986 年一篇《自然》论文之后才被广泛采用。同一种方法，前后待遇的落差为什么这么大，被冷落的原因与正名的经过都有公开文献可查。这篇按公开记录讲这段历史，方法的数学细节只一句带过，重点放在事件本身。

被冷落的那几十年

先把问题背景摆出来。神经网络训练的本质，是给网络里的每个连接找一组合适的权重，而多层网络的难点在于：中间那些层看不见答案，权重该怎么调没有现成办法。1969 年《感知机》一书论证单层结构的局限时，也点明了多层缺少已知训练方法，这层背景见感知机一篇。此后十多年，神经网络整体处于经费与关注度双低的时期，多层网络训练这条路在公开文献里进展寥寥。

有意思的是，方法所需的核心构件在同期已经出现：七十年代初，芬兰研究者林纳因玛在自动微分的公开论文里给出了数值误差逐层反向传播的计算方法；1974 年，韦伯斯在哈佛大学的博士论文里明确提出把这类方法用于神经网络。以公开文献看，构件齐了，但两者的组合在当时没有引起广泛注意——一条冷门路线上的技术组件，即便齐全也难以获得传播，这是历史里常见的一幕。

1986 年论文做了什么

1986 年 10 月，鲁梅尔哈特、辛顿与威廉姆斯在《自然》杂志发表《通过误差反向传播学习表示》。按公开论文口径，这篇篇幅不长的文章做了三件事：给出反向传播的完整推导——用链式法则把输出误差的梯度逐层传回，作为各层权重的调整依据；用实验证明多层网络能学到有用的内部表示，包括常被引用的家族关系推断实验；把方法写得足够清楚，让同行可以照着实现。同一年，鲁梅尔哈特与麦克莱兰主编的两卷本《并行分布式处理》出版，反向传播作为核心方法被系统整理，传播效应叠加。

论文发表后的几年里，多层网络训练从没人会做的事变成标准动作，反向传播随之成为神经网络训练的通用方法，这个地位此后从未旁落。辛顿这条线上的后续节点，人物篇见辛顿一篇，2006 年的重启工作是其公开履历的下一站。

反向传播时间线速查

• 1969 年：《感知机》出版，多层网络缺少已知训练方法
• 1970 年：林纳因玛在自动微分工作中给出误差反向传播算法
• 1974 年：韦伯斯博士论文提出将其用于神经网络
• 1986 年 10 月：鲁梅尔哈特、辛顿、威廉姆斯论文登上《自然》
• 1986 年：两卷本《并行分布式处理》出版，方法系统化传播

从正名到训练标准

正名之后的历史几乎是直线的：八十年代末到九十年代，反向传播把神经网络研究从冷门拉回视野，手写数字识别等应用线随之展开；2006 年逐层预训练重启深网络，2012 年深度网络在视觉竞赛大幅领先，见AlexNet 拿冠军一篇，此后深度学习成为主流，见深度学习复兴一篇。今天所有大模型的训练都以梯度下降为骨架，而梯度逐层回传靠的正是反向传播——1986 年那篇论文定下的方法，四十年来一直在这条线的底层运行。

回头看被冷落的原因，公开文献给出的解释可以归成两条：一是多层训练的方法确实缺位，缺的是「构件组合加实验证明」这最后一步；二是整个方向处在低潮，即便有人做出组件，也没有足够多的同行去接。方法史里，成名的节点常常属于把一切拼到可见程度的那篇论文，而非最早的构想者——这段历史的分工，如今在公开文献里已有明确记载。

正名与今天的关联

这段历史对今天的读者有个直接的观察窗口：你使用的每一个大模型产品，训练时都在跑这套方法。你可以做个小实验感受它的作用——让 DeepSeek 和 Kimi 各写一段代码，把错误指出来看它怎么改，模型按反馈调整输出的方式，与训练中按误差信号调整权重是同一种思想在不同层面的呈现。判断产品合不合用，同样要靠多次反馈迭代来验收，让豆包改稿几轮再看结果，比一次生成的印象可靠，评估思路见基准分和实际任务一篇。

另一个可带走的判断是关于「谁先想到」的：技术史承认的优先权常常落在让方法可用、可验证、可复制的人手里。1986 年论文的三位作者没有发明全部构件，但公开文献把正名的位置记给了他们，这个记录本身值得读史的人留意。

反向传播快问快答

• 反向传播到底是什么？：一句话说，它是用链式法则把输出误差的梯度逐层传回、据此调整各层权重的训练方法，数学细节可参考专门的概念词条与公开教材。
• 1974 年韦伯斯的工作为什么没有流行？：公开文献的普遍解释是当时神经网络整体处于低潮，方法缺少可复制的实验证明与传播渠道，1986 年论文补齐的正是这两块。
• 今天的大模型还用反向传播吗？：用。按公开技术资料，梯度下降加反向回传仍是大模型训练的骨架，变化在并行规模与工程实现，方法本身延续至今。