AI 视觉领域被引用最多的论文之一,出自一位当时在微软亚洲研究院工作的中国研究者:2015 年,何恺明与三位同事完成了 ResNet,公开论文给出了一套解决深层网络退化问题的设计。今天你让通义千问看图答题、让豆包识别照片里的内容,背后深度视觉模型的骨架里都有这份设计。本文只写公开论文与公开履历的事实,引用数字拿不准处均标注以公开数据为准。
2015 年那篇论文解决什么问题
公开论文指出的现象叫退化问题:按理说网络越深表达能力越强,但实验里单纯堆深度,训练误差反而回升——论文明确排除了过拟合的解释,指出这是优化层面的困难。给出的解法是残差学习:不再要求堆叠的层直接拟合目标映射,而是让它拟合目标与输入之间的差值,捷径连接把输入原样加回输出,写出来就是公开论文里那个简洁的关系:输出等于残差加输入。
效果在公开榜单上有硬数字:2015 年的 ImageNet 竞赛上,ResNet 以 152 层的公开口径拿下分类冠军,前五错误率约 3.57%,同期在检测、定位等赛道也公开报告了冠军成绩。上一代的转折点是 2012 年那场深度卷积网络的胜利,见AlexNet 拿冠军那几天发生了什么一篇;整个竞赛的来龙去脉,见ImageNet 竞赛怎么改变 AI一篇。
残差连接的设计要点
回到设计本身,公开论文里有三个值得记的要点。其一,捷径连接不引入额外参数,只在个别维度不匹配时做一次线性变换,成本极低;其二,残差结构是模块化的,两三个卷积层加一条捷径就是一个基本单元,堆叠即可加深;其三,为控制计算量,论文给出了瓶颈式设计,用一乘一卷积先降维再升维。这些构件写法简单、组合自由,让上百层的网络第一次变得可以稳定训练。
| 设计要点 | 公开论文里的做法 | 换来的好处 |
|---|---|---|
| 捷径连接 | 不引入额外参数,只在个别维度不匹配时做一次线性变换 | 成本极低 |
| 基本单元 | 两三个卷积层加一条捷径,构成一个模块 | 堆叠即可加深,组合自由 |
| 瓶颈式设计 | 用一乘一卷积先降维再升维 | 控制计算量 |
引用量与后续影响
公开检索显示,这篇论文长期位居 AI 领域被引最多的论文之列,具体数字随检索平台与时间不同,以公开检索数据为准。奖项也有公开记录:论文获 CVPR 2016 最佳论文奖。影响层面,残差连接此后成为深度网络的标准构件之一;今天广泛使用的 Transformer 架构里,同样保留了残差式的连接设计,见Transformer 论文当时为什么没轰动一篇。从图像理解到多模态模型,这条线的延伸都建立在「深层网络训得动」的前提上。
公开履历:从研究院到 MIT
何恺明的公开履历按时间排:清华大学本科,香港中文大学博士;2009 年的暗通道去雾论文获 CVPR 最佳论文奖(公开奖项记录);微软亚洲研究院任职期间完成 ResNet;2016 年加入 Facebook 人工智能研究团队;后续的 Mask R-CNN 等论文获 ICCV 2017 最佳论文奖;2024 年公开宣布加入麻省理工学院任教,任职时间以校方公开信息为准。
从视觉到大模型的连接点在于:残差结构让深层视觉网络可用,视觉理解能力随数据与算力一起长成了今天多模态模型的样子;而这条路线的学术底座,可追溯到深度学习奠基者们数十年的坚持,见辛顿为什么被称为深度学习教父一篇。评估一个视觉模型的真实水平,榜单数字与实际任务之间的落差同样要留意,见基准分和实际任务一篇。
ResNet 公开节点速查
- 2015 年:论文公开,署名微软亚洲研究院四位研究者;ILSVRC 分类冠军,公开口径前五错误率约 3.57%
- 2016 年:获 CVPR 最佳论文奖;作者加入 Facebook 人工智能研究团队
- 2017 年:Mask R-CNN 获 ICCV 最佳论文奖
- 2024 年:公开宣布加入麻省理工学院任教
- 引用量:长期位居 AI 领域被引最多论文之列,具体以公开检索数据为准
再多说几句何恺明
- 「残差」到底是什么?:按公开论文的定义,指让堆叠的层学习目标映射与输入之间的差值部分,捷径连接把输入原样加回输出。
- 这篇论文引用量到底多少?:不同检索平台数字不一且持续增长,公开口径为 AI 领域被引最多的论文之一,具体以检索平台数据为准。
- 它和今天的多模态模型什么关系?:残差连接是深层网络的通用构件,视觉编码部分普遍沿用,多模态模型的看图能力同样受益。


