AI 的主战场在 2012 到 2017 年间从图像识别挪到序列建模：2012 年，AlexNet 在 ImageNet 视觉竞赛上把错误率大幅拉低（见AlexNet 的视觉突破一篇）；2017 年，Transformer 论文公开（见Transformer 论文一篇）。这五年常被一句话带过，实际台阶不少。这篇按公开节点逐年对照，把中间发生的几件关键事摆出来，只对照公开文献记载，不做高下结论。
2012：视觉这条线先立住了
AlexNet 拿下 2012 年竞赛冠军时，公开资料里最醒目的特征有三条：用 GPU 训练网络、用 ReLU 替代传统激活函数、用 Dropout 抑制过拟合。算力的角色在这一年发生转折，GPU 进入 AI 的公开脉络有专文记述。同年还有一条公开记录值得并排看：谷歌的研究团队用大规模机器训练出了一个能从视频里「认出猫脸」的模型，规模路线的可行性在这两条公开结果里同时得到印证。数据、算力、网络结构三件事在这一年合流，深度学习由此起步，此前一段的低谷与铺垫见深度学习复兴一篇。
2014：序列建模开始借力
视觉之外，序列问题在这一年出现关键公开结果。循环网络长期受梯度消失困扰，翻译这类变长序列任务进展缓慢；2014 年，seq2seq 框架的公开论文把「编码—解码」结构用于机器翻译，序列到序列的建模有了通用的骨架。同年，注意力思想的公开论文出现：翻译时让模型「回头看」源句子的不同位置，而非把整句压成一个固定向量。视觉方向这一年也没停：更深的 VGG 与 GoogLeNet 公开，生成对抗网络的论文发表。自然语言处理从规则与统计转向神经方法的公开脉络，见NLP 的交接一篇。
2015：深度与注意力两把钥匙
2015 年的两个公开结果补齐了深度路线的钥匙。其一，ResNet 公开：残差连接让上百层的网络可以稳定训练，152 层的公开版本在 ImageNet 上把错误率压到公开报告所称低于人类水平的区间，「网络能不能更深」的工程疑问就此打开。其二，深度强化学习在 Atari 游戏上的公开结果发表，同一套深度网络开始处理「边试边学」的问题。注意力机制在这一年也从机器翻译的辅助组件走向更核心的位置。深度学习的工具箱，到这一年基本齐了。
2016 到 2017：从棋盘到序列骨架
2016 年 AlphaGo 的公开对局让深度学习走出技术圈，公众第一次直观看到这套方法的能力边界之外还有多少空间。真正的结构变化在 2017 年：Transformer 论文公开，标题直译过来是「注意力就是你所需要的一切」，把循环结构整个拿掉，序列建模只靠注意力。训练因此可以大规模并行，前几年攒下的三样东西——大数据、算力、深层结构——在这套新骨架上同时放大。之后一年的 BERT 公开结果迅速验证了这条路线的容量。视觉立骨架、序列换骨架，五年的过渡大致就是这两步。
| 技术组件 | 公开年份 | 针对的障碍 | 公开效果 |
|---|---|---|---|
| GPU 训练网络 | 2012 | 训练算力不足 | AlexNet 在 ImageNet 上把错误率大幅拉低 |
| 编码—解码结构 | 2014 | 变长序列的翻译进展缓慢 | 序列到序列建模有了通用骨架 |
| 残差连接 | 2015 | 网络加深后难以稳定训练 | 152 层版本错误率压到低于人类水平的区间 |
| 纯注意力结构 | 2017 | 循环结构限制并行 | 序列建模可以大规模并行训练 |
五年台阶对照速查
- 2012：AlexNet 夺冠，GPU 训练公开亮相
- 2014：seq2seq 与注意力思想公开，GAN 论文发表
- 2015：ResNet 把深度推至上百层，Atari 强化学习公开
- 2016：AlphaGo 公开对局引发广泛关注
- 2017：Transformer 论文公开，序列建模换骨架
五年台阶快问快答
- 这五年里视觉方向是不是停下来了？：没有。VGG、GoogLeNet、ResNet 都出在这段时期，视觉路线的公开进展一直在推进，只是序列建模在这五年里补齐了自己的骨架，两边是并行推进的。
- Transformer 是凭空出现的吗？：公开文献的脉络里，注意力思想在 2014 年的机器翻译论文里已经出现，Transformer 是把这条线推到「只用注意力」的位置，铺垫在先，收束在后，中间还隔着强化学习出圈的 2016。
- 想自己梳理这段过渡期怎么办？：让 DeepSeek 把 2012 到 2017 年的公开论文列成时间线，再用 Kimi 逐条核对年份与作者，对照本文的台阶表检查有没有漏项，核对完再下结论。
