AI 技术史上有一类论文，发表时反应平平，若干年后被追认为转折点，2017 年的 Transformer 论文是典型。它登场时只是机器翻译方向的一篇新成果，排在当年众多论文之中，没有发布会也没有热搜；八年回看，今天几乎所有主流大模型都搭建在它的架构上。这篇按公开时间线讲两件事：它当时为什么不显眼，后来又为什么绕不开。
发表时它只是「其中一篇」
2017 年，谷歌的研究团队在神经信息处理系统大会上发表《Attention Is All You Need》。论文目标很具体：把机器翻译做得更好。当时主流的循环神经网络逐词读入、逐词输出，句子一长就顾此失彼，训练也难以并行。论文的解法是把循环结构整个拿掉，只保留注意力机制——处理每个词时直接参考全句所有词，按相关性分配权重。翻译成绩确实涨了，但在当年，这属于一次任务内的进步，多数同行看到的是分数变化，很少有人预判到架构本身会改写行业。
| 维度 | 循环神经网络 | 注意力机制 |
|---|---|---|
| 读入方式 | 逐词读入、逐词输出 | 处理每个词时直接参考全句所有词 |
| 长句表现 | 句子一长就顾此失彼 | 按相关性分配权重 |
| 训练并行 | 难以并行 | 天然适合 GPU 大规模训练 |
通用性到 BERT 和 GPT 才显出来
转机来自两步延伸。2018 年，谷歌用同一架构训练出 BERT，在阅读理解、文本分类等通用语言任务上成绩领先；同年 OpenAI 的 GPT 系列起步，走「预测下一个词」的自回归路线，2020 年的 GPT-3 把参数推到千亿级，少样本能力开始显形。到这时行业才看清：这个架构学到的是可迁移的语言能力本身，翻译只是顺手做好的副产品。它的并行性也踩中了硬件方向——天然适合 GPU 大规模训练，Scaling Law 是怎么被发现的那条「投入换回报」的曲线，正是跑在这种架构上才成立的。
为什么回看才知分量
判断一篇论文的历史分量，往往要看它让多少后来者借了力。注意力机制的思想有更早的脉络，序列到序列建模的研究是重要铺垫，本吉奥学派的工作是其中一环，本吉奥研究过什么讲了这条学派谱系。Transformer 把「注意力是全部」这步推到了底，架构简单、可扩展，于是成了公共地基：BERT 在上面做理解，GPT 在上面做生成，后来的多模态模型把图像也编成 token 塞进同一架构，多模态 token讲的正是这种拼装方式。一篇论文被多少后续工作当作底座，比发表当天的反响更能说明问题。
Transformer 时间线速查
- 2017 年：论文发表，定位机器翻译，当时反响有限
- 2018 年：BERT 与 GPT-1 相继出现，通用性显现
- 2020 年：GPT-3 达千亿参数，少样本能力公开演示
- 2022 年：以此为底座的对话产品走向大众
- 今天：主流大模型普遍采用该架构及其变体
今天怎么看这场爆发
今天的模型生态就是这篇论文的延长线：你在用的 DeepSeek、Kimi、豆包、通义千问，底层架构都属于 Transformer 家族，各家在其上做数据、训练方法与产品形态的改良。读模型发布消息时遇到「注意力」「自回归」「参数量」这些词，可以顺着这条线理解，参数量怎么数给了最基础的一个口径。想知道这条线怎么走到人人可用的对话产品，ChatGPT 上线两个月发生了什么是下一站。
Transformer 快问快答
- 标题里的注意力指什么？：指模型处理某个词时，按相关性对句中所有词分配权重，以此取代逐词传递的循环结构。
- 它真的没引起轰动吗？：发表之初的反响主要在机器翻译圈内，热度在 BERT、GPT 相继验证通用性后才起来，属于延迟被认可。
- 今天的新模型还在用它吗？：以公开论文看，主流大模型仍采用该架构及其变体，改进集中在效率与长上下文等方向。
