AI 圈把 2018 年称作 NLP 的转折之年，转折点之一是 10 月 Google 公开的 BERT。论文标题里的关键词是双向：模型读句子时同时利用左右两侧的上下文，而此前的主流预训练只从一侧看。发布后的成绩单按论文口径，十一项自然语言处理任务的榜单同批刷新，其中阅读理解问答达到人类水平。这篇按公开资料复盘，BERT 为什么在当年是件大事。
发布之前的两条路线
2018 年的 NLP 有两条预训练路线。一条是单向语言模型：从左往右逐词预测下一个词，OpenAI 当年 6 月公开的 GPT-1 是代表——这家公司 2015 年 12 月宣布成立，成立经过见OpenAI 成立一篇。另一条押注双向：让模型同时用上左右两侧的语境，Google 的 BERT 是代表。两条路线的共同底座都是 2017 年公开的 Transformer 架构，见Transformer一篇；当年那篇论文发布时波澜不惊，一年后已经成为两条路线共同的发动机。
双向是什么意思
BERT 的做法可以概括成两步。第一步预训练：把句子里的词随机遮住一部分，让模型根据左右两侧的上下文猜出被遮的词，类似完形填空；再加一项判断两个句子是否前后相连的辅助任务。第二步微调：把预训练好的模型拿到具体任务上，接一层输出，用少量标注数据继续训练。完形填空式的目标决定了模型必须看懂两侧语境，这是「双向」二字的由来。单向模型天然适合生成下一个词，双向模型在理解类任务上占优，当年论文里的对比实验也支持这个判断。
| 维度 | 单向预训练 | 双向预训练 |
|---|---|---|
| 怎么训练 | 从左往右逐词预测下一个词 | 随机遮住一部分词，据两侧上下文猜 |
| 天然适合 | 生成下一个词 | 理解类任务 |
| 代表 | OpenAI 2018 年 6 月公开的 GPT-1 | Google 2018 年 10 月公开的 BERT |
| 共同底座 | Transformer | Transformer |
十一项任务同批刷新
按论文口径，BERT 在十一项自然语言处理任务上同时刷新当时的公开纪录，覆盖 GLUE 这类综合理解基准、SQuAD 这类阅读理解评测等；其中问答任务的成绩在公开评测口径下达到人类水平。一次发布同时覆盖这么多任务，在当时的 NLP 圈没有先例。开源同步进行：模型与代码公开，任何一个团队下载后就能在自有任务上微调，成本门槛从「训练一个大模型」降到「微调一个现成模型」。榜单成绩与实际任务效果之间永远有距离，怎么看待这类基准分见基准分和实际任务一篇。
预训练加微调成范式
BERT 之后，先在海量无标注文本上预训练、再在具体任务上微调，成为 NLP 的标准工作流，学术圈常把这之前与之后称作两个时代。工业界的收益同样直接：搜索相关性、客服意图识别、文本分类这些应用，工程团队用公开模型微调就能拿到远超以往的效果。往后再看，规模路线的争论与验证仍在继续，见Scaling Law一篇；到 2022 年底 ChatGPT 上线，对话式产品把语言模型推到大众面前，见ChatGPT 上线一篇。今天你用 DeepSeek 写周报、让 Kimi 总结会议纪要，这些助手对问题的理解能力，底层的预训练思路与 2018 年那篇论文一脉相承。
BERT 前后时间线速查
- 2017-06：Transformer 论文公开
- 2018-06：GPT-1 公开，单向预训练路线亮相
- 2018-10：BERT 论文公开，十一项任务成绩同批刷新（论文口径）
- 2019：中文预训练模型密集出现，开源微调成为行业常规
- 2022-11：ChatGPT 上线，预训练范式走向大众产品
BERT 快问快答
- 「双向」到底比单向好在哪？：理解类任务里，一个词的意思常取决于两侧语境，完形填空式的预训练强迫模型把两侧信息都用上，论文的对比实验显示这在阅读理解与分类任务上有明显优势。
- BERT 与后来的 ChatGPT 是什么关系？：两者都建立在预训练加微调的思路上，底座都是 Transformer；BERT 主攻理解类任务，ChatGPT 走生成与对话路线，方向不同，范式同源。
- 现在还需要了解 BERT 吗？：需要。中小规模的理解类任务——分类、检索、匹配——至今大量使用 BERT 这一系的模型，它成熟、易部署，与生成式大模型是分工而不是替代。
