让机器处理人类语言，是 AI 从 1950 年代就立下的目标；七十多年间，这条战线的主导权换了两次手：手写规则的系统让位给统计模型，统计模型又让位给预训练神经网络。两次交接都有明确的公开节点可查，成绩单也摆得出来。这篇按公开文献对照三个阶段的方法与战绩，梳理这条交接线。
规则时代：语言学家写语法
最早的系统按「语言学工程」的路子搭：词典、语法、转换规则都由人手写。1954 年，乔治敦大学与 IBM 公开演示俄英机器翻译，几十个句子的受限演示引发广泛关注（公开报道口径）；1966 年，美国国家科学院的 ALPAC 报告对机器翻译的进展给出负面评估，这个方向的经费随之收缩。同年的对话程序伊丽莎（见伊丽莎对话程序一篇）用模式匹配就能让使用者倾吐心事，但它的「理解」是关键词触发的脚本。规则系统的通病在公开文献里写得很清楚：受限场景里可控、漂亮，规模一放大、歧义一增多，规则清单就补不过来。
统计时代：让语料说话
统计路线的思想源头是香农的信息论（见香农一篇）：语言可以当作概率过程来建模。1980 年代末到 1990 年代，IBM 的团队把这条思路做成统计机器翻译（公开论文口径），翻译概率与语言模型全部从大规模双语语料里统计出来；同期，n 元文法语言模型与隐马尔可夫方法在语音和文本处理里站稳，1990 年代统计方法成为自然语言处理的主流（公开文献口径）。2000 年代，条件随机场等方法在分词、命名实体识别、句法标注上继续推进。统计路线把研究者的人力从写规则转到备语料，成绩随数据规模爬坡；它的软肋同样公开：词语被当作离散符号，数据稀疏问题始终存在，换一个领域常常要重新准备语料。
预训练时代：交接的完成
第三次交接从词向量开始：2013 年 word2vec 公开，词语被映射成向量，「意义相近则向量相近」成为可计算的性质。2014 年序列到序列框架公开，注意力机制随后跟进；2017 年 Transformer 架构发表（见Transformer 架构一篇）。2018 年是公认的交接确认点：ELMo、GPT-1 与 BERT 相继公开，其中 BERT 的双向预训练在多项公开榜单上刷新纪录（见BERT一篇），「预训练加微调」从此成为行业默认范式，公开评论把这一年称作 NLP 的 ImageNet 时刻。2022 年底 ChatGPT 上线（见ChatGPT 上线一篇），语言技术的成果第一次以对话产品的形态交给大众。
| 年份 | 公开节点 | 交接线上的位置 |
|---|---|---|
| 1954 年 | 乔治敦大学与 IBM 公开演示俄英机器翻译 | 规则时代的开场，几十个句子的受限演示 |
| 1966 年 | ALPAC 报告对机器翻译给出负面评估 | 这个方向的经费随之收缩 |
| 1980 年代末到 1990 年代 | 统计机器翻译做成，n 元文法与隐马尔可夫站稳 | 统计方法成为自然语言处理的主流 |
| 2018 年 | ELMo、GPT-1 与 BERT 相继公开 | 预训练加微调成为行业默认范式 |
三个阶段并排放着看
NLP 三个阶段公开对照
- 规则阶段：知识由语言学家手写；代表是机器翻译演示与伊丽莎；强项在受限场景可控；软肋在规模与歧义
- 统计阶段：知识从语料统计；代表是统计机器翻译与语言模型；强项在随数据扩展；软肋在离散表示与数据稀疏
- 预训练阶段：知识从大规模文本自监督学出；代表是 BERT 与 GPT 系列；强项在通用表示可迁移；软肋在算力成本与可解释性（公开讨论口径）
需要说明的分寸是：这张表对照的是公开方法与公开成绩单，交接的含义是主导权移动，前两个阶段的方法并未作废——今天大模型的分词处理用的是统计时代定下的基本单元思路，评测指标体系也是统计阶段的遗产，规则系统在合规词表等受限场景仍在使用。本文只做公开事实的对照梳理，不替任何一条路线盖棺。
再多说几句NLP交接
- 统计方法被淘汰了吗？：没有。统计思想被神经模型继承，语言模型的训练目标与 n 元文法一脉相承，这是公开文献里常见的说法。
- BERT 和 GPT 的公开差别在哪？：BERT 用双向掩码预训练，理解类任务见长；GPT 用自回归方式生成，生成类任务见长，公开论文口径如此。
- 怎么核对本文的节点？：让 DeepSeek 按年份把节点整理成清单，再回公开论文与报道逐条核对；用通义千问解释术语也可以，核对动作比结论更要紧。
