GPT-3 发布时为什么炸场？1750 亿参数的少数派报告

2020 年 5 月 28 日，OpenAI 在 arXiv 上挂出一篇论文，题目直译过来是「语言模型是少样本学习者」。论文里的模型叫 GPT-3，参数规模 1750 亿，比前一年还在分批发布的 GPT-2 大出一百多倍。真正让研究者坐不住的却不是数字本身，而是它演示的一种新用法：不做微调，在提示里给上几个例子，AI 就能照着完成任务。这篇讲清楚论文写了什么，为什么这条路线在当时算少数派，以及它把后来的研究引向了哪里。

2020 年 5 月的那篇论文

GPT-3 是一条被清楚记录过的延长线：2018 年的 GPT-1 验证了「无监督预训练加微调」的可行性，2019 年的 GPT-2 把规模抬到 15 亿参数，2020 年的 GPT-3 干脆把参数抬到 1750 亿。论文由 Brown、Mann 等数十位 OpenAI 研究者与工程师署名，训练语料按论文说明约为 3000 亿 token，其中大头是经过过滤的 Common Crawl 网页文本，再混入维基百科与书籍语料。模型一共训练了 8 个规模档位，最小的约 1.25 亿参数，最大的就是那个 1750 亿，方便论文做规模对照实验。

把时间线拉直看会更清楚：

2018 年 6 月，GPT-1 论文发表，验证生成式预训练路线；2019 年 2 月，GPT-2 以 15 亿参数亮相，先放小版本后放全量；2020 年 5 月，GPT-3 论文发表，参数量 1750 亿；2020 年 6 月，OpenAI 开放 API 试用，商业落地起步；2022 年 11 月，基于 GPT-3.5 的 ChatGPT 上线。

这份速查表里每一行都有单独的故事，本文只展开第三行，其余的在这批词条里各有一篇。

少样本提示刷新了什么预期

论文的核心做法是三种评测模式的对照：zero-shot 只给任务描述，one-shot 给一个示例，few-shot 给几个到几十个示例，全程不更新任何权重。按论文报告的结果，翻译、问答、填空等任务的表现随示例数量稳定上升，在一些数据稀缺的任务上，few-shot 甚至能追平当时用专属数据微调过的模型。这种「看了例子就会」的现象后来得到一个正式名字：上下文学习（in-context learning）。

在 2020 年，这个结果改变了研究者的日程表。此前主流做法是为每个任务单独标注数据、单独微调，GPT-3 论文暗示的另一条路是：把能力一次性放进一个大模型，用时靠提示调用。两种思路的差距，从论文发表后各实验室调整开题方向的速度上就能看出来。

一千七百五十亿参数的另一面

参数量只是模型规模的一个维度，它与性能、成本的关系见参数量一篇。同期 OpenAI 还发表了另一份工作，把算力、数据与参数之间的投入产出关系整理成可预测的曲线，即Scaling Law 是怎么被发现的一篇所讲的规模法则。GPT-3 相当于沿着这条曲线做的一次大规模验证：先按曲线预测收益，再投入算力把它兑现。

商业模式也在同年出现。从 2020 年 6 月起，OpenAI 把模型能力以 API 的形式对外开放，按调用量收费。这家 2015 年成立的实验室（沿革见OpenAI 成立一篇）在五周年之际拿出了第一件面向公众的产品雏形，后来的补全、对话类应用大多从这里起步。

论文自己写下的局限

论文并没有把话说满。按其自述，few-shot 在若干任务上仍明显落后于微调后的专用模型；长文本生成会出现重复与前后不一致；训练数据来自网络，模型会继承其中的偏见，也可能输出看似合理实则错误的内容。至于大家最容易想到的算术题，论文里的测试止步于较小位数，位数一多准确率就明显下滑。这些局限被白纸黑字写进了论文，也成了此后两年「能不能靠规模继续换能力」这场争论的起点。

技术底座倒是很早就备好了。2017 年那篇当时未引起轰动的架构论文（见Transformer 论文发表时为什么没引起轰动）提供了可大规模并行的结构，GPT 系列三次加码，靠的就是它。

关于GPT-3的三问三答

• GPT-3 的 1750 亿参数是什么概念？按公开论文，它比 2019 年的 GPT-2（15 亿参数）大一百多倍，训练用了约 3000 亿 token 语料；具体数字以论文公开资料为准。
• 少样本提示和微调有什么区别？微调要更新模型权重，通常需要专属标注数据；少样本提示只改输入，在提示里给几个示例，权重一动不动。GPT-3 论文演示的就是后者。
• 今天的应用还用这套思路吗？用。你日常接触的 DeepSeek、Kimi、豆包这类 AI 应用，回答前都不需要为每个任务单独改模型，把要求写进提示即可，这套用法的源头就是 2020 年那篇论文。