2022 年 1 月，OpenAI 公开了一篇论文与一则公告，当时都没有掀起太大波澜：论文叫《用人类反馈训练语言模型遵循指令》，模型叫 InstructGPT；公告说的是 API 的默认模型将逐步切换。十个月后，基于同一套方法的 ChatGPT 上线引爆全球，人们回头翻这份公开记录，才发现 ChatGPT 的前身早在年初就已经署名。这篇按公开时间线讲这篇论文的事件经过与前后脉络，方法概念只一句带过。
2022 年 1 月的论文与公告
先交代背景。GPT-3 在 2020 年发布后（见GPT-3 发布一篇），能力惊人但不好用：用户得在提示里想尽办法引导，模型仍常常答非所问，甚至输出编造的内容。OpenAI 的公开表述里，这个问题被称为模型与用户意图没有对齐。2022 年 1 月 27 日，论文与模型在 arXiv 与官网公开：作者的思路是用人类偏好来校准模型——先收集人工示范与排序数据训练，再让模型按人类评价优化，这套流程就是后来通称的 RLHF，概念细节此处一句带过，本文重点在事件本身。
论文里的关键对照实验
按论文公开报告，最有传播力的结果是一组人类评估对照：让评估者比较不同模型的输出，1.3B 参数的 InstructGPT 得到的偏好度高于 175B 参数的 GPT-3——小十倍的模型在「听指令」这件事上赢了大模型，数字口径以论文为准。论文还报告了另外两方面的公开观察：输出真实性的改善，以及有害输出比例的下降；同时论文自述局限仍在，模型可能仍会编造、仍会随提示行为摇摆，这些局限在公开文本里写得清楚。值得一提的是，这篇论文等于给「只管堆规模」的路线补了一个新变量：规模照旧重要（见Scaling Law一篇），但对齐质量成了同场竞技的另一项指标。
把 2022 年这条线排成速查表：
2022 年 1 月 27 日，InstructGPT 论文与模型公开，API 切换公告同发；2022 年上半年，API 默认模型按公告逐步切换（以 OpenAI 公开说明为准）；2022 年 11 月 30 日，ChatGPT 上线，公开博客说明其用同类方法训练；2023 年起，「对齐」成为各家模型发布的标准议题。
从论文到 API 再到 ChatGPT
论文发表同日，OpenAI 在官网公告：API 将在此后数月内默认改用 InstructGPT 系列模型，旧模型仍可调用一段时间，按公开公告，主要切换在年内完成。这个动作的行业含义在于定价与体验一起变了——用户不再需要成为提示工程师，模型的默认行为从「续写」变成「照办」。十个月后，2022 年 11 月 30 日，ChatGPT 上线，OpenAI 的公开博客说明它基于 GPT-3.5 系列、用与 InstructGPT 类似的方法训练成对话模型（见ChatGPT 上线两个月发生了什么一篇）。换句话说，从论文到现象级产品，中间隔的不是新原理，而是一次工程化落地与对话界面的补齐，底座架构仍是 2017 年公开的 Transformer（见Transformer一篇）。
对齐成本进入账本
InstructGPT 之后，公开记录里的一个变化是：对齐从论文词汇变成了账本科目。各家实验室普遍建立人类反馈数据的收集与标注流程，模型发布报告里开始出现专门的对齐章节；2023 年「百模大战」里，国内外厂商发布模型时讲「对齐」「更听指令」已成标准话术。这一转向也有它的公开争论：偏好数据由谁标注、标准由谁定，学界与业界的讨论一直持续，本文只记录争论存在，不展开站队。方法本身也在演进，从人类偏好扩展到用更强的模型给反馈等公开做法，具体各家不同，以公开资料为准。
一篇论文的位置
把 InstructGPT 放回 AI 大历史，它的位置可以这样描述：Transformer 解决了「模型怎么读语言」，GPT-3 解决了「能力从哪来」，InstructGPT 解决了「能力怎么递到用户手里」。三步走完，ChatGPT 只是把第三步装进了一个聊天框。今天你用 DeepSeek 写周报、用智谱清言查资料，模型那种「你问什么它答什么」的默认姿态，就是 2022 年 1 月那篇论文定下的。对普通用户，这段历史还有一个实用的读法：AI 的好用，一半靠规模，一半靠训练它的人有没有花力气把用户意图放进去——这笔账从 InstructGPT 开始才算进公开账本。
| 技术环节 | 公开工作 | 补上的缺口 |
|---|---|---|
| 模型怎么读语言 | Transformer，2017 年公开 | 提供底座架构 |
| 能力从哪来 | GPT-3，2020 年发布 | 规模路线带来能力 |
| 能力怎么递到用户手里 | InstructGPT，2022 年 1 月 | 用人类偏好校准，默认行为从续写变成照办 |
关于InstructGPT的常见疑问
- InstructGPT 论文发表于什么时候？公开口径为 2022 年 1 月 27 日，论文与模型在 arXiv 与 OpenAI 官网同步公开，同日发布 API 切换公告。
- 它与 ChatGPT 是什么关系？按 OpenAI 公开博客的说法，ChatGPT 基于 GPT-3.5 系列、用与 InstructGPT 类似的方法训练，是同一方法线上的对话产品。
- 论文最重要的结论是什么？按论文公开报告，1.3B 参数的 InstructGPT 在人类偏好评估中胜过 175B 的 GPT-3，说明对齐质量与规模同等要紧，具体数据以论文为准。
