2015 年 2 月，DeepMind 在《自然》杂志发表一篇论文：同一个神经网络，只看屏幕像素和得分，学会了 49 款雅达利游戏，其中过半游戏的水平达到或超过人类测试者。这套系统叫 DQN，是 AI 历史上深度强化学习出圈的标志事件之一，也为两年后 AlphaGo 战胜李世石铺了路。这篇按公开论文梳理它做了什么，以及为什么「像素直接当输入」是个关键点。
以前的游戏 AI 是怎么做的
在 DQN 之前，让机器玩游戏主要靠人写：程序员针对每款游戏设计特征——敌人在哪、道具在哪——再配上搜索或规则。换一款游戏，特征得重做一遍，这套做法本质上是把人的游戏理解手工灌进机器。DQN 的公开卖点恰恰相反：不针对任何一款游戏做特征工程，所有游戏用同一套网络结构，输入只有原始像素与当前得分，输出是每个操作的价值估计——机器自己从画面里学会该看什么。
| 维度 | 此前的游戏 AI | DQN |
|---|---|---|
| 怎么设计 | 针对每款游戏人工设计特征，再配搜索或规则 | 所有游戏用同一套网络结构 |
| 输入 | 人挑好的特征：敌人在哪、道具在哪 | 只有原始像素与当前得分 |
| 换游戏 | 特征得重做一遍 | 不用重写程序 |
| 学的是什么 | 人的游戏理解被手工灌进去 | 从画面里自己学会该看什么 |
论文里到底做了什么
2015 年那篇《Human-level control through deep reinforcement learning》的方法可以拆成三块：用深度卷积网络把像素变成游戏状态的表示；用 Q 学习这类强化学习方法，根据得分信号调整策略——得分高就强化刚才的动作；再用经验回放等技巧稳定训练。评测覆盖 49 款雅达利 2600 游戏，论文以专业人类测试者的成绩为基准做了归一化对比，公开结论是系统在多数游戏上达到或超过人类水平，也有若干游戏明显不如人类。此前 2013 年，同一团队已在一届 NIPS 研讨会上发表过前作，2015 年版本扩展了游戏数量与训练稳定性。
为什么说这件事重要
分量在于「通用」二字落在了可验证的地方。2012 年深度学习已经在图像识别上证明了自己，见ImageNet 竞赛一篇，但那是监督学习——有人替它标好答案；DQN 靠的则是奖励信号加自我试错，学的是「怎么做」而非「是什么」。同一个架构跨 49 款游戏，说明这套方法学的是玩游戏本身，而不只是背某一局的答案。这条「试错加奖励」的路线正是强化学习，它成了 DeepMind 的看家本领，公司创始人哈萨比斯的公开履历从游戏开发到神经科学再到 DeepMind，见哈萨比斯人物篇。
DQN 节点速查
- 2013 年：前作发表于 NIPS 研讨会
- 2015 年 2 月：Nature 论文发表，49 款游戏
- 输入：原始像素与得分，无人工特征
- 方法：深度网络加 Q 学习，经验回放稳定训练
- 结论：过半游戏达到或超过人类测试者水平
从雅达利到今天
DQN 发表一年后，同一家公司的 AlphaGo 在首尔与李世石五番棋对局并取胜，用深度网络加搜索拿下围棋，见AlphaGo 第 37 手一篇——雅达利验证的「从原始信号自己学会决策」，在棋盘上被推到了极致。再往后，强化学习成了训练大模型对齐人类偏好的一项关键技术。今天你用 DeepSeek 写代码、用豆包问问题，模型回答的合用程度，相当一部分正是被这类「按人类反馈给奖励、再改进」的训练方法调出来的。评测习惯也一脉相承：判断一个模型别只看演示，落到你自己的任务上多测几轮，基准分和实际任务一篇有现成的思路。
关于DQN的三问三答
- DQN 玩所有游戏都比人强吗？：不是。论文结论是 49 款游戏中过半达到或超过人类水平，具体名单与分数以论文附录为准，也有多款游戏明显不如人类。
- 它和 AlphaGo 是什么关系？：同属 DeepMind，同为深度强化学习路线；DQN 用奖励信号从像素学策略，AlphaGo 在此之上加入搜索与人类棋谱，难度与规模都上了一个台阶。
- 「像素直接当输入」为什么重要？：因为它省掉了人工特征这一步，方法才谈得上通用；换游戏不用重写程序，这是与此前游戏 AI 最本质的差别。
