下围棋、打游戏的 AI 今天已是常见话题，它们共同的底座叫强化学习：让智能体在试错里摸索，靠奖励信号调整行为。从走迷宫式的玩具问题，到 2016 年首尔战胜李世石的 AlphaGo，这条路线走了将近三十年。这篇按公开论文梳理三十年进阶路：时序差分怎么定下方法框架，DQN 怎么打通电子游戏，围棋又是怎么拿下的——贯穿始终的一条主线，是奖励怎么设计。
从走迷宫说起
试错学习的想法由来已久：公开文献里，早期跳棋程序已经在尝试从对局结果里改进走法；心理学里的操作性条件反射，也为「奖励塑造行为」提供了理论参照。但把这些想法变成一套可计算、可收敛的方法，要等到八十年代。走迷宫是当时的标准教案：智能体在格子里挪动，走对了给正奖励，掉进陷阱给负奖励，几轮下来学会一条通路。问题在真实场景里要难得多——奖励常常要等很久才出现，一步好棋的功劳怎么分给前面几十步的动作，这个「信用分配」难题卡了研究者很多年。
时序差分与 TD-Gammon
框架性的突破通常记在 1988 年：萨顿发表时序差分学习论文，提出不等最终结果，每走一步就用前后估计的差值更新评价，把延迟的奖励逐段往前传。信用分配难题由此有了通用的解法骨架。1989 年沃特金斯提出 Q 学习，把「某个状态下做某个动作值多少分」变成一张可以逐步逼近的表；萨顿与巴尔托后来合著的教科书把这套体系系统整理成公开教材。方法的成色很快在棋盘上得到验证：1992 年公开的 TD-Gammon 在西洋双陆棋上通过自我对弈训练，公开对局记录显示它接近了人类顶尖棋手的水平——不靠人类棋谱，只靠对局输赢当奖励。
不过这张 Q 表有天花板：状态一多就存不下。棋类可以用人工特征压缩，电子游戏这种画面驱动的场景，当年没有可行的办法。
DQN 打通游戏
接通这一环的是深度学习。2013 年 DeepMind 在 arXiv 公开、2015 年登上《自然》的 DQN 论文，用深度神经网络替掉那张表：输入是游戏画面像素，输出是各动作的评价，奖励直接取自游戏得分。同一套网络与超参数，在几十款 Atari 游戏上达到公开口径的良好水平，部分游戏超过此前方法与人手水平，详见DQN 打 Atari一篇。论文主作者团队的来路见大卫·席尔瓦和 AlphaGo 有什么关系一篇。DQN 的意义在于把两个条件凑齐了：神经网络负责从原始感知里学评价，奖励信号负责告诉它什么是好——感知、决策、反馈，第一次在同一个循环里跑通，而且不用为每款游戏单独设计特征。
到围棋桌上的胜利
围棋比 Atari 难几个量级：棋盘状态数量庞大，评估一步棋的好坏极不容易。AlphaGo 的公开方案是三个部件的组合——深度网络评估局面、蒙特卡洛树搜索做精确推演、自我对弈生成训练数据；2016 年 3 月它在首尔以 4 比 1 战胜李世石，见AlphaGo 首尔五局一篇。第二年，AlphaGo Zero 干脆连人类棋谱都不用，只给规则，从随机落子开始自我对弈，公开成绩超越了此前所有版本；同年的 AlphaZero 又把方法推广到国际象棋与将棋，见AlphaZero一篇。回头看这条线，奖励设计一路在简化：从走迷宫的手工奖惩，到游戏得分，再到棋类只用输赢——信号越稀疏，自我对弈越显得彻底。
| 阶段 | 奖励信号从哪来 | 对训练意味着什么 |
|---|---|---|
| 走迷宫 | 手工设定：走对了给正奖励，掉进陷阱给负奖励 | 教案式场景，路径短、信号密 |
| TD-Gammon | 对局输赢，靠自我对弈 | 不靠人类棋谱 |
| DQN | 游戏得分，输入是画面像素 | 同一套网络与超参数通吃数十款 Atari 游戏 |
| AlphaGo Zero | 只给规则，从随机落子开始自我对弈 | 连人类棋谱都不用 |
1950 年代：跳棋程序公开尝试从对局中学习；1988 年：萨顿发表时序差分学习论文；1989 年：沃特金斯提出 Q 学习；1992 年：TD-Gammon 公开，双陆棋接近人类顶尖水平；2015 年：DQN 登上《自然》，Atari 数十款游戏达标；2016 年：AlphaGo 首尔 4 比 1 胜李世石；2017 年：AlphaGo Zero 与 AlphaZero 相继公开，不用人类棋谱。
与今天的关联，最直接的落在对话模型的对齐上：你问豆包一个问题，它的回答语气克制、格式清爽，背后有一道用人类偏好数据训练奖励模型、再让模型照着奖励优化的工序——奖励设计这条三十年主线，从棋盘延伸到了语言模型。你让 DeepSeek 分步骤解一道题，它输出的推理过程，同样在训练时被奖励信号逐步塑形过。从走迷宫到下围棋再到学说话，变的是任务，不变的是那个朴素机制：给出好的标准，让模型自己试出来。
关于强化学习的三问三答
- 强化学习的关键难点是什么？信用分配：奖励常常延迟出现，怎么把最终结果的功劳或责任分给之前的每一步。时序差分学习给出的解法是每步用估计差值更新，这个框架沿用至今。
- DQN 为什么是转折点？它用深度网络直接从游戏画面学决策，奖励取自得分，同一套配置通吃数十款 Atari 游戏，感知、决策与反馈第一次在一个系统里完整跑通。
- AlphaGo 和 DQN 用的是同一套方法吗？同属强化学习，但围棋不能只靠 Q 值表：AlphaGo 组合了深度评估网络、树搜索与自我对弈，后续的 AlphaGo Zero 更是完全不用人类棋谱。
