今天训练一个大模型动辄上万块显卡，但把 GPU 和 AI 绑在一起的起点，在二十年前的游戏市场。显卡原本是为游戏画面设计的硬件，2007 年前后获得一套通用编程接口之后，才慢慢被研究组挪去算神经网络。这篇按公开时间线讲 GPU 进入 AI 的历史脉络：架构上为什么合适，接口怎么打开的，研究组又是怎么开始囤卡的。至于当下怎么选卡、怎么租用与调优，属于操作层面的另一套话题，本篇不展开。
显卡原本是干什么的
显卡的本职工作是图形渲染：把三维场景变成屏幕上的像素，一帧画面里数百万个像素的计算彼此独立，可以同时进行。1999 年，英伟达发布 GeForce 256，公开宣传里把它称作世界上第一款 GPU——图形处理器自此成为独立品类。硬件的关键特点是并行：一颗 GPU 里有成百上千个小核心，每个核心同时干一小块活。这套架构为画面而生，但「大量相似的运算同时做」这个能力，别处也用得上。
矩阵运算为什么适合并行
神经网络训练的主体运算可以归结为矩阵乘法：把输入数据与权重参数相乘再加总，一层层往下算。矩阵乘法的特点是拆得开——成千上万次乘加运算互不依赖，谁先谁后无所谓，正好分给并行核心同时干。这一点在数学上没有秘密，难在软件：2000 年代初，研究者要让显卡跑通用计算，得先把数据伪装成图形任务塞给显卡，工程上别扭且门槛高。公开文献里，2004 年前后已有一批用显卡加速神经网络训练的尝试，属于这波前奏。
| 环节 | 具体内容 | 为什么适合显卡 |
|---|---|---|
| 图形渲染 | 一帧画面里数百万个像素彼此独立 | 架构本就为并行而生，成百上千个小核心同时干 |
| 矩阵乘法 | 输入与权重相乘再加总，成千上万次乘加互不依赖 | 拆得开，正好分给并行核心同时做 |
| 早期通用计算 | 2000 年代初需把数据伪装成图形任务塞给显卡 | 工程别扭、门槛高，限制了使用者 |
| CUDA | 类 C 语言直接写通用程序 | 不用再绕图形接口，代码从能跑变得好写 |
CUDA 改变了什么
2007 年，英伟达公开推出 CUDA 平台，开发者可以用类 C 语言直接写程序让显卡算通用问题，不用再绕图形接口。这个决定的背景值得记一笔：当时主流观点认为显卡只需要做好图形市场，把通用计算当主业的投入在公开报道里被视为有争议，公司决策的脉络见黄仁勋人物篇。CUDA 之后，英伟达持续补工具链与文档，研究者的代码从「能跑」变得「好写」，这条软件通道后来成为深度学习生态的地基之一。
研究组开始囤卡
接口打开之后，学术界很快跟进。2009 年前后，公开论文里已有斯坦福等研究组报告用 GPU 把深度网络训练提速数十倍的实验结果；多伦多大学辛顿组也是早期用户，学生在游戏显卡上训练网络，后来把这套做法直接带进了 2012 年的 ImageNet 竞赛——AlexNet 用两块面向游戏玩家的 GTX 580 拿下冠军，错误率比第二名低了约十个百分点，夺冠经过见AlexNet 拿冠军一篇，竞赛本身的来路见ImageNet 竞赛一篇。此后研究组囤卡成风，消费级显卡在实验室里的地位从游戏设备变成了科研设备。
GPU 进入 AI 时间线速查
- 1999 年：GeForce 256 发布，公开宣传称第一款 GPU
- 2004 年前后：公开文献出现显卡加速神经网络的尝试
- 2007 年：CUDA 公开，显卡获得通用编程接口
- 2009 年前后：研究组公开报告 GPU 训练提速数十倍
- 2012 年：AlexNet 用两块 GTX 580 夺冠，路线就此定型
算力这条线通向哪里
把节点连起来：并行架构是硬件底子，CUDA 是软件通道，2012 年的成绩让两条线正式会合。此后模型规模一路放大，算力需求同步上涨，这条曲线的公开讨论见Scaling Law一篇；同年另一支团队用上千台机器训练十亿参数网络的实验，见猫脸实验一篇——GPU 单卡与大规模集群两条路线，在 2012 年先后交出了各自的答卷。今天你让 DeepSeek 写代码、让豆包读图，每次请求都跑在这条二十年铺出来的算力线上。想直观感受这条线对普通用户意味着什么，用腾讯元宝或 Kimi 做一次图片理解，响应背后就是这段历史的最末端。
GPU 进 AI 快问快答
- 显卡算神经网络靠的是什么优势？：并行架构。网络训练的主体是矩阵乘法，运算量大但彼此独立，恰好能摊给成百上千个小核心同时干，速度远超同时期的通用 CPU。
- CUDA 是硬件还是软件？：软件平台。它给开发者一套类 C 的编程接口，把显卡的并行能力开放出来；硬件架构与软件生态叠加，构成后来深度学习训练的主流底座。
- 当年研究组为什么用游戏显卡？：便宜且好买。2012 年 AlexNet 用的两块 GTX 580 是面向玩家的消费级产品，公开报道口径显示当时实验室的算力预算相当有限。
