什么是卷积？AI 是怎么看局部的

2026-10-06 发布来源：我告诉你AI导航阅读

手机相册能自动按人脸分组，扫码能在一堆杂乱背景里框出二维码，这些功能背后都跑着 AI 视觉模型。它看图的方式和人眼差别很大：人是一眼扫过整体，它拿一个小窗口在图上逐格滑动，每次只看一小块，再把小块的结果层层拼起来。理解卷积，关键不在...

手机相册能自动按人脸分组，扫码能在一堆杂乱背景里框出二维码，这些功能背后都跑着 AI 视觉模型。它看图的方式和人眼差别很大：人是一眼扫过整体，它拿一个小窗口在图上逐格滑动，每次只看一小块，再把小块的结果层层拼起来。理解卷积，关键不在「滑动」这个动作，而在滑动时那组被反复复用的权重省下了什么、又限制了什么。

窗口每停一次在算什么

卷积核是一小块带权重的方格，常见尺寸是 3×3。它停在图像的某个位置时，把覆盖住的九个像素值分别乘以对应的九个权重，再加起来，得到一个数。这个数就是「这块区域与这个核所代表的模式有多像」。滑遍整张图，得到一张新的二维数组，叫特征图，图上每个点记录着原图对应位置有没有出现这个模式。核里的权重是训练出来的，网络看过大量样本后自己收敛出该关注什么：早期层对边缘、色块敏感，深层响应纹理和部件。

权值共享省下的到底是什么

同一个核在整张图上移动时，用的始终是那九个权重，这就是权值共享。它的效果可以量化：

做法	参数量	是否随分辨率增长	位置处理	代价
3×3 卷积核，单通道	9 个权重	不增长	同一核在全图复用	单层只能看 3×3 范围
同尺寸全连接层	与像素数成正比	成平方增长	每个位置单独一套权重	参数爆炸，位置也无法共享
卷积加多通道，如 64 个核	9×64 再加偏置	不随分辨率增长	每个核负责一种模式	通道一多，计算量线性上升

第二行最说明问题。一张一千万像素的图，第一层若用全连接，参数量会到千万量级；换成 3×3 卷积，九个权重就能在全图找同一种模式。省下的还有泛化能力——左上角学到的边缘检测器，到右下角照样能用，不必为每个位置分别学习。

堆叠如何把局部拼成整体

单个 3×3 核只能看到九个像素，这个范围叫感受野。层数堆上去，感受野会逐层扩大：第二层的一个点覆盖第一层的 3×3，第一层每个点又覆盖原图的 3×3，于是第二层实际看到 5×5。层数越深，单个神经元对应的原图区域越大，从边缘到纹理到部件再到整个物体，语义逐级抽象。想直观理解图像任务的整体链路，可以看计算机视觉里检测与分割的分工。除了堆层，还可以用步长大于 1 的卷积或下采样快速扩大视野，这类做法在池化里讨论得更细。

它为什么长期占据图像任务

卷积的两个设计假设，恰好对上图像的两种统计规律。一是局部相关：相邻像素的取值高度关联，判断一个点是什么，看它周围就够，没必要一开始就扯上全图。二是平移不变：一只猫出现在画面左侧还是右侧，它还是猫，检测它的那组权重不该跟着变。卷积把这两条先验直接写进了结构里，等于用更少的样本去学一个更小的问题空间。这也是它在数据量有限的年代能压过全连接网络的根本原因。

卷积看不到的东西

卷积的视野是被结构限定的。单层只能看邻域，要建立图上两个远距离区域的关系，必须靠足够多的层把感受野撑开，而层数一深，训练稳定性也变差，这也是批归一化被引入的原因之一。这个短板在需要长距离依赖的任务上很致命：判断一段文本的情感，可能要联系开头和结尾；判断一张图里两个人是不是在握手，要同时看到两只手。注意力机制能一步建立任意两个位置的关联，所以在序列任务上取代了卷积，在图像领域也与卷积结合使用。还有一点常被忽略：卷积天然具备平移不变性，却不具备旋转和缩放不变性，把整张图转三十度，核看到的局部模式就变了，除非用数据增强把这些变换喂进去。

今天它还在哪些地方不可替代

注意力流行之后，卷积并没有退场。它在移动端和端侧有天然优势：计算规整、内存访问连续、算子成熟，同样的算力预算下往往更省电。在高分辨率输入的任务里，比如遥感影像和工业质检，卷积的局部归纳偏置仍是有效先验，样本效率比纯注意力模型更高。近年不少视觉模型把两者混用，用卷积做底层特征提取，用注意力做全局关系建模，取的正是各自的长处。