跳到主内容

卷积网络的思路从哪来?福岛邦彦的 1980 年新认知机

2026-10-29 发布 来源:我告诉你AI导航 阅读

今天用手机拍一张照片,AI 就能告诉你拍的是什么——这套视觉能力的家谱往上追,公开文献会把你带到一位日本研究者面前:福岛邦彦。1980 年,他在日本广播协会(NHK)的技术研究所发表「新认知机」论文,给出了一套分层处理图像的网络设计...

今天用手机拍一张照片,AI 就能告诉你拍的是什么——这套视觉能力的家谱往上追,公开文献会把你带到一位日本研究者面前:福岛邦彦。1980 年,他在日本广播协会(NHK)的技术研究所发表「新认知机」论文,给出了一套分层处理图像的网络设计,比卷积网络在 2012 年 ImageNet 竞赛上的胜利早了三十多年。这篇按公开论文讲清楚:它的思路从猫视皮层研究里拿来什么,怎么成为杨立昆 LeNet 的直接源头,以及为什么等了三十年才等来条件成熟。

猫视皮层给的两个提示

新认知机的设计思想有明确的公开来源。上世纪五六十年代,休伯尔与威泽尔在猫的视皮层里发现两类细胞:简单细胞对特定方向的条纹有反应,条纹换个角度它就不理;复杂细胞对位置偏移不那么敏感,图案挪一挪照样有响应。两人后来因这项研究获得诺贝尔奖,公开论文发表在五六十年代。福岛把这两种机制搬进了网络结构:一类单元负责提取特征,另一类单元负责容忍位置变化,两者交替堆叠,一层层往上。

在此之前,他已经做过一次铺垫:1975 年发表的「认知机」论文提出一种可以自组织学习的多层网络。1980 年的新认知机是在它基础上的系统升级,「认知」二字指的是模式识别里的模式,与今天大众语境里的认知一词用法不同,读旧论文时值得留意。

1980 年的新认知机

新认知机要解决的问题写在论文里:让机器认图形时,不受位置、大小与变形的干扰。结构上,网络由 S 层与 C 层交替堆成——S 层做特征提取,C 层做位置容忍;前一层的小块局部特征,汇合成后一层更大范围的特征,越往上越抽象,越能忽略图形在画面里的平移与变形。训练以自组织学习为主:网络从样本里自己调整连接强度,不依赖逐个标注的答案。1983 年,他还公开了带选择性注意机制的修订版,演示过手写数字等识别任务。这些细节都在他历年公开发表的论文里,具体数字与版本以原始论文为准。

网络部件在论文里做什么对应的视皮层发现
S 层做特征提取,前一层的小块局部特征汇合成更大范围的特征简单细胞:对特定方向的条纹有反应
C 层做位置容忍,图案挪一挪照样有响应复杂细胞:对位置偏移不那么敏感
交替堆叠S 层与 C 层交替堆成,越往上越抽象两类机制交替堆叠,一层层往上

人物履历与后续研究的完整梳理,见福岛邦彦人物一篇,本篇只讲这份设计的来路与去向。

从新认知机到 LeNet

谱系的下一环在贝尔实验室。八十年代末,杨立昆把反向传播算法接到类似的分层结构上,用带标注的数据训练网络识别手写数字,1989 年前后就有了邮政编码识别的公开论文,此后 LeNet 系列一版版迭代下去,这段十年工程的细节见杨立昆在贝尔实验室一篇。公开文献里的说法相当一致:LeNet 的论文引用了新认知机,杨立昆也多次在公开演讲里把福岛列为卷积网络的前驱。两条线的差别同样公开可查:新认知机以自组织学习为主,LeNet 用反向传播做有监督训练——反向传播方法的推广经过见反向传播一篇——在当时的任务上,后者跑得更快。

迟到三十年的正名

这套结构等翻身等了三十年:窄领域的数字识别在九十年代已经落地,但要成为视觉研究的主流,得等数据与算力条件成熟。1998 年 LeNet 落地银行支票识别,2012 年 AlexNet 用同一种结构拿下 ImageNet 竞赛冠军、错误率大幅低于第二名,深度学习自此回到主桌,夺冠经过见AlexNet 拿冠军一篇。新认知机提出时没人叫它卷积网络,等这个名字流行起来,它已经在生产系统里服役多年。

1959 年起:休伯尔与威泽尔发表猫视皮层简单细胞与复杂细胞的公开研究;1975 年:福岛发表认知机论文;1980 年:新认知机论文发表于《生物控制论》;1983 年:带选择性注意的修订版公开;1989 年前后:杨立昆用反向传播训练卷积网络识别邮政编码;1998 年:LeNet-5 落地支票识别;2012 年:AlexNet 夺冠,卷积网络成为视觉主流。

与今天的关联很直接:你用豆包拍一张菜单识别菜品、用腾讯元宝扫描票据提取数字,背后视觉模型的骨架仍是那几样构件——局部感受、逐层抽象、对位置偏移的容忍。新认知机当年用自组织学习啃的问题,今天的模型用海量标注加算力重新解决了一遍,但「分层提取视觉特征」这个骨架,1980 年那张图纸上已经画好了。

关于新认知机的三问三答

  • 新认知机是谁提出的?日本研究者福岛邦彦,1980 年论文发表于《生物控制论》,当时他在 NHK 技术研究所工作,人物履历见福岛邦彦人物篇。
  • 它和今天的卷积网络什么关系?公开文献普遍视它为卷积网络的直接源头之一:分层提取特征加位置容忍的结构同源,LeNet 论文引用了它,杨立昆也公开把福岛列为前驱。
  • 为什么它当时没有流行起来?以公开资料看,当时数据与算力条件不足,自组织学习的训练方式在工程任务上也不如反向传播直接;条件成熟要等到 2012 年前后。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]