跳到主内容

辛顿和杨立昆的路线差在哪?监督与自监督的分歧

2026-10-29 发布 来源:我告诉你AI导航 阅读

辛顿与杨立昆是师徒,同获 2018 年图灵奖,又都对「下一代 AI 的表示学习怎么走」给出了公开主张。两人分歧最醒目的一处公开落点,在监督学习与自监督学习的分量判断上。这篇只对照两人的公开演讲、公开论文与公开访谈,把主张摆在一起,不...

辛顿与杨立昆是师徒,同获 2018 年图灵奖,又都对「下一代 AI 的表示学习怎么走」给出了公开主张。两人分歧最醒目的一处公开落点,在监督学习与自监督学习的分量判断上。这篇只对照两人的公开演讲、公开论文与公开访谈,把主张摆在一起,不做高下结论——路线对错留给时间与公开实验。

先看两人公开履历的交集

公开履历显示,杨立昆在多伦多大学做过博士后,与辛顿合作,时间在 1980 年代末;此后两人一个在多伦多大学、一个在纽约大学与 Meta,各自带队推进。2018 年,两人与本吉奥共享图灵奖,公开公告口径指向深度学习领域的基础贡献,见2018 年图灵奖一篇。两人的人物专篇分别是辛顿与杨立昆,本文不重复履历,只对照主张。

杨立昆的公开主张:自监督与世界模型

杨立昆的公开表态有一条清晰的线。2016 年前后的公开演讲里,他反复使用一个比喻:如果把智能比作蛋糕,监督学习只是糖霜,强化学习是樱桃,蛋糕本体是无监督或自监督学习——机器应该主要靠观察自己学,训练信号由数据自身构造(公开演讲口径)。2022 年他公开发表长篇技术报告,提出 JEPA 架构与世界模型的构想,主张让机器通过自监督学习掌握对物理世界的常识预测;2023 年以来,他在公开场合多次表示自回归式的大语言模型存在局限(公开表态口径)。以上均为他的公开主张表述。

辛顿的公开主张:分布式表示与替代训练

辛顿的公开主张落在另一个方向。贯穿他数十年公开论文的核心观点是:智能的关键在于学到的分布式表示——把概念编码成向量与特征,让网络自己学出好的表示;反向传播成为标准训练方法的那段历史见反向传播一篇。2022 年他公开 Forward-Forward 方案,探索反向传播之外的训练可能;2023 年以来的公开访谈中,他对大型语言模型的公开评价是其理解能力可能被批评者低估(公开表述口径)。在监督与自监督的问题上,他的公开表态更侧重表示本身的质量,而非训练信号的来源。

公开主张提出者载体公开时间
监督学习只是糖霜,蛋糕本体是无监督或自监督杨立昆公开演讲2016 年前后
JEPA 架构与世界模型杨立昆长篇技术报告2022 年
Forward-Forward 训练方案辛顿公开方案2022 年
大语言模型的理解能力可能被批评者低估辛顿公开访谈2023 年以来

公开分歧的两个落点

把两人公开主张摆在一起,分歧集中在两处。第一处是对自回归大语言模型的公开评价:杨立昆公开认为其路线存在根本局限,需要世界模型与规划能力;辛顿公开认为其理解能力被低估。第二处是对下一代架构的公开主张:杨立昆公开押注 JEPA 与世界模型,辛顿公开探索 Forward-Forward 这类替代训练思路。需要强调的是,以上均为公开表态的对照,双方各自的实验证据仍在推进,相关路线尚无公认的裁决性结果,本文不做高下结论。

共同点与核对方法

共同点同样清楚:两人都公开承认纯监督学习的局限,都长期投入表示学习,都在公开场合强调「机器怎么学好表示」这个问题还没有到终局;两人也都是经由反向传播一脉进入深度学习的。读这类分歧有一个可操作的核对办法:让 Kimi 分别整理两人近年的公开演讲要点,让 DeepSeek 对照各自公开论文的关键词列表,再回到公开演讲视频逐条核对——交叉核对公开主张,是读人物分歧最省力的方式。

两人公开主张对照速查

  • 交集:多伦多大学博士后合作(公开履历);2018 年共享图灵奖(公开公告)
  • 杨立昆:自监督学习是主体(蛋糕比喻,公开演讲);JEPA 与世界模型(2022 公开技术报告)
  • 辛顿:分布式表示是核心(公开论文);Forward-Forward 探索替代训练(2022 公开方案)
  • 分歧落点:对自回归大语言模型的公开评价不同
  • 说明:本文只对照公开主张,不做高下结论

再多说几句辛顿与杨立昆

  • 自监督学习和监督学习差在哪?:监督学习用人工标注的答案训练模型;自监督学习让模型从数据自身构造训练信号,例如预测被遮住的部分,定义以公开教材为准。
  • JEPA 是什么?:杨立昆 2022 年公开技术报告中提出的架构构想,主张让模型在抽象表示层面做预测,细节以公开报告为准。
  • 谁的主张会胜出?:本文无法回答,也不应回答——两人的分歧属于尚在演进的科学问题,公开对照的目的在于提供判断的坐标,结论以未来的公开实验证据为准。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]