旗下微信矩阵:

物理诺奖得主最新演讲,Hinton带伤飞到瑞典

在这次活动中,John Hopfield教授的演讲主题是“物理学是一种观点”,讲述他个人的科研经历和做科研的思考模式。
2024-12-12 08:02 · 微信公众号:量子位  奇月   
   

2024年诺贝尔物理学奖的两位获奖者John Hopfield和Geoffrey Hinton最近在斯德哥尔摩大学发表了最新的演讲。

现场的氛围非常热烈!

看到Hopfield教授即使借助拐杖也亲自到达现场发表了演讲,Hinton教授也忍着腰痛专程飞到瑞典,让观众们非常敬佩。

在这次活动中,John Hopfield教授的演讲主题是“物理学是一种观点”,讲述他个人的科研经历和做科研的思考模式。

他坦白了很多关于科研和对物理的想法:

如何选择问题是科研成果的关键因素大脑是如何产生思想的,这对我来说是人类最深奥的问题我认为物理学有助于理解人类和世界

Geoffrey Hinton教授则用通俗易懂的方式讲述了Hopfield网络和玻尔兹曼机器的原理与发展,全程没有用一个方程式。

当我们最终了解了大脑是如何学习的时候,我相信睡眠的作用一定是非常重要的,对此我非常乐观

两位教授结束演讲时,台下的观众也是忍不住都站起来向他们鼓掌致敬。

以下是现场演讲内容,在不改变原意的情况下,量子位对部分篇幅做了调整。

John Hopfield:物理学是一种观点

约翰·霍普菲尔德于1933年出生于芝加哥,1954年在威廉·莫尔学院获得*个学位,1958年在康奈尔大学获得博士学位。1964年,他被任命为普林斯顿大学物理学教授,1980年成为加州理工学院化学和生物学教授,之后他回到普林斯顿大学,目前是分子生物学名誉教授。

(以下为John Hopfield教授发言)

我的*份全职工作是在比尔电话公司发明晶体管的实验室,我加入了一个六人小组。初入实验室时,我在新办公室打开书籍期刊,参观库存室获取文具后,思考着下一步工作。

在科研中,多数人常按部就班,很少深入思考研究方向的选择,而这恰是科研成果的关键因素。我在科研中撰写了40余篇论文,几年前形成的工作基础最终发展成霍普菲尔德模型,相关观点源于对随机事件的分析。

我成长于物理学家家庭,自幼受物理学观念熏陶,喜欢探索事物原理,如拆解自行车、进行化学实验等,这让我能够理解复杂系统运作。上高中时,化学老非老师常出色,物理老师却对电磁学原理理解不足,这影响了我大学专业选择,但最终我决定在斯沃斯莫尔学院专注物理。

进入物理学研究生院后,我在康奈尔大学学习,期间与Albert Overhauser合作,从他的研究列表中选定晶体中激子辐射寿命相关问题,开启研究。获得博士学位后,我在理论小组任职,后结识化学家David G. Thomas,成立理论实验联盟,取得成果并获奥利弗里·巴克利固体物理学奖。

之后,我在研究中遇到瓶颈,前往剑桥大学寻找新方向,回普林斯顿后担任半导体组顾问,接触到血红蛋白相关实验,为我从凝聚态物理转向生物物理提供契机,我也受Linus Pauling观点启发研究蛋白质合成问题并取得成果。

1974年论文影响我对生物学问题的研究思路,促使我思考神经元网络特性等。1977年在哥本哈根举办研讨会后,我寻求跨学科突破,受邀参加神经科学会议,虽然当时一无所知,后来加入项目获得神经生物学灵感。

1979年,我转任化学和生物学教授,发现了学科联系,提出新计算见解并撰写论文,该论文推动了相关领域发展。

后来,我发现霍普菲尔德模型网络问题,2015年与他人合作提出密集联想记忆模型,期望推动人工智能发展。

我非常尊重各个领域的专家,积极参与跨学科互动,我认为物理学有助于理解人类与宇宙

Hinton:Hopfield网络与Boltzmann机的发展

杰弗里·辛顿,1947年生于英国伦敦,获剑桥大学实验心理学博士学位,曾在爱丁堡大学从事人工智能博士后研究,在多所大学任职,现从事学术研究,并在谷歌公司任职。

(以下为Geoffrey Hinton教授发言)

今天我将不用任何方程式,向普通观众讲解Hopfield网络。

先来看一个二元神经元版本的小霍普菲尔德网络,其神经元间有对称加权连接,网络全局状态是配置,配置有优良性(单元对权重总和),能量是优良性相反数,网络会稳定于能量最小值。

霍普菲尔德提出用能量最小值对应记忆,通过二元决策规则清理不完整记忆,实现内容可寻址内存。

特里·西诺斯基和我提出用网络构建感官输入解释,网络含可见和隐藏神经元,可见接收感官输入(如二进制图像),隐藏构建解释,能量代表解释好坏程度,我们需要低能量解释。

以线条画为例,有不同三维解释,我们要让网络给出解释。

先将线条转化为线条神经元激活,线条神经元与三维边缘神经元连接,考虑感知光学因素让边缘神经元相互抑制,还要依据图像线条连接原则建立连接,希望通过设置连接强度使网络解决两种替代解释。

这产生两个问题:一是避免陷入局部*的搜索问题;二是神经网络自动学习连接的问题。

对于搜索问题,我们通过使神经元有噪声解决,有噪声神经元状态是二元的但决策具有概率性。

用隐藏神经元解释二进制图像时,在可见单元固定图像,随机选隐藏神经元根据输入决定其状态,持续操作使系统达热平衡,此时隐藏神经元状态是平衡解释,网络学习正确权重使低能量状态对应更好的解释,热平衡是系统稳定于概率分布(波尔兹曼分布),低能量配置概率大。

玻尔兹曼机学习目的是使网络生成的图像类似它感知到的真实图像,有简单学习算法,含唤醒和睡眠阶段。

唤醒阶段固定图像于可见单元,让隐藏单元达热平衡后调整连接权重,睡眠阶段类似做梦更新神经元达热平衡后反向调整权重,该算法平均上能让网络生成图像过程类似感知图像,涉及对数似然梯度概念,通过改变权重使网络关注wake阶段看到的数据。

但玻尔兹曼机存在问题,权重变大时热平衡过程慢,虽然想法很好但算法太简单,可以做复杂的事情但速度受限。

后来我发现了受限玻尔兹曼机(RBM),其隐藏单元不相互连接,唤醒阶段更新隐藏神经元更简单,睡眠阶段有捷径虽不完全正确但实践有效。Netflix公司就是用受限玻尔兹曼机结合其他方法推荐电影。

为构建特征检测器层可堆叠RBM,将前一个RBM隐藏单元活动模式当数据给下一个RBM,以此捕捉复杂相关性学习多组权重,堆叠后视为前馈网络可进行监督学习,这样初始化网络学习更快。因为网络已学习了数据结构,后面用于学事物名称相对容易,如识别物体方面。

One More Thing

就在演讲视频发布不久后,你懂的,LSTM之父又来搞事情了。

知名计算机科学家Jürgen Schmidhuber发表推文称,Hopfield & Hinton的2024年诺贝尔物理学奖是抄袭得来的。

Jürgen声称,这两位教授重新发表了乌克兰研究者Ivakhnenko和日本研究者Amari在20世纪60年代和1970年代开发的方法以及其他技术,且没有引用原作者。

目前这一帖子在X上已经获得了2.1k点赞、超过44万次浏览。

有网友表示如果事情是真的,那将比剽窃更糟糕:

不过也有网友觉得这是Jürgen吃不到葡萄就说葡萄酸的心理:

Jürgen还发表了一个详细的技术报告,列出了两位诺贝尔获奖者工作的存疑之处,感兴趣的朋友可以点击参考链接2进一步阅读。

参考链接:[1]https://www.youtube.com/watch?v=lPIVl5eBPh8

[2]https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html#DLP


【本文由投资界合作伙伴微信公众号:量子位授权发布,本平台仅提供信息存储服务。】如有任何疑问,请联系(editor@zero2ipo.com.cn)投资界处理。