壶关便民网 网站首页 资讯列表 资讯内容

图灵奖的「张冠李戴」?Jürgen Schmidhuber援引200条文献,力证2018图灵奖颁错人了

2020-06-27| 发布者: 壶关便民网| 查看: 144| 评论: 3|来源:互联网

摘要: 呆板之心报道参与:张倩、小舟、蛋酱在ACM将图灵奖授予「深度学习三巨头」之后,人们都在叹息「世界欠JürgenSc...
南宁白癜风医院 http://m.mingyihui.net/doctor_1429513.html

呆板之心报道

参与:张倩、小舟、蛋酱

在 ACM 将图灵奖授予「深度学习三巨头」之后,人们都在叹息「世界欠 Jürgen Schmidhuber 一个图灵奖」。时隔一年多,Schmidhuber 本人终于就此事做出了一个全面回应。在一篇最新的博客文章中,他引用了 200 多条文献来逐条反驳 ACM 给予「三巨头」的颁奖来由,认为他们给出的颁奖来由实在夸错了人。

让我们把时间倒回到 15 个月前。

2019 年 3 月,ACM 公布了 2018 年图灵奖的获奖结果:Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 三位深度学习先驱获此奖项。图灵奖是美国计算机协会(ACM)于 1966 年设立的奖项,专门奖励对计算机事业作出紧张孝敬的小我私人,有「计算机界诺贝尔奖」之称。

其时,ACM 主席 Cherri M. Pancake 表示,「人工智能如今是整个科学界发展最快的领域之一,也是社会上讨论最广的主题之一。AI 的发展、人们对 AI 的兴趣,很洪流平上是由于深度学习的近期进展,而 Bengio、Hinton 和 LeCun 为此奠基了紧张基础。这些技能如今已被数十亿人使用。通过口袋中的手机,人们可以或许体验到 10 年前不可能体验的自然语言处置惩罚和计算机视觉技能。除了我们天天使用到的产物,深度学习的最新进展也为医疗、天文、质料科学等各个领域的科学家们带来了强盛的新型工具。」「深度神经网络促进了现代计算机科学的极大进步,在解决计算机视觉、语音辨认、自然语言处置惩罚、呆板人学等领域中的长期问题方面取得了极大进展。」

如许的颁奖来由让 Schmidhuber 无法信服。他在文章中写道:

2018 年的图灵奖授予了深度学习领域的研究者,但 ACM 对于获奖者的歌颂实在是基于其他研究者率先发表的算法和观点基础的研究,而获奖者并没有引用之前研究者的事情。ACM 明确提及了深度学习中 4 个领域的惊人突破:(A)语音辨认,(B)自然语言处置惩罚,(C)呆板人技能,(D)计算机视觉,以及新的强盛的深度学习工具,涉及 3 个领域:医学、天文学、质料科学。但是,上述大多数突破和工具,都直接基于我们实验室已往三十年来的研究结果。

在 Schmidhuber 看来,ACM 对三巨头的肯定实在是一种「对深度学习汗青的扭曲」。因此,他在这篇文章中予以纠正,指出获奖者被大量引用的事情实在忽略了之前的相干基础研究,这可能也是 ACM「张冠李戴」的缘故原由。

以下是部门原文摘录:

Jürgen Schmidhuber:我为什么要这么做?

我们必须停止将原创者的创新结果归功于错误的人。Nature 杂志最近也呼吁:「Let 2020 be the year in which we value those who ensure that science is self-correcting」。就像相识我的人可以为我作证一样,找到并引用科技领域创新研究的最初来源对我来说非常紧张,无论它们是我的照旧其他人的。本文是为有同样见解的计算机科学家提供的资源。

我之以是这么做,并不是为了贬低创新结果推广者的紧张孝敬,而是以真正的原始来源为基础来肯定原创研究者。我的目标是勉励整个社区的研究者在学术研究上越发有学术风度(scholarly),熟悉到在今众人工智能和呆板学习的狂热中有时会遗漏一些基础研究事情,而且以或多或少的气力打击学术抄袭。

ACM 的「张冠李戴」

LeCun、Bengio、Hinton 三人(以下简称为 LBH)对人工神经网络和深度学习算法举行了有益的改进,ACM 歌颂了他们在基础要领层面的显著结果,但他们三人没有引用这些要领的首创者,甚至在厥后的研究中也没有标注。

我要纠正一下 ACM 对深度学习汗青的曲解, I-XXI 部门可以找到大量的参考文献,这些参考文献的顺序与 ACM 颁奖词所枚举的领域逐一对应。

Sec. II:与 ACM 的说法相反,用于模式辨认的神经网络的出现要远远早于 20 世纪 80 年代。

1965 年,Ivakhnenko & Lapa 就开始了基于多层感知机的深度学习研究,这是在 LBH 三人之前很久就开始的。但 LBH 从未在研究中引用过这些要领,甚至在最近的研究中也没有。

80 年代,基于梯度的「现代」学习要领仅适用于较浅层的神经网络,但 1991 年我的实验室让这种要领变「深」了。起首是通过神经网络无监视的预训练,然后是通过有监视的 LSTM。

Sec. I 包罗 ABCD 四个深度学习领域的突破,但 ACM 没有提到的是,它们大部门是基于我们团队的技能:

Sec A 语音辨认:第一个高级的端到端神经语音辨认联合了我实验室的两种要领,LSTM(1990s-2005) 和 CTC(2006),2007 年应用于语音辨认。

Hinton(2012)和 Bengio(XV)仍然在使用上世纪八九十年代的老式混淆要领,Hinton 等人(2012)没有将其与我们革命性的 CTC-LSTM 要领(很快就出现在了大部门智能手机上)举行对比。

Sec B 自然语言处置惩罚:第一个高级的端到端的神经呆板翻译模子(很快就被大型平台用于日均数十亿次翻译)也是基于我们的 LSTM。

Sec C 呆板人技能:强化学习训练后的 LSTM 也是呆板人技能和视频游戏中最显著最焦点的突破。

Sec D 被卷积神经网络(CNN)颠覆的计算机视觉:基础的 CNN 架构是 Fukushima 在 1979 年奠基的。厥后,Waibel 将 CNN 与反向流传和权值共享相联合,并应用于语音。全部这些都是在 LeCun 的 CNN 研究之前的。我们的研究两次表明(1991-95 和 2006-10),深度神经网络不需要无监视的预训练(这与 Hinton 的说法正好相反)。我们的团队(Ciresan 等)在 2011 年提出了够快、够深的 CNN 来顺应高级的计算机视觉使命需求,并连续赢得了 4 个图像辨认竞赛,这是在 Hinton 团队赢得 ImageNet 挑战赛之前。包括 ImageNet 2015 年冠军 ResNet 也是我们早期 Highway Net 的一个特例。

Sec XIV:ACM 再次认可了那些未引用前人结果的研究。

在 Hinton(2012)之前很久,Hanson 在 1990 年有一项研究是 dropout 的变体, v. d. Malsburg 在 1973 年就提出了线性整流神经元,但 Hinton 没有引用这些研究。早在 2011 年,我们的快速且深度的 CNN 在计算机视觉挑战赛中就已经将「目标辨认的错误率降低了一半以上」,远远早于 Hinton(2012)。

Sec XI:ACM 提到的「GPU 加速的神经网络」实在是 Jung & Oh(2004)初创的,但 LBH 并没有引用他们的文章。

2010 年,我们的深度 GPU-NN 展现了无监视的预训练要领(我在 1991 年提出,厥后由 Hinton 提倡)。2011 年,我们的 GPU-CNN 开始赢得计算机视觉挑战赛(ACM 明确提到了这一点)。

Sec. XVIII:ACM 认为 LeCun 发展了卷积神经网络。然而,卷积神经网络的基础是由 Fukushima 和 Waibel 奠基的。

ACM 还明确提到了自动驾驶和医学图像分析。但第一支通过深度卷积神经网络赢得相干领域国际挑战赛的团队是我们(2011、2012、2013)。

Sec. VII:ACM 明确提到了医学和质料科学。我们的深度神经网络是第一个赢得医学影像挑战赛的(2012 年和 2013 年),也是第一个将深度神经网络应用于工业质料缺陷检测的(自 2010 年以来)。

今世反向流传最初是由 Linnainmaa 在 1970 年发表的,而不是 LeCun、Hinton 或者他们的同事(1985)提出的,但是他们并没有引用 Linnainmaa,甚至在后续的研究中也没有提及。

Ivakhnenko 的深度前馈网络(1965)在 Hinton(20 世纪 80 年代)很久之前就已经学习了中心表征,而且比 Hinton 提出的网络要深,但 Hinton 从未引用他。

Sec. XX:ACM 赞扬了 LeCun 的分层特性表征的研究,但是他没有引用 Ivakhnenko 自 1965 年以来早就有的研究结果。

Sec. XXI :ACM 赞扬了 LeCun 在自动微分方面的研究。但没有引用它的原创者 Linnainmaa(1970)。另有在图深度学习中,也没有引用先前 Sperduti、Goller、Küchler 和 Pollack 的研究。

Sec. XV:ACM 歌颂了 Bengio 在神经网络和序列概率模子的混淆体方面的研究。但是他并不是第一个研究这个主题的人,而且这对基于我们的 CTC-LSTM 的现代深度学习语音辨认体系也不紧张。

Sec. XVI:ACM 歌颂了 Bengio 在神经概率语言模子方面的研究,而我们 1995 年的神经概率文本模子比 Bengio 的要早许多。ACM 所提到的神经网络学习序列注意力,我们早在 1990-1993 年就开始研究了。这要早于 LBH 的研究,但他们并没有引用我们的结果。

Sec. XVII:ACM 所提到的 Bengio 团队的天生反抗网络(GAN)是我在 1990 年提出的的 Adversarial Artificial Curiosity 的一个特例,但他并没有引用。

别的,我还列出了与 Bengio 和 Hinton 的另外 7 项原创权争议(无法解释为偶合),在梯度消散(1991)、元学习(1987)、无监视预训练(1991)、将一个神经网络(NN)压缩或蒸馏为另一个(1991)、通过外部乘积得到快速权重(1993)、用神经网络学习序列注意力(1990)以及其他主题。

结论:在近十年来的深度学习中,ACM 所提到的那些在数十亿装备上运行的 AI 应用(语音辨认、语言翻译等),很洪流平上依赖于我们所提出的深度学习技能和观点基础。而 LBH 最著名的研究忽略了自 20 世纪 60 年代以来的其他研究结果。但是在科学领域,事实终会取胜,只要事实还没有赢,那么统统就还没有竣事。

网友:这内里有误会

鉴于每隔一段时间 Jürgen Schmidhuber 都发一封怒怼公然信,一部门围观者的心田已经毫无颠簸,只是以为:「又来?」

有人认为他的怒怼大概过了火:「他甚至以为 ACM 在图灵奖的奖项描述中,对阿兰 · 图灵过誉了……」

这是由于 Jürgen Schmidhuber 在本封公然信提到,ACM 关于阿兰 · 图灵的声明具有误导性,好比说图灵「阐释了计算的数学基础和局限性」,而图灵并不是第一个如许做的科学家。

情绪之外,真相更紧张。看完这篇长文,有人表示:「我很欣赏这些详尽的论证,纠正学术史上的错误是有价值的。」

「我问过一小我私人,他说真相也许并不在某一方手中。由于在互联网出现之前,那时的学术研究和现在不一样。学术结果的流传会比力慢,其他人同时提出类似发明的情况也更普遍。再加上经常出问题的要领论,结果就是一团糟。」

有人赞同这一观点,表示对于 Jürgen Schmidhuber 的文章内容要权衡之后再下结论。「我曾经看过他的部门观点,一些确实很好也很有趣,但另一方面我的印象是,他夸大了自己的情况,吹毛求疵。」

「早期的发明可能是个死胡同,在厥后的某一阶段,同样的发明也许就能产生影响了。首倡者应该在汗青上被记得,但不一定是最引人注目的。固然,存心忽略前人的研究发明是欠好的。」

有人表示,自己曾在 Reddit 上看到过 Hinton 的回复,他说神经网络是已经存在的,他是谁人给出观点验证的人,是通过预测下一个单词来学习内部表征的人,自己也是一直如许表示的。是媒体一直将他宣传为发明者。

大概,这只是一场误会?

但不管怎么说,Jürgen Schmidhuber 的勇气和刻意总是值得钦佩的,试问谁能在搞研究之余还经常写一篇逻辑云云严密且庞大的长文呢?

「我小我私人认为,当今学术研究以美国为中心,那里的许多研究职员不仅在各自领域足够优秀,在网络营销方面也很有用率。营销这件事有利于促进研究和交流互助,但也有代价:不搞自我营销的研究者容易被忽视。」

他评价说:「以是,我很感谢 Jürgen Schmidhuber 如许『堂吉诃德』式的存在。」

参考链接:

Jürgen Schmidhuber 的新博文:http://people.idsia.ch/~juergen/critique-turing-award-bengio-hinton-lecun.html#XV

ACM 2018 图灵奖得主先容:https://awards.acm.org/about/2018-turing

WAIC 2020 黑客马拉松由世界人工智能大会组委会主理,张江集团、优必选科技、软银集团旗下软银呆板人、Watson Build 创新中心、呆板之心联合承办,受到新冠疫情的影响,角逐将于 7 月 8 日 - 11 日期间以远程和小范围线下联合的方式举办,招募全球顶级开发者同台竞技。

点击图片或「阅读原文」搭乘参赛



分享至:
| 收藏
收藏 分享 邀请

最新评论(0)

Archiver|手机版|小黑屋|壶关便民网  

GMT+8, 2019-1-6 20:25 , Processed in 0.100947 second(s), 11 queries .

Powered by 壶关便民网 X1.0

© 2015-2020 壶关便民网 版权所有

微信扫一扫