深度学习未来如何发展?听听这12位顶级专家怎么说
2015年即将结束,所有人的目光此时都聚焦在了今年的成就以及预测2016的趋势方向。最近几年,深度学习——这个机器学习的分支频频出现在聚光灯下,它正在向工业界逐渐推进,渗入到更多的领域。
深度学习会成为人工智能实现的最佳途径吗?它的未来又在哪里?RE·WORK邀请深度学习领域的专家和从业者,畅想未来五年深度学习的发展路径。
OpenAI的研究总监Ilya Sutskever:
我们应该会看到更深度的模型,可以从比今天更少的训练中学习,无监督式学习也会有可观的进步。我们还期待看见更精确、更有用的语音和视觉识别系统。
波恩大学的教授、自动化智能系统团队的主任Sven Behnke:
我希望深度学习可以有更多的结构化数据,应用于更多的多重复杂的问题。这将会打开深度学习的新应用范围,例如机器人、数据挖掘和知识探索。
谷歌的资深研究科学家Christian Szegedy:
现在的深度学习算法和神经网络距离理论中的应用还差的很远。今天我们可以设计出比一年前要便宜五到十倍并采用减少了十五倍参数的视觉网络,还可以比过去它们的同类更加好用,而仅仅通过提升网络结构和训练方法就可以做到这点。我深信,这仅仅是个开始,深度学习算法会更加有效,能够在普通的移动设备端工作,甚至不需要多余的硬件支持或抑制内存开销。
斯坦福大学的计算机科学博士与OpenAI的研究科学家Andrej Karpathy:
与其关注数个同时进行的进展,我更加关注一个主要细节。我所看到的未来的一个趋势是结构将会变得愈发巨大和复杂。我们正在向着大型神经系统的方向发展,我们会在其中交换许多神经组分,提前针对网络的某个部分在不同的数据库中展开训练,添加新模块,组合调整整体结构等等。
例如,卷积神经网络曾经是最大最深层的神经网络中的一个,但是在今天它则是最新的结构中的一个小盒子中的内容而已。因此,许多结构会趋向于变成下一代结构中的一部分。我们像正在学习乐高积木一样,了解如何去连接并放置它们以建出更大的城堡。
加州伯克利大学的计算机科学助教,以及Gradescope的联合创始人Pieter Abbeel:
许多垂直行业都基于现在的监督式深度学习科技,甚至小到视频,找出如何让深度学习比现行的方法能够更有效地进行自然语言处理,以及监督式深度学习和深度加强学习的显著进步。
Deep Instinct公司CTO Eli David:
在过去的两年间我们一直在观察深度学习在所应用的领域内所取得的成功。即便在接下来的五年内我们还并不能帮助深度学习达到人类认知水平的水平(但是这很有可能在我们的有生之年实现),但是在许多其他领域我们也可以看到深度学习的巨大进步。具体而言,我认为最有前景的领域将会是非监督式学习,因为世界上的大多数数据是未标记的,而且我们自己的大脑皮层就是一个很好的非监督式学习的区域。
尽管Deep Instinct是第一家将深度学习用于网络安全的公司,但是我希望在接下来的时间中有更多的公司能够使用深度学习。然而,深度学习的准入门槛仍然非常高,尤其对于通常并不使用人工智能(只有很少情况下会使用经典机器学习)的网络安全公司而言更是如此,因此机器学习要想成为网络安全领域广泛使用的一项商用技术还需要花费数年的时间。
Affectiva研究中心主任Daniel McDuff:
深度学习有望成为计算机视觉、语音分析和许多其他领域内机器学习的主要形式。我希望建立准确识别系统的能力(这种系统的计算能力可以通过一至两个GPU供应)将会使得研究人员可以在现实世界中开发和部署新型软件。由于数据的总量还会继续增加,因此我期待接下来将有更多的研究将注意力集中到无监督训练或者半监督训练算法上。
加拿大高级研究所(CIFAR)全球学者Jörg Bornschein:
预测未来总不是一件易事。我期待无监督学习方法、半监督学习方法和增强型学习方法在未来变得越来越重要。当我们将机器学习视为大型系统(例如机器控制系统)的一部分,或者视为可引导和集中大型系统的计算资源的部分时,单纯的监督式学习方法由于局限性太大,因此不能正确地解决问题。
谷歌高级研究员Ian Goodfellow:
我期待五年之内我们将会拥有可以总结视频片段内容,并且生成短视频的神经网络。神经网络已经是视频任务的标准解决方案,我希望神经网络也可以成为自然语言处理和机器人任务的标准解决方案。同时我也预测神经网络也会成为其他科学领域的重要工具。例如,神经网络可以用于对基因、药物和蛋白质行为进行建模,然后可用于设计新型药物。
Sentient Technologies CTO Nigel Duffy:
迄今为止大数据生态系统专注于大量数据的收集、管理和集展(收集展示)。很明显,该领域也有很多关于分析和预测的工作。不过,从根本上来讲,企业用户对此并不关心。企业用户仅仅关心产出,例如「这种数据可以改变我的行为方式吗?它会改变我们的决定吗?」。我们相信这些问题是接下来五年需要重点解决的问题。我们相信人工智能将会是数据和更优决定之间的桥梁。
很明显,深度学习在这个进化过程中将会扮演非常重要的角色,但是这需要深度学习与其他人工智能方法相结合才能完成。经过接下来五年后,我们将会看见越来越多的混合系统,其中深度学习可用于处理一些棘手的感性任务,而其他的人工智能和机器学习技术可用于解决问题的其他部分,例如推理等。
谷歌DeepMind研究员Koray Kavukcuoglu和Alex Graves:
接下来的五年将会发生很多事情。我们希望非监督式学习和增强型学习变得越来越重要。我们也期望多模式学习的增加,以及更加注重坚持非个体数据集的学习。
多伦多大学机器学习课题组博士研究生Charlie Tang:
深度学习算法将会逐渐被用于处理更多的任务,也会解决更多的问题。例如,5年前,算法的面部识别精度比人类的表现要糟糕;但是,五年后的今天,人脸识别数据集(LFW)和标准图像分类数据集(Imagenet)中算法的面部识别表现已经超越人类的。在接下来的五年中,越来越难的问题将会被深度学习算法成功解决,例如视频识别、医学影像或文字处理等。我们也非常期待深度学习算法可应用于商业产品中,就像过去10年中人脸识别器被整合到消费级相机中那样。