彩世界平台-彩世界时时app-彩世界开奖app苹果下载

热门关键词: 彩世界平台,彩世界时时app,彩世界开奖app苹果下载

您的位置:彩世界平台 > 彩世界平台 > 深度学习十大顶级框架

深度学习十大顶级框架

发布时间:2019-09-06 01:47编辑:彩世界平台浏览(138)

    本文最早发表于本人博客:<a href=";

    2015 年结束了,是时候看看 2016 年的技术趋势,尤其是关于深度学习方面。新智元在 2015 年底发过一篇文章《深度学习会让机器学习工程师失业吗?》,引起很大的反响。的确,过去一年的时间里,深度学习正在改变越来越多的人工智能领域。Google DeepMind 工程师 Jack Rae 预测说,过去被视为对于中型到大型数据集来说最佳的预测算法的那些模型(比如说提升决策树(Boosted Decision Trees)和随机森林)将会变得无人问津。 

    彩世界开奖app苹果下载 1

     

    随着深度学习研究热潮的持续发酵,各种开源深度学习框架层出不穷,其中包括:Caffe、CNTK、MXNet、Neon、TensorFlow、Theano 和 Torch (著名开源深度学习框架 Keras 相当于是 TensorFlow 和 Theano 的简化接口,这里就不并列了)。在这些深度学习框架中,我个人是支持 TensorFlow 的。以前我的观点不是这样,当时的我觉得 TensorFlow 没有什么厉害的。TensorFlow 刚出来的时候,我还和 Mentor 思远大大一顿吐槽。不过我最近转变观点,觉得 TensorFlow 比较牛逼。

    深度学习,或者更宽泛地说——使用联结主义架构的机器学习算法,可能会让机器学习算法变成过去时,因为深度学习算法还远远不是饱和状态。在未来的几年里,很有可能会出现一些训练深度神经网络的方法,让它们能够显著提升性能。在优化方法、激活功能、联结结构以及初始化步骤之间,还有一些突破出现的空间。

    TensorFlow 和 其他框架的对比

    彩世界时时app, 

    在详细地论证我的观点前,我先整理下 Tensor Flow 和其他深度学习框架的对比。

    这很可能让很多机器学习算法接近出局的边缘。

    在分布式计算方面,Tensor Flow 最终还是赶上了。2016年2月27日,Google 终于公布了 Tensor Flow的 分布式运行方案。对于大规模深度学习来说,巨大的数据规模使得单机很难 Hold 得住了。这时需要分布式计算使得多台服务器协同工作共同训练一个模型出来。Google 开源 Tensor Flow 时只有单机版本,是当时人们吐槽的第一槽点。目前分布式深度学习框架有 CNTK、MXNet 和 Tensor Flow。分布式运行方案使得 Tensor Flow 挤身为数不多的分布式深度学习框架俱乐部。

     

    在性能方面,Tensor Flow 的速度是比较慢的。去年 Tensor Flow 刚刚公布的,人们第一吐槽只有单机版本,第二吐槽没有官方和其他深度学习框架的对比结果。一些研究者们做了一些对比之后发现,Tensor Flow 真的不快,Google 不发布官方和其他深度学习框架的对比结果是正确的策略。最近zer0n和bamos在GitHub上发表的一篇文章在速度方面给 Tensor Flow 打了3星,另一个3星的框架是公认很慢的Theano。zer0n和bamos指出 Tensor Flow 仅使用了cuDNN v2,并指出即使 Torch 也只使用 cuDNN v2,也比 Tensor Flow 快。微软在 CNTK 的项目主页默默地挂出了此图(PS: 当时TensorFlow 还不能分布式计算)。在此图中,TensorFlow 的速度仅仅比 Theano 快一点。

    那么,2016 年是否能看作深度学习正式统治人工智能的一年?如果是这样,我们又能为此做好什么准备?新智元整理了业内人士关于 2016 年的深度学习技术展望,以及 2015 年深度学习最流行的 10 大框架。

    彩世界开奖app苹果下载 2

     

    在关注度方面,我们发现 TensorFlow 远远超过其他深度学习框架。按照北京时间 2016 年 3 月 6 日的数据,TensorFlow 在 GitHub 上 Stars 数将近 20000, Forks 数也超过了 6500。下图是 TensorFlow 和其他深度学习开源工具的 Stars 和 Forks,可以看出差距非常明显。再联想到 TensorFlow 去年才开源,就能体会 TensorFlow 人气之高了。

    深度学习十大技术展望

    彩世界开奖app苹果下载 3

     

    彩世界开奖app苹果下载,到生产一线去

    彩世界开奖app苹果下载 4

    我为什么还看好 TensorFlow 的未来呢?因为我个人认为 TensorFlow 会是直接面向生产环境的深度学习平台。我做出这个判断基于三个理由。

     

    第一个理由是 TensorFlow Serving。2016年2月,TensorFlow 取得了两个重要的进展。一个是TensorFlow的分布式运行方案。这个在上节已经提到过了。另一个是TensorFlow Serving。Google 在16年2月17日开源了 TensorFlow Serving,TensorFlow Serving 可以将深度学习模型变成对外提供的服务。现在用深度学习模型对外提供服务的方案有以下几步。

    IIya Sutskever:OpenAI 的研究部负责人

    1.工程师们得训练模型。工程师按照自己对数据的理解,选择合适的深度学习框架将模型训练处理。2.工程师们将训练好的模型导出。怎么让用户也能享受这个已经导出模型呢?总不能将模型远程给人家吧。因此我们有了第三步。3.工程师选择一个合适的服务器框架,编写代码导入模型并建立对外服务。
    

     

    有了 TensorFlow 和 TensorFlow Serving, 我们可以用 TensorFlow 训练和导出模型,然后把模型导入 TensorFlow Serving。TensorFlow Serving 就能对外提供预测服务了。相当于 TensorFlow 系列把整个用深度学习模型对外提供服务的方案全包了。Google软件工程师Noah Fiedel的说法,“TensorFlow Serving是一个高性能、开源的机器学习服务系统,为生产环境及优化TensorFlow而设计。它更适合运行多个大规模模型,并支持模型生命周期管理、多种算法实验及有效地利用GPU资源。TensorFlow Serving能够让训练好的模型更快、更易于投入生产环境使用”。

    我们期待看到更深度的模型(Deeper Models),相比今天的模型,它们可以从更少的数据中学习,尤其是在非监督学习方面,会有显著的进步。我们还可以期待,在语音识别和图像识别领域,我们能看到更加精准而且有用的结果。

    彩世界开奖app苹果下载 5

     

    TensorFlow Serving 的出现使得 TensorFlow 具有深度学习平台的雏形。一个深度学习框架也许只需要考虑如何把模型训练好。而一个生产级别的深度学习平台除了训练模型(Model Training)外还涉及很多相关的数据处理周期,例如Data ingress, Filtering , Cleaning,Egress,Storage,Serving等等。

    Sven Behnke:波恩大学全职教授,智能系统小组主任

    第二个理由是 TensorBoard。TensorBoard 是一款可视化工具,目的是为了方便 TensorFlow 程序的理解、调试与优化。工程师们可以用 TensorBoard 来展现你的 TensorFlow 图像,绘制图像生成的定量指标图以及附加数据。下图是一个展示模型结构示例 (微信不支持gif图片,想看gif效果的同学可以点击阅读原文,到我博客上看),大家可以感受下。

     

    彩世界开奖app苹果下载 6

    我期待深度学习技术,会在那些日益增多的多结构数据问题中得到应用。这会给深度学习带来新的应用领域,包括机器人,数据挖掘和知识发现。

    由于生产环境面对很多水平不一的工程师们,在生产环境中使用的开源项目提供一个易用的接口就显得很重要了。TensorFlow 除了提供Python/C++两种编程接口之外,还提供了图形化的可视化工具 TensorBoard 。有了 TensorBoard, 你用鼠标就能定义神经网络结构和训练过程了!据我所知,目前只有微软的商用机器学习平台 Azure Machine Learning 允许鼠标定义训练过程,但没有到定义模型结构的程度。易用性是生产级别的深度学习平台的重要要求, TensorFlow Board 体现了 TensorFlow 会朝着这个方向做更多的工作。

     

    第三个理由是 TensorFlow 的异构性。简单地说,异构性是指 TensorFlow 能够在不同类型设备构成的网络中进行训练和预测。这也就是媒体们说的,有了 TensorFlow , 你甚至可以用手机训练深度学习模型。实际情况是没有谁真的用手机训练深度学习模型。异构性的目的是应付复杂的生产环境。一家公司不管大还是小集群,设备可能有不同来源。有些是之前买的,有些是最近买的,还有些可能是从隔壁部门借的,因此需要深度学习框架能够在这些不同类型组成的异构网络中训练和使用模型。TensorFlow 的异构性使得它能够应付复杂的实际生产环境。

    Christian Szegedy:Google 高级工程师

    彩世界开奖app苹果下载 7

     

    上述三点理由都是指向 TensorFlow 是直接面向生产环境的。一旦 TensorFlow 全面地进入不同机构的生产环境,这些机构会变成 TensorFlow 发挥影响力的节点,将极大地增强 TensorFlow 的影响力。这体现在三点上:1)著名机构使用 TensorFlow 本身就会带来的影响力;2)进入一家机构的算法工程师,不管是通过职前自学还是公司培训,最终都学会 TensorFlow 。就像我师兄张星星说的,“不少工程师希望去 Google 工作吧,那他们去工作前一定会学学 TensorFlow 的”;3)从这家公司离职人又将使用方法经验带到别的机构。相反地,如果一款深度学习框架没有进入生产环境,只是作为个人调研和实验的工具,工程师就没有直接理由了解和使用它了。各种深度学习框架中,TensorFlow 的官方最具有面向生产环境的意识。这可能和 TensorFlow 曾经或者现在在 Google 内部生产环境中实际使用有关。

    现在的深度学习算法和神经网络,距离理论上可能的表现还很远。相比一年以前,我们现在的视觉神经网络模型,它的价格便宜了 5 到 10 倍,处理的参数少了 15 倍,但表现的还更好。这背后是更好的网络结构和更好的训练方法。我相信这仅仅是开始,深度学习算法会如此便宜,它能运行在便宜的手机设备中,而且不用更多的硬件设备支撑,也不需要额外的存储器。

    当然 TensorFlow 也有被扯后腿的地方。TensorFlow的性能和 CNTK、Neon 和 Torch等工具相比还有差距。如果 TensorFlow 的性能没有得到大幅度地改善,会对工业界的吸引力会大打折扣,这对 TensorFlow 普及会产生很大的伤害。除了这个大缺点,TensorFlow 还有一个小缺点: TensorFlow 不能部署在 Windows 操作系统上。不过我不认为这是什么缺点。哈哈,准备去微软的苗苗、小狮子和奔奔不准打我。

     

    深度学习框架大战正在进行,谁将夺取“深度学习工业标准”的荣耀,我们拭目以待。

    Andrej Karpathy:斯坦福大学计算机科学博士,OpenAI 的研究工程师

    ps:感谢黄申师弟教我用 TensorFlow, 让我稍微有点底气写文章。

     

    我看到了一个趋势,结构会趋于更大,更复杂。我们会建造一个超大型的神经网络,能够交换神经网络组件,提前训练部分网络,增加新的模块,连带调整所有组件。例如,卷积神经网络曾经是最大的深度神经网络,但是今天它们被分离出来,作为新的大型神经网络一部分。相似的,现在的这些神经网络,也会是新一年更大型神经网络的一部分。我们在学习乐高玩具的拼法,学会如何把它们高效拼接在一起。

     

    Pieter Abbeel:UC 伯克利大学助理教授,Gradescope 联合创始人

     

    依赖于监督技术的深度学习垂直领域,需要用新的方法(NLP)超过现有的技术表现。我们会看到深度学习在非监督学习和增强学习方面的突出表现。

     

    Eli David:Deep Instinct CTO

     

    在过去两年,我们看到了深度学习在各个领域获得很大突破。但即便如此,5 年之内并不会达到人类水平的圣杯(但我认为,终其一生这会出现)。我们在各大领域看到极大的突破。特别的,我认为最具有希望的领域,来自于非监督学习,这个世界的大部分数据是没有标签的,而且我们大脑本身,也是非常好的非监督学习盒子。

     

    当 Deep Instinct 成为第一个在安全领域使用深度学习的公司时,可以预计有更多的公司也会使用深度学习来部署。但是深度学习的门槛还是非常高,尤其对于互联网安全公司来说,他们其实并不使用人工智能工具(只有很少的解决方案使用了传统的机器学习技术)。所以深度学习要在安全领域得到大规模应用,还会经过很多年的时间。

     

    Daniel McDuff:Affectiva 研究主管

     

    在计算机视觉、语音分析以及其他领域,深度学习已成为机器学习中的支配形式。我希望使用 1 到 2 个 GPUs 就能部署的准确识别系统,能够让开发者们把新的软件部署到真实世界。我希望更多的焦点会放在非监督训练,或者半监督训练的算法上。

     

    Jörg Bornschein:Google 学者,在加拿大前沿技术研究院(CIFAR)

     

    预测未来总是很难的。当我们在大规模系统里考虑机器学习,在机器人控制的系统领域,或者在大规模系统里的大脑系统,非监督、半监督和强化学习会扮演愈发重要的角色。很明显的是,单纯的监督学习方法在理论上受到太多限制,很难解决实际问题。

     

    Ian Goodfellow:Google 高级研究工程师

     

    我预测在未来5年的时间里,我们的神经网络可以概括视频里发生了什么,而且有能力生成短视频。神经网络已经成为视觉任务的标准解决方案。我预测神经网络会成为 NLP 和机器人任务的标准解决方案。我还预测神经网络会在其他科学领域扮演重要工具,例如在基因行为预测,药物,蛋白质,新的医疗方案等。

     

    Koray Kavukcuoglu & Alex Graves:Google DeepMind 研究工程师

     

    很多事情会在未来 5 年发生。我们预测非监督学习和增强学习越发重要。我们也预测多方式学习(Multimodal Learning)的兴起,而且会超越个体数据集进行学习。

     

    彩世界开奖app苹果下载 8

     

    2015 深度学习十大顶级框架

    本文由彩世界平台发布于彩世界平台,转载请注明出处:深度学习十大顶级框架

    关键词: