AI新动态:AI自造AI的速度将提升240倍

时间:2019-07-12 来源: 历史
狠狠色丁香婷婷综合 AI新动态:AI自造AI的速度将提升240倍

  36312657ca6e4925b0f14bb3a212cb68.png

  雷锋网注:【 IEEE 所有者:iStockphoto 】

  自2017年以来,研究人员一直使用AI神经网络来帮助设计更好更快的AI神经网络。

  迄今为止,这种应用在很大程度上是一种学术追求,主要是因为这种方法需要数万个GPU hours。然而,下个月,麻省理工学院(MIT)的研究团队将展示所谓的“神经架构搜索”算法,该算法可以将AI优化AI的过程加快240倍或者更多。

  优化后的AI速度更快,精准度更高。而这个新算法的出现将助力优化后的AI广泛应用于图像识别算法和其他相关应用。

  MIT电子工程和计算机科学的助教Song Han表示:“我们团队在模型大小、推理延迟、准确性和模型容量等多个方面做出了权衡。”他还补充说:“这些因素组成了一个巨大的设计空间。以前,人们都在设计基于人类启发的神经网络。而新算法试图将这种劳动密集型的、基于人类启发的方式转变为一个基于学习的、基于AI的设计方式。就像AI可以学习下棋一样,AI也可以学习设计一个神经网络。”

  就像在围棋和国际象棋中获胜的AI程序教给大师们新策略一样,AI优化AI这一新的探索为设计AI神经网络提供了全新的方法。此类神经网络被称为卷积神经网络(CNN),MIT团队研究的新算法促进了这种神经网络的发展。CNN通常作为图像识别程序的神经网络。除此之外,它在自然语言处理和药物发现等领域也有所应用。

  MIT的Han指出,一旦他们团队的算法建立起最优的CNN,得到系统分类图像的速度很可能是其他神经架构搜索构建的AI的1.8倍。

  Han说,团队能够以如此惊人的速度精确定位最优的CNN设计,有三个重要的想法:

路径。这个技巧可以在仅使用十分之一内存空间的情况下,对参数空间进行完整的搜索,从而使他们的搜索覆盖更多的网络配置,而不会耗尽芯片上的空间。

  第二、从已丢弃的神经网络搜索中删除整个路径,这明显加快了神经网络搜索的速度。

  第三、让神经网络搜索意识到AI系统可能正在运行的硬件的延迟时间无论是CPU还是GPU加速的移动平台系统。

  Han说,令人惊讶的是,关于一些图像识别神经网络的传统观点是错误的。在某种意义上,AI网络设计师在设计主要运行在GPU系统上的网络时,他们的想法仍然停留在CPU时代。

  CNN在其图像识别算法中使用过滤器,这些算法是由3×3、5×5或7×7像素组成的正方形网格。一般来说,7x7的过滤器很少见,因为人们认为,运行更多的3x3过滤器比运行单个7x7过滤器更快。

  然而,Han说,经过AI优化的AI使用了相当数量的7x7过滤器。他还表示,这是当今大多数AI计算中GPU占主导地位的原因。“目前,我们已经发现GPU上运行7x7更简单,因为GPU有很大的并行度,”Han补充道,“而且调用一个大型内核比调用几个小型内核更有效。”

  在谈到他的团队的算法时,Han说:“它为人类工程师未来设计神经网络提供了良好的反馈。”然而,这并不意味着AI能够构建更强大的版本。

  雷锋网注:本文作者 Mark Anderson,文章编译自

,查看更多

达到当天最大量
频道热点
新闻排行
  1. 最“毁容”的专业排名:大学四年,阅读越多越丑,我是对的。文字|小欣同学来自大学微信号:youjianuniversi

    最“毁容”的专业排名:大学四年,阅读越多越丑,我是对的。文字|小欣同学来自大学微信号:youjianuniversi...

  2. 中国商务俱乐部新成员:PhilippeFitness致力于打造全国最好的健身品牌:PhilippeFitness,正式成为中国商务

    中国商务俱乐部新成员:PhilippeFitness致力于打造全国最好的健身品牌:PhilippeFitness,正式成为中国商务...

  3. 有这样一套家庭影院系统五一不出门照样slay朋友圈  前些日子,相信大家都被《复联4》即将上映的消息刷了?

    有这样一套家庭影院系统五一不出门照样slay朋友圈  前些日子,相信大家都被《复联4》即将上映的消息刷了?...

  4. 如何处理废旧核电厂?脑洞大开华丽变身游乐场  本文转载自:中国核学会  如何处理占地面积颇大的废弃核

    如何处理废旧核电厂?脑洞大开华丽变身游乐场  本文转载自:中国核学会  如何处理占地面积颇大的废弃核...

  5. 7月1日,第一中学举行了庆祝仪式,主题为“青年之心致党建中国梦”和国旗下的讲话。随着雄伟的《义勇军进行

    7月1日,第一中学举行了庆祝仪式,主题为“青年之心致党建中国梦”和国旗下的讲话。随着雄伟的《义勇军进行...

  6. 最“毁容”的专业排名:大学四年,阅读越多越丑,我是对的。文字|小欣同学来自大学微信号:youjianuniversi

    最“毁容”的专业排名:大学四年,阅读越多越丑,我是对的。文字|小欣同学来自大学微信号:youjianuniversi...

  7. 考试要点:6个“提出主题”的语法01ときたら前名词表明发言者以一种稍微强烈的语气提出了一个不满或蔑视的?

    考试要点:6个“提出主题”的语法01ときたら前名词表明发言者以一种稍微强烈的语气提出了一个不满或蔑视的?...

  8. AI新动态:AI自造AI的速度将提升240倍    雷锋网注:【IEEE所有者:iStockphoto】  自2017年以来,研

    AI新动态:AI自造AI的速度将提升240倍    雷锋网注:【IEEE所有者:iStockphoto】  自2017年以来,研...

  9. 最新!老杨丈夫的价格被释放了!最低分实际上是.来源丨马鞍山好论坛版权归原作者所有。如果有任何侵权行为?

    最新!老杨丈夫的价格被释放了!最低分实际上是.来源丨马鞍山好论坛版权归原作者所有。如果有任何侵权行为?...

  10. 还有五天,第一个青岛凤凰音乐节,即将提前一周很难找到,即将开始!已经有门票的朋友已经伪装了他们的兴奋

    还有五天,第一个青岛凤凰音乐节,即将提前一周很难找到,即将开始!已经有门票的朋友已经伪装了他们的兴奋...

日期归档