咬定青山不放松写的什么(咬定青山不放松写的植物是) 如何做一名合格的男秘书 怎样安装手写板驱动(怎样安装手写板) 幻灵游侠宝宝升级方法(幻灵游侠宝宝升级方法选择) 百度音乐链接怎么复制 百度音乐链接在哪里(百度音乐链接怎么复制,百度音乐链接在哪里呢) ABC卡盟辅助(abc卡盟) 光盘如何刻录文件(光盘如何刻录文件内容) 手机无法播放优酷视频 如何解决(手机无法播放优酷视频,如何解决呢) 秋风清李白古诗(秋风清) 网上怎么交话费(网上怎么交话费?) 脸上过敏发红发痒怎么办?(脸上过敏发红发痒怎么办最有效吃什么维生素) 铜壶烧水里面发黑(铜壶烧水泡茶好) 百度经验如何抽奖(百度怎么抽奖) 号暗藏命运玄机(号码的玄机) 聚乳酸生物可降解材料(可降解材料有哪些) 怎么设置qq空间形象墙(如何设置qq空间照片墙) 阴阳师业火原怎么打(阴阳师的业原火怎么打) plenty of可以放在句首吗?(plenty of修饰可数还是不可数) AE教程 如何制作全息影像特效动画(ae怎么做全息投影) dnf55冰龙怎么打(深渊冰龙15怎么打) 酚酞溶液测碳化深度(碳化深度怎么测) 泡茶用什么杯子(茶叶用什么杯子泡好) 商务签证办理流程及材料(商务签证办理流程及材料要求) 咖啡怎么做好喝又简单(咖啡怎么做出来的) 如何让EXCEL表格打印每页都显示标题行(excel标题行 每页都显示怎么打印出来) 2018年黑龙江高校排名 2018年黑龙江大学排名(黑龙江省所有大学排名榜) 摩斯密码怎么敲视频教学(摩斯密码怎么敲视频) 魔兽世界雷霆小径之战任务怎么开始(魔兽世界雷霆小径之战任务怎么开始视频) 怎么在电脑上查看手机版网页 wap(怎么用手机查看电脑版网页) 生的五笔怎么打(盛的五笔怎么打) 手工制作圣诞帽教案(手工制作圣诞帽教案大班) 阿里巴巴服装加工订单(找服装加工订单) 大闸蟹的正确做法图解(大闸蟹的正确做法图解大全) 抗诉的意思(抗诉是什么意思) 如何选购婴儿内衣?婴儿内衣哪种好啊(买什么儿童的内衣比较好) 烤鱼片的做法(空气炸锅烤鱼片的做法) frp是什么材料图片(frp是什么材料) 伦敦奥运会官方游戏london2012 110米栏攻略(伦敦110米栏奥运视频) 别来玩狼牙新系统境界提升玩法介绍(狼牙该如何使用) 关于逆境中成长的名言(逆境有利于成长名言) 爬楼梯有什么好处?(爬楼梯有什么好处吗) 八字不合怎么办(名字和八字不合怎么办) 宁滥勿缺下一句(宁滥勿缺) dnf补丁wegame怎么找(wegame中dnf补丁在哪?) 什么手机游戏可以赚人民币(什么手机游戏可以赚人民币 手游 手机) PDF文件怎么拆分成多个文件(怎么合并多个pdf) 乘法是什么符号的意思(乘法是什么符号) IP电话如何使用(ip话机怎么使用) 海底世界资料大全(关于海底世界的资料) 怎样自己动手包书皮(怎么自己包书皮)
您的位置:首页 >要闻 >

2月21日基于尖端神经网络理论的新型人工智能处理器可降低计算功耗

导读 东京理工大学的研究人员现已开发出一种名为Hiddenite的新型加速器芯片,该芯片可以在计算稀疏隐藏神经网络时实现最先进的精度,并且计算负

东京理工大学的研究人员现已开发出一种名为“Hiddenite”的新型加速器芯片,该芯片可以在计算稀疏“隐藏神经网络”时实现最先进的精度,并且计算负担较低。通过采用建议的片上模型构造,即权重生成和“超级掩码”扩展的组合,Hiddenite 芯片大大减少了外部存储器访问,从而提高了计算效率。

深度神经网络 (DNN) 是用于 AI(人工学习)的复杂机器学习架构,需要大量参数来学习预测输出。然而,DNN 可以被“修剪”,从而减少计算负担和模型大小。几年前,“彩票假说”席卷了机器学习世界。该假设指出,随机初始化的 DNN 包含在训练后达到与原始 DNN 相当的精度的子网络。网络越大,成功优化的“彩票”就越多。因此,这些彩票允许“修剪”的稀疏神经网络达到与更复杂、“密集”网络相当的精度,从而减少整体计算负担和功耗。

找到此类子网络的一种技术是隐藏神经网络 (HNN) 算法,该算法在初始化的随机权重和称为“超级掩码”的“二进制掩码”上使用 AND 逻辑(仅当所有输入都为高时输出才高) (图。1)。由 top-k% 最高分数定义的超级掩码分别表示未选择和选择的连接为 0 和 1。HNN 有助于从软件方面降低计算效率。然而,神经网络的计算也需要硬件组件的改进。

传统的 DNN 加速器提供高性能,但没有考虑外部内存访问带来的功耗。现在,由 Jaehoon Yu 和 Masato Motomura 教授领导的东京工业大学 (Tokyo Tech) 的研究人员开发了一种名为“Hiddenite”的新型加速器芯片,该芯片可以计算隐藏的神经网络,并大大降低了功耗。“减少外部存储器访问是降低功耗的关键。目前,实现高推理精度需要大型模型。但这增加了对加载模型参数的外部存储器访问。我们开发 Hiddenite 的主要动机是减少这种外部存储器访问,”Motomura 教授解释说。他们的研究将在即将到来的2022年国际固态电路会议 (ISSCC)是一个著名的国际会议,展示了集成电路成就的巅峰。

“Hiddenite”代表 Hidden Neural Network Inference Tensor Engine,是第一款 HNN 推理芯片。Hiddenite 架构(图 2)在减少外部存储器访问和实现高能效方面具有三重优势。首先是它提供了片上权重生成,用于通过使用随机数生成器重新生成权重。这消除了访问外部存储器和存储权重的需要。第二个好处是提供“片上超级掩膜扩展”,它减少了需要由加速器加载的超级掩膜数量。Hiddenite 芯片提供的第三项改进是高密度四维 (4D) 并行处理器,可在计算过程中最大限度地重复利用数据,从而提高效率。

“前两个因素使 Hiddenite 芯片有别于现有的 DNN 推理加速器,”Motomura 教授透露。“此外,我们还引入了一种新的隐藏神经网络训练方法,称为‘分数蒸馏’,其中传统的知识蒸馏权重被蒸馏到分数中,因为隐藏神经网络从不更新权重。使用分数蒸馏的准确性与二元模型相当,而大小只有二元模型的一半。”

标签:

免责声明:本文由用户上传,如有侵权请联系删除!