专利名称:利用激活稀疏化的神经网络加速和嵌入压缩系统和方法
专利类型:发明专利
发明人:严恩勖,王维
申请号:CN201980054375.7
申请日:20190621
公开号:CN112585619A
公开日:
20210330
专利内容由知识产权出版社提供
摘要:用于(i)加快深度神经网络(DNN)的推理速度和(ii)将DNN产生的矢量表示从各种输入数据(诸如,图像、音频、视频,以及文本)中压缩出来的系统、方法,以及计算机可读介质。方法实施例将神经网络架构和与任务相关的损失函数作为输入,测量神经网络在训练数据集上的性能,并输出具有稀疏神经元激活的深度神经网络。本发明的流程利用正则化项增强了DNN现有训练目标函数,促进神经元的稀疏激活,并通过利用各种算法来解决优化问题来对DNN进行压缩。本公开还示出了如何在DNN推断过程中利用激活的稀疏化,从而可以使算术运算的次数成比例地减少,以及如何使用由DNN产生的稀疏表示来构建高效的搜索引擎。
申请人:墨芯人工智能有限公司
地址:美国加利福尼亚州
国籍:US
代理机构:北京东方亿思知识产权代理有限责任公司
代理人:杨佳婧
正则化与稀疏更多信息请下载全文后查看

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。