专利名称：利用激活稀疏化的神经网络加速和嵌入压缩系统和方法
专利类型：发明专利
发明人：严恩勖，王维
申请号：CN201980054375.7
申请日：20190621
公开号：CN112585619A
公开日：
20210330
专利内容由知识产权出版社提供
摘要：用于(i)加快深度神经网络(DNN)的推理速度和(ii)将DNN产生的矢量表示从各种输入数据(诸如，图像、音频、视频，以及文本)中压缩出来的系统、方法，以及计算机可读介质。方法实施例将神经网络架构和与任务相关的损失函数作为输入，测量神经网络在训练数据集上的性能，并输出具有稀疏神经元激活的深度神经网络。本发明的流程利用正则化项增强了DNN现有训练目标函数，促进神经元的稀疏激活，并通过利用各种算法来解决优化问题来对DNN进行压缩。本公开还示出了如何在DNN推断过程中利用激活的稀疏化，从而可以使算术运算的次数成比例地减少，以及如何使用由DNN产生的稀疏表示来构建高效的搜索引擎。
申请人：墨芯人工智能有限公司
地址：美国加利福尼亚州
国籍：US
代理机构：北京东方亿思知识产权代理有限责任公司
代理人：杨佳婧
正则化与稀疏更多信息请下载全文后查看

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。