第１３卷㊀第３期Ｖｏｌ．１３Ｎｏ．３㊀
㊀
智㊀能㊀计㊀算㊀机㊀与㊀应㊀用
ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ
㊀
㊀２０２３年３月㊀
Ｍａｒ．２０２３
㊀㊀㊀㊀㊀㊀
文章编号：２０９５－２１６３（２０２３）０３－００５１－０８
中图分类号：ＴＰ３８９．１
文献标志码：Ａ
一种基于权值缩减克服ＩＲ－Ｄｒｏｐ的忆阻器阵列神经网络训练方法
缪伟伟
（合肥工业大学计算机与信息学院，合肥２３０６０１）
摘㊀要：忆阻器阵列（Ｍｅｍｒｉｓｔｏｒ－ＢａｓｅｄＣｒｏｓｓｂａｒ）能够有效地加速神经网络中的矩阵运算㊂然而，忆阻器阵列会受到ＩＲ－Ｄｒｏｐ的影响，降低到达忆阻器的计算电压，导致计算精度下降㊂为减轻ＩＲ－Ｄｒｏｐ对忆阻器阵列计算精度的影响，提出了一种基于权值缩减的神经网络训练方法㊂首先，在网络训练中添加Ｌ２正则化，使训练后的神经网络权值尽可能分布在较小值范围，以此提高计算精度对ＩＲ－Ｄｒｏｐ的鲁棒性㊂然后，利用基于行列约束的映射算法将大权值映射到受ＩＲ－Ｄｒｏｐ影响小的忆阻器上，减小忆阻器阵列精度损失㊂最后，迭代减小受到ＩＲ－Ｄｒｏｐ影响大的大权值，再通过重训练调整被减小值的附近权值，提升忆阻器阵列的计算精度㊂实验结果表明，所提方法能够有效地提高忆阻器阵列的计算精度，最多可以将忆阻器阵列计算精度提升至接近理想状态，精度损失小于１％㊂
关键词：忆阻器阵列；神经网络训练；ＩＲ－Ｄｒｏｐ；映射算法
Ａｎｅｔｗｏｒｋｔｒａｉｎｉｎｇｍｅｔｈｏｄｏｆｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒｂｙ
ｗｅｉｇｈｔｒｅｄｕｃｔｉｏｎｔｏｏｖｅｒｃｏｍｅＩＲ－Ｄｒｏｐ
ＭＩＡＯＷｅｉｗｅｉ
（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＨｅｆｅｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈｅｆｅｉ２３０６０１，Ｃｈｉｎａ）
ʌＡｂｓｔｒａｃｔɔＭｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒｃａｎｅｆｆｅｃｔｉｖｅｌｙａｃｃｅｌｅｒａｔｅｍａｔｒｉｘ－ｖｅｃｔｏｒｍｕｌｔｉｐｌｉｃａｔｉｏｎｉｎｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｈｏｗｅｖｅｒ，ｔｈｅａｃｃｕｒａｃｙｏｆｃｒｏｓｓｂａｒｍａｙｓｅｒｉｏｕｓｌｙｄｅｃｒｅａｓｅｄｕｅｔｏＩＲ－Ｄｒｏｐ．ＴｏｒｅｄｕｃｅｔｈｅｉｍｐａｃｔｏｆＩＲ－Ｄｒｏｐｏｎｔｈｅｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｅｔｗｏｒｋｔｒａｉｎｉｎｇｍｅｔｈｏｄｏｆｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒｂｙｗｅｉｇｈｔｒｅｄｕｃｔｉｏｎ．Ｆｉｒｓｔｌｙ，Ｌ２ｒｅｇｕｌａｒｉｚａｔｉｏｎｉｓａｄｄｅｄｔｏｔｈｅｎｅｔｗｏｒｋｔｒａｉｎｉｎｇｔｏｓｈｒｉｎｋｔｈｅｗｅｉｇｈｔｄｉｓｔｒｉｂｕｔｉｏｎｔｏａｓｍａｌｌｖａｌｕｅｒａｎｇｅ，ｗｈｉｃｈｉｎｃｒｅａｓｅｔｈｅｒｅｓｉｓｔａｎｃｅｏｆｍｅｍｒｉｓｔｏｒｉｎｃｒｏｓｓｂａｒｔｏｒｅｄｕ
ｃｅｔｈｅｉｍｐａｃｔｏｆＩＲ－Ｄｒｏｐ．Ｔｈｅｎ，ａｍａｐｐｉｎｇａｌｇｏｒｉｔｈｍｗｉｔｈｔｈｅｃｏｎｓｔｒａｉｎｔｏｆｒｏｗａｎｄｃｏｌｕｍｎｉｓｕｓｅｄｔｏｍａｐｔｈｅｗｅｉｇｈｔｔｏｔｈｅｍｅｍｒｉｓｔｏｒｌｅｓｓａｆｆｅｃｔｅｄｂｙＩＲ－Ｄｒｏｐ，ｗｈｉｃｈａｖｏｉｄｓｔｈａｔｌａｒｇｅｗｅｉｇｈｔｓｍａｐｐｅｄｔｈｅｍｅｍｒｉｓｔｏｒｓｗｉｔｈｈｉｇｈＩＲ－Ｄｒｏｐ，ｉｎｃｒｅａｓｉｎｇｔｈｅａｃｃｕｒａｃｙｌｏｓｓｏｆｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒｃａｕｓｅｄｂｙＩＲ－Ｄｒｏｐ．Ｆｉｎａｌｌｙ，ｔｈｅｗｅｉｇｈｔｓｍａｐｐｅｄｔｏｔｈｅｍｅｍｒｉｓｔｏｒｗｉｔｈｈｉｇｈＩＲ－Ｄｒｏｐａｒｅｒｅｄｕｃｅｄｉｔｅｒａｔｉｖｅｌｙ，ａｎｄｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒｃａｎｂｅｒｅｓｔｏｒｅｄｔｈｒｏｕｇｈｒｅｔｒａｉｎｉｎｇ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｔｅｃｈｎｉｑｕｅｃａｎｐｕｌｌｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙｕｐｃｌｏｓｅｔｏｉｄｅａｌｌｅｖｅｌｗｉｔｈｔｈｅｌｏｓｓｏｆｌｅｓｓｔｈａｎ１％．ʌＫｅｙｗｏｒｄｓɔｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒ；ｎｅｕｒａｌｎｅｔｗｏｒｋｔｒａｉｎｉｎｇ；ＩＲ－Ｄｒｏｐ；ｍａｐｐｉｎｇａｌｇｏｒｉｔｈｍ
基金项目：国家自然科学基金（Ｕ１６１３２１７，６２１７４０４８）㊂
作者简介：缪伟伟（１９９７－），男，硕士研究生，主要研究方向：人工神经网络计算机㊂收稿日期：
２０２２－０４－２８
０㊀引㊀言
深度神经网络（ＤＮＮ）中存在大量的矩阵乘法运算㊂然而随着神经网络层数的不断增加，利用传统处理器实现矩阵乘法会造成计算时间过长和能耗过大㊂新型器件忆阻器（ｍｅｍｒｉｓｔｏｒ）为实现矩阵乘法提供了一种更高效的方式［１］，能够以Ｏ（１）的时间复杂度实现矩阵乘法㊂并且与传统的ＣＭＯＳＡＳＩＣ和ＧＰＵ解决方案相比，忆阻器阵列可以将能效提高１００倍以上［２－３］㊂忆阻器阵列实现矩阵乘法的结构如图１所示㊂
V n V i
V 2V 1
g i j
I 1
I 2
I j
I m
图１㊀利用忆阻器阵列实现矩阵乘法
Ｆｉｇ．１㊀
Ｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｍａｔｒｉｘｍｕｌｔｉｐｌｉｃａｔｉｏｎｕｓｉｎｇｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒ
㊀㊀图１中，忆阻器的电导值ｇｉｊ表示神经网络的权值，为忆阻器电阻值的倒数㊂对忆阻器阵列的第ｉ
行施加一个电压矢量Ｖｉ，流经第ｉ行第ｊ列忆阻器的电流为ｇｉｊ㊃Ｖｉ，第ｊ列的输出电流Ｉｊ＝ðｎｉ＝１ｇｉｊ㊃Ｖｉ，即为
输入向量与权值矩阵第ｊ列的乘积结果㊂
㊀㊀尽管忆阻器具有很好的应用前景，但是由于ＩＲ－Ｄｒｏｐ问题，会导致忆阻器阵列计算精度下降
㊂ＩＲ－Ｄｒｏｐ会造成输入端电压与实际到达忆阻器的计算电压之间存在偏差，导致忆阻器的实际输出偏移理想输出，忆阻器阵列计算精度降低㊂在本文中，将输入端电压称为理想计算电压，实际到达忆阻器的计算电压称为实际计算电压㊂忆阻器离输入端和输出端越远，ＩＲ－Ｄｒｏｐ造成的理想计算电压和实际计算电压的偏差越大，忆阻器的理想输出电流和实际输出电流的偏差也越大［４－５］㊂并且随着忆阻器阵列规模的增大，ＩＲ－Ｄｒｏｐ对忆阻器阵列计算精度的影响也越明显㊂例如，当忆阻器阵列规模从１６ˑ１６增大到１２８ˑ１２８时，计算精度降低了３５％［５］㊂
㊀㊀为减轻忆阻器阵列中ＩＲ－Ｄｒｏｐ的影响，文献［５］㊁文献［６］分别提出主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ，ＰＣＡ）和奇异值分解（ＳｉｎｇｕｌａｒＶａｌｕｅＤｅｃｏｍｐｏｓｉｔｉｏｎ，ＳＶＤ）的方法将大矩阵分解为２个小矩阵的乘积㊂通过减小忆阻器阵列规模，降低ＩＲ－Ｄｒｏｐ对忆阻器阵列计算精度的影响㊂文献［７］㊁文献［８］分别在忆阻器阵列每列的输出端添加对应的平均电流偏移量以及调整每列跨阻放大器（ＴＩＡ）的阻值，以此直接减小列输出的偏差㊂文献［４］㊁文献［９］在网络训练中加入忆阻器阵列的ＩＲ－Ｄｒｏｐ模型，使训练出的权值对ＩＲ－Ｄｒｏｐ具有更好的鲁棒性㊂ＩＲ－Ｄｒｏｐ会降低忆阻器的实际计算电压，进而影响忆阻器的输出结果㊂但忆阻器的输出结果等于忆阻器的实际计算电压与权值的乘积㊂忆阻器的权值越小，ＩＲ－Ｄｒｏｐ造成的输出结果偏差也越小㊂假设理想计算电压为１Ｖ，忆阻器的实际计算电压为０．８Ｖ㊂当忆阻器权值为５时，忆阻器的输出结果偏差则为｜１－０．８｜ˑ５＝１㊂而当
忆阻器权值为１时，忆阻器的理想输出结果与实际输出结果的偏差为｜１－０．８｜ˑ１＝０．２㊂同时映射到忆阻器的权值越小，忆阻器阻值越大，ＩＲ－Ｄｒｏｐ对忆阻器实际计算电压的影响也就越小，造成忆阻器输出结果偏差也越小［８］㊂因此，小权值会使忆阻器输出结果对ＩＲ－Ｄｒｏｐ有更好的鲁棒性㊂
为减小ＩＲ－Ｄｒｏｐ对忆阻器阵列计算精度的影响，本文提出了一种基于权值缩减的神经网络训练方法（ＡＮｅｔｗｏｒｋＴｒａｉｎｉｎｇＷｅｉｇｈｔＲｅｄｕｃｔｉｏｎ），为叙述方便在后续部分中简称为ＮＴＷＲ㊂首先，在网络训练中添加Ｌ２正则化，以此使训练出的权值尽可能小，从而提高忆阻器阵列计算精度对ＩＲ－Ｄｒｏｐ的鲁棒性㊂然后，本文通过基于行列约束的映射算法将大权值映射到离输入端和输出端较近的位置，避免大权值映射到
ＩＲ－Ｄｒｏｐ影响较大的忆阻器上，产生较大的输出结果偏差㊂在确定权值与忆阻器的映射关系后，可能仍存在部分大权值映射到离输入端和输出端较远处的忆阻单元上，导致忆阻器阵列计算精度降低㊂最后，减小映射到离输入端和输出端较远处的大权值，再利用重训练调整附近权值以恢复由于减小权值带来的计算精度损失㊂不断迭代减小权值和重训练，直到忆阻器阵列的计算精度无法提升为止㊂
１㊀基于权值缩减的神经网络训练方法１．１㊀ＮＴＷＲ方法的整体流程
ＮＴＷＲ方法的整体流程如图２所示㊂由图２可看到，第一步是在神经网络训练中添加Ｌ２正则化，使
训练出的权值分布在较小值的范围，从而减小ＩＲ－Ｄｒｏｐ对忆阻器阵列计算精度的影响㊂第二步是在得到训练好的网络权值后，执行行列映射算法将大权值映射到离输入端和输出端较近的位置，避免大权值映射到ＩＲ－Ｄｒｏｐ影响较大的位置，造成较大的计算精度损失㊂第三步是在执行映射算法后，减小映射在ＩＲ－Ｄｒｏｐ影响较大处的权值，以此降低ＩＲ－Ｄｒｏｐ造成的输出结果偏差㊂再执行重训练恢复由于权值减小造成的计算精度损失，直到忆阻器阵列计算精度无法提升为止㊂
执行基于行列约束的映射
算法确定映射关系
迭代减小计算结果偏差大
的权值
添加L2正则化训练网络权值
执行重训练以恢复精度
计算精度是否有提升?
输出结果
Y
N
①
②
③
图２㊀ＮＴＷＲ的总体流程
Ｆｉｇ．２㊀ＴｈｅｏｖｅｒａｌｌｐｒｏｃｅｓｓｏｆＮＴＷＲ
２５智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀
１．２㊀Ｌ２正则化
在本节中，将详细探讨Ｌ２正则化在神经网络权值训练中的作用㊂研究时在训练中增加Ｌ２正则化，是因为Ｌ２正则化在训练过程中对大权重具有更大的偏向性，可以将权重分布缩小到较小的值范围［１０］，进而提高忆阻器阵列的计算精度对ＩＲ－Ｄｒｏｐ
的鲁棒性㊂因此本文提出在损失函数中增加Ｌ２正则化的惩罚项，利用Ｌ２正则化使训练出的权值尽可能小，从而降低ＩＲ－Ｄｒｏｐ的影响㊂这里需用到的数学公式为：
Ｌ＾
Ｗ()＝ＬＷ()＋λ㊃Ｘ
２
（１）
㊀㊀其中，Ｗ是神经网络的权值矩阵；λ是正则化参数，用来控制Ｌ２正则化对损失函数Ｌ＾
Ｗ()的重要性；Ｘ
２
是Ｌ２正则化的惩罚项㊂
㊀㊀目前，比较流行的为Ｌ１正则化方法和Ｌ２正则化方法，可分别由如下公式进行描述：
Ｘ１
＝
ðｎ
ｉ＝１
ｘｉ（２）Ｘ
２
＝
ð
ｎｉ＝１
ｘｉ
２
()
１／２
（３）
㊀㊀如果在网络训练中添加Ｌ１正则化，则会使网络权值为零，导致训练出的神经网络稀疏化㊂尽管稀疏化使大部分权值为零，不会对神经网络的计算精度造成较大的精度损失［１１］，但会使神经网络的计算精度对训练出的非零权值更加敏感㊂在ＩＲ－Ｄｒｏｐ影响下，会造成非零权值的输出结果出现偏差，对忆阻器阵列计算精度产生更大的影响㊂而由文献［１２］
分析可知，Ｌ２正则化可以降低神经网络的敏感性，从而提高神经网络的鲁棒性㊂执行神经网络训练后，可以得到Ｌ２正则化后的权值矩阵㊂下面将对权值矩阵的映射算法进行研究阐述㊂１．３㊀基于行列约束的映射算法
在本节中，将详细介绍基于行列约束的映射算法（ＭａｐｐｉｎｇａｌｇｏｒｉｔｈｍｗｉｔｈｔｈｅＣｏｎｓｔｒａｉｎｔｏｆＲｏｗａｎｄＣｏｌｕｍｎ，ＭＣＲＣ）的具体步骤㊂ＭＣＲＣ算法的主要思
想是将权值矩阵中未确定映射关系的最大值在行列约束下映射到离输入端和输出端最近的忆阻器上，以此最小化ＩＲ－Ｄｒｏｐ对忆阻器阵列计算精度的影响㊂其中，行列约束指的是权值矩阵同一行和同一
列的权值在映射到忆阻器阵列后仍在同一行和同一列㊂之所以需要令确定的映射关系满足行约束，是因为施加在忆阻器阵列一行的理想计算电压是同一个，而不同行的理想计算电压是不同的㊂例如，若将权值矩阵整个第１行的权值映射到忆阻器阵列第２行，则只需要在忆阻器阵列第２行施加权值矩阵第
１行的理想计算电压Ｖ１，权值矩阵第１行第ｊ列的输出结果仍为Ｖ１ˑｗ１ｊ，如图３（ａ）所示㊂但是若权值矩阵第１行的ｗ１１和ｗ１２分别映射到忆阻器阵列第２行和第３行，则权值矩阵第１行第２列的输出结果不再是Ｖ１ˑｗ１２㊁而是Ｖ３ˑｗ１２，如图３（ｂ）所示㊂同理，每一列的输出结果等于该列所有忆阻器的输出结果之和，如果权值矩阵一列的权值被映射到忆阻器阵列的不同列上，同样会导致输出结果出现误差㊂故权值矩阵与忆阻器阵列的映射关系也需要满足列约束㊂w 11w 12w 13V 1w 21w 22w 23V 2w 31
w 32
w 33V 3
V 1
V 1V 3
w 11w 12w 13V 1w 21w 22w 23V 2w 31
w 32
w 33V 3
（ａ）满足行约束的映射㊀㊀㊀㊀㊀㊀（ｂ）不满足行约束的映射
图３㊀基于行约束映射的举例
Ｆｉｇ．３㊀Ｔｈｅｅｘａｍｐｌｅｏｆｍａｐｐｉｎｇｗｉｔｈｔｈｅｃｏｎｓｔｒａｉｎｔｏｆｒｏｗ
㊀㊀忆阻器阵列实现多层神经网络时，每层忆阻器
阵列的输出都会连接下一层忆阻器阵列的输入，如图４所示㊂如果调整第ｎ层权值矩阵与忆阻器阵列的映射关系，例如将权值矩阵第ｉ行映射到忆阻器
阵列第ｊ行，则原连接到第ｎ层第ｉ行的第ｎ－１层的输出也需要重新连接到第ｎ层的第ｊ行㊂同理，如果要将第ｎ层权值矩阵第ｉ列映射到忆阻器阵列第ｊ列，则原连接第ｎ层第ｉ列和第ｊ列的第ｎ＋１层的输入也需要交换连接㊂因此，如果想要独立映射每层
权值矩阵的Ｍ行或Ｍ列，而不改变与相邻层的连接，则需要使用ＭˑＭ的路由模块来连接相邻层的忆阻器阵列，会带来较大的硬件开销［１３］㊂而ＭＣＲＣ算法是一种对忆阻器阵列通用的映射算法，无需得知忆阻器阵列的相关信息㊂因此可以在确定每层权值矩阵与忆阻器阵列的映射关系后再制造忆阻器阵列，在多层神经网络中无需考虑映射带来的硬件开销，只需确定的映射关系满足行列约束㊂故本文提出的ＭＣＲＣ算法可以同时执行行映射和列映射㊂
３
５第３期
缪伟伟：一种基于权值缩减克服ＩＲ－Ｄｒｏｐ的忆阻器阵列神经网络训练方法
I1I2I m I1I2I m I1I2I m
第n-1层第n层第n+1层
图４㊀忆阻器阵列实现多层神经网络
Ｆｉｇ．４㊀Ｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆｍｕｌｔｉ－ｌａｙｅｒｎｅｕｒａｌｎｅｔｗｏｒｋｕｓｉｎｇｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒ
㊀㊀ＭＣＲＣ算法的伪代码具体见算法１㊂
算法１㊀ＭＣＲＣ算法
输入㊀权值矩阵Ｗｎˑｍ，距离矩阵Ｄｎˑｍ
输出㊀输出映射结果
１．Ｔｎˑｍ＝｜Ｗｎˑｍ｜，ｍａｐｐｅｄ＿ｒｏｗ［ｎ］和ｍａｐｐｅｄ＿ｃｏｌ［ｍ］全部置为－１，ｏｃｃｕｐｉｅｄ［ｎ］［ｍ］全部置为ｆａｌｓｅ；
２．Ｗｈｉｌｅ（存在未确定映射关系的权值）３．㊀在当前Ｔｎˑｍ中到最大值，将其行序号和列序号分别赋给ｒｏｗ，ｃｏｌ
４．㊀ｖｉｓｉｔｅｄ［ｎ］［ｍ］＝ｏｃｃｕｐｉｅｄ［ｎ］［ｍ］㊀㊀㊀㊀㊀／／将ｏｃｃｕｐｉｅｄ数组中的信息复制到ｖｉｓｉｔｅｄ数组中
５．㊀Ｗｈｉｌｅ（ｔｒｕｅ）
６．㊀在当前Ｄｎˑｍ到ｖｉｓｉｔｅｄ［ｉ］［ｊ］＝ｆａｌｓｅ的最小值，将其行序号和列序号分
别赋给ｉ，ｊ７．㊀Ｉｆ（（ｍａｐｐｅｄ＿ｒｏｗ［ｉ］＝－１ｏｒｍａｐｐｅｄ＿ｒｏｗ［ｉ］＝ｒｏｗ）ａｎｄ（ｍａｐｐｅｄ＿ｃｏｌ［ｉ］＝－１ｏｒｍａｐｐｅｄ＿ｃｏｌ［ｊ］＝ｃｏｌ））㊀㊀／／判断是否满足行列约束
８．㊀㊀ｍａｐｐｅｄ＿ｒｏｗ［ｉ］＝ｒｏｗ，ｍａｐｐｅｄ＿ｃｏｌ［ｊ］＝ｃｏｌ；㊀㊀／／将确定的映射关系存储到数组中９．㊀㊀ｏｃｃｕｐｉｅｄ［ｉ］［ｊ］＝ｔｒｕｅ，Ｔ［ｒｏｗ］［ｃｏｌ］＝－１；㊀㊀㊀／／更新状态
１０．㊀㊀ｂｒｅａｋ；㊀㊀㊀／／跳出当前ｗｈｉｌｅ循环１１．㊀Ｅｎｄ
１２．㊀ｖｉｓｉｔｅｄ［ｉ］［ｊ］＝ｔｒｕｅ；
㊀㊀／／标记当前位置被访问
１３．Ｅｎｄ
１４．Ｅｎｄ
１５．输出映射结果
在算法中，输入为权值矩阵Ｗｎˑｍ和距离矩阵Ｄ
ｎˑｍ㊂距离矩阵第ｉ行第ｊ列的元素Ｄｉｊ表示忆阻器阵列第ｉ行第ｊ列的忆阻器离输入端和输出端的距离㊂以离输入端和输出端最近的忆阻器为原点，字线为横坐标，位线为纵坐标，建立坐标轴，如图５所示㊂以横坐标和纵坐标之和表示忆阻器离输入端和输出端的距离，如Ｄｉｊ＝ｉ＋ｊ㊂
算法１中，伪代码的第１行，对矩阵Ｔｎˑｍ㊁数组ｍａｐｐｅｄ＿ｒｏｗ㊁ｍａｐｐｅｄ＿ｃｏｌ和ｏｃｃｕｐｉｅｄ进行初始化㊂Ｔ
ｎˑｍ
为Ｗｎˑｍ的绝对值矩阵，其中Ｔｉｊ＝｜Ｗｉｊ｜㊂数组ｍａｐｐｅｄ＿ｒｏｗ和ｍａｐｐｅｄ＿ｃｏｌ分别用于存储确定的行映射关系和列映射关系㊂数组ｏｃｃｕｐｉｅｄ用于标记忆阻器阵列中忆阻器是否已确定映射关系，ｏｃｃｕｐｉｅｄ［ｉ］［ｊ］＝ｔｒｕｅ表示忆阻器阵列第ｉ行第ｊ列的忆阻器已确定映射关系㊂
位线
V n
V i
V2
V1
字线
(n,0)
(i,0)
(1,0)
(0,0)
(n,1)
(i,1)
(1,1)
(0,1)
(n,j)
(i,j)
(1,j)
(0,j)
(n,m)
(i,m)
(1,m)
(0,m)
I1I2I j I m
图５㊀在忆阻器阵列上建立坐标轴
Ｆｉｇ．５㊀Ｔｈｅｃｏｏｒｄｉｎａｔｅｓｙｓｔｅｍｂａｓｅｄｏｎｍｅｍｒｉｓｔｏｒ－ｂａｓｅｄｃｒｏｓｓｂａｒ㊀㊀下面通过具体的例子来阐释基于ＭＣＲＣ算法的具体执行过程㊂假设矩阵Ｔｎˑｍ㊁距离矩阵Ｄｎˑｍ和数组ｏｃｃｕｐｉｅｄ分别为Ｔ（０）３ˑ３㊁Ｄ３ˑ３和ｏｃｃｕｐｉｅｄ（
０）３ˑ３㊂研究推得的各矩阵值具体如下：
Ｔ（０）３ˑ３＝
０．４０．９１
０．３０．１０．２
０．５０．６０．７
é
ë
ê
ê
ê
ù
û
ú
ú
ú
㊀Ｄ３ˑ３＝
２３４
１２３
０１２
é
ë
ê
ê
ê
ù
û
ú
ú
ú
ｏｃｃｕｐｉｅｄ（０）３ˑ３＝
ｆａｌｓｅｆａｌｓｅｆａｌｓｅ
ｆａｌｓｅｆａｌｓｅｆａｌｓｅ
ｆａｌｓｅｆａｌｓｅｆａｌｓｅ
é
ë
ê
ê
ê
ù
û
ú
ú
ú
㊀㊀算法１伪代码第３ ４行，按照Ｔｎˑｍ中值大小降序确定权值的映射关系，令ｒｏｗ和ｃｏｌ分别为Ｔｎˑｍ中最大值的行序号和列序号㊂利用数组ｖｉｓｉｔｅｄ标记
４５智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀
忆阻器是否被访问过或已确定重映射关系㊂例如在Ｔ（０）３ˑ３中，最大值为Ｔ２２＝１，ｒｏｗ＝２，ｃｏｌ＝２㊂
算法１伪代码第６行，按照离输入端和输出端的距离升序选择能在行列约束下与权值确定映射关系的忆阻器，令ｉ和ｊ分别为Ｄｎˑｍ中ｖｉｓｉｔｅｄ［ｉ］［ｊ］＝ｆａｌｓｅ的最小值的行序号和列序号㊂例如在当前Ｄ３ˑ３中ｖｉｓｉｔｅｄ［ｉ］［ｊ］＝ｆａｌｓｅ的最小值为Ｄ００，ｉ和ｊ均为０㊂
算法１伪代码第７ １１行，判断权值矩阵第ｒｏｗ行第ｃｏｌ列权值映射到忆阻器阵列第ｉ行第ｊ列忆阻器是否满足行列约束㊂如果满足行列约束，则保存
确定的映射关系，更新相应状态㊂例如在当前Ｔ（０）
３ˑ３中，ｍａｐｐｅｄ＿ｒｏｗ［０］和ｍａｐｐｅｄ＿ｃｏｌ［０］均为－１，即
忆阻器阵列第０行和第０列都未确定映射关系㊂因此，权值矩阵第２行第２列的权值与忆阻器阵列第０
行第０列确定映射关系㊂ｍａｐｐｅｄ＿ｒｏｗ［０］＝２，
ｍａｐｐｅｄ＿ｃｏｌ［０］＝２，Ｔ（０）３ˑ３和ｏｃｃｕｐｉｅｄ（０）
３ˑ３分别更新为Ｔ（１）３ˑ３和ｏｃｃｕｐｉｅｄ（１）３ˑ３，跳出当前ｗｈｉｌｅ循环㊂研究推
得的各矩阵值具体如下：
Ｔ（１）３ˑ３＝０．４０．９－１０．３０．１０．２０．５０．６０．７éëêêêùû
úúúｏｃｃｕｐｉｅｄ（１）３ˑ３
＝ｆａｌｓｅｆａｌｓｅｆａｌｓｅｆａｌｓｅｆａｌｓｅｆａｌｓｅｔｒｕｅｆａｌｓｅｆａｌｓｅéëêêêùû
úúú㊀㊀算法１伪代码第２ １４行，若还存在未确定映
射关系的权值，则继续执行算法㊂如Ｔ（１）
３ˑ３中仍存在
未确定映射关系的权值，因此继续执行算法㊂在Ｔ（１）３ˑ３中，最大值为Ｔ２１＝０．９，ｒｏｗ＝２，ｃｏｌ＝１㊂将
ｏｃｃｕｐｉｅｄ（１）３ˑ３的信息复制到数组ｖｉｓｉｔｅｄ中㊂在当前Ｄ３ˑ３中ｖｉｓｉｔｅｄ
［ｉ］［ｊ］＝ｆａｌｓｅ的最小值为Ｄ１０，ｉ＝１，
ｊ＝０㊂因ｍａｐｐｅｄ＿ｃｏｌ［０］＝２且ｍａｐｐｅｄ＿ｃｏｌ［０］ʂ
１，即忆阻器阵列第０列已经确定映射关系，且并不是权值矩阵第１列确定的映射关系，因此不满足行列约束㊂将ｖｉｓｉｔｅｄ［１］［０］置为ｔｒｕｅ，继续寻当前Ｄ３ˑ３中ｖｉｓｉｔｅｄ［ｉ］［ｊ］＝ｆａｌｓｅ的最小值㊂此时满足条
件的最小值为Ｄ０１，ｉ＝０，ｊ＝１㊂ｍａｐｐｅｄ＿ｒｏｗ［０］ʂ１但ｍａｐｐｅｄ＿ｒｏｗ［０］＝２，并且ｍａｐｐｅｄ＿ｃｏｌ［１］＝－１，满足行列约束㊂因此，权值矩阵第２行第１列的权值与忆阻器阵列第０行第１列确定映射关系㊂
ｍａｐｐｅｄ＿ｒｏｗ［０］＝２，ｍａｐｐｅｄ＿ｃｏｌ［１］＝１，Ｔ（１）
３ˑ３和
ｏｃｃｕｐｉｅｄ（１）３ˑ３分别更新为Ｔ（２）３ˑ３和ｏｃｃｕｐｉｅｄ（２）３ˑ３，跳出当前ｗｈｉｌｅ循环㊂由于在Ｔ（２）３ˑ３中仍有未确定映射关系
的权值，因此继续根据上述步骤执行算法，直到所有
权值确定映射关系㊂研究推得的各矩阵值具体如下：
Ｔ（２）３ˑ３＝０．４－１－１０．３０．１０．２０．５０．６０．７éëêêêùû
úúúｏｃｃｕｐｉｅｄ（２）３ˑ３
＝ｆａｌｓｅｆａｌｓｅｆａｌｓｅｆａｌｓｅｆａｌｓｅｆａｌｓｅｔｒｕｅｔｒｕｅｆａｌｓｅéëêêêùû
úúú㊀㊀算法１伪代码第１５行，当Ｔｎˑｍ中所有值确定映
射关系后，输出映射结果㊂如对Ｔ（２）３ˑ３继续执行算法，
可以得到映射后的Ｔ３ˑ３为Ｔｍａｐｐｅｄ
正则化网络３ˑ３㊂推得的矩阵值具
体如下：
Ｔｍａｐｐｅｄ
３ˑ３
＝０．２
０．１０．３０．７０．６０．５１０．９０．４éë
êêêùû
úúú１．４㊀重训练算法
尽管利用ＭＣＲＣ算法可以尽可能避免大权值映射到离输入端和输出端较远的忆阻器上，但大权值若聚集于一行或一列，则无法避免地会有部分较大权值被映射到离输入端和输出端较远的忆阻器上，导致忆阻器阵列计算精度的下降㊂因此，本文提出一种重训练算法，通过减小映射到离输入端和输
出端较远处的权值，降低ＩＲ－Ｄｒｏｐ对输出结果的影响㊂再通过重训练，恢复权值减小造成的计算精度损失㊂重训练算法的伪代码具体见算法２㊂算法２㊀重训练算法
输入㊀映射后的权值矩阵Ｗｍａｐｐｅｄｎˑｍ，距离矩阵Ｄｎˑｍ，偏差矩阵，ＩＲ－Ｄｒｏｐ影响矩阵Ｓｎˑｍ
输出㊀输出新的权值矩阵Ｗᶄｎˑｍ
１．Ｗｈｉｌｅ（忆阻器阵列计算精度仍可提升）２．㊀初始化Ｍｏｄｉｆｉｅｄ［ｎ］［ｍ］，全部置为ｆａｌｓｅ㊀㊀㊀㊀
／／用于标记修改过的权值
３．㊀在当前Ｓｎˑｍ中到最大值，将对应的权值赋给Ｗｉｊ
４．㊀Ｗｉｊ＝Ｗｉｊ／２㊀／／减小权值５．㊀Ｍｏｄｉｆｉｅｄ［ｉ］［ｊ］＝ｔｒｕｅ㊀㊀㊀㊀
／／将权值进行标记，重训练中不更新该权值
６．㊀执行重训练，得到新的权值矩阵Ｗᶄｎˑｍ７．㊀测试重训练后忆阻器阵列的计算精度
８．㊀重新计算Ｓｎˑｍ９．Ｅｎｄ
１０．输出矩阵Ｗᶄｎˑｍ
在算法中，输入为映射后的权值矩阵Ｗｍａｐｐｅｄｎˑｍ㊁距
离矩阵Ｄｎˑｍ以及ＩＲ－Ｄｒｏｐ影响矩阵Ｓｎˑｍ㊂Ｗｍａｐｐｅｄｎˑｍ
５
５第３期
缪伟伟：一种基于权值缩减克服ＩＲ－Ｄｒｏｐ的忆阻器阵列神经网络训练方法

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。