第39卷第8期自动化学报Vol.39,No.8 2013年8月ACTA AUTOMATICA SINICA August,2013
ART2wNF及其稳定性–
可塑性动态平衡性能分析
陈众1莫红1
摘要稳定性–可塑性两难问题的核心是系统如何在不削弱或忘记已学习模式的同时，自适应地学习新事物.目前公认自适应谐振理论(Adaptive resonance theory,ART)能够部分解决稳定性–可塑性两难问题，但依然存在学习受样本输入顺序影响大，且存在学习中心渐变样本时，带来的所谓模式漂移的问题.受进化生物学关于人类学习的幼态延续特征的启发，本文为每个F2层节点配备活跃度指示器λ，并将其反馈回F1层参与STM(Short term memory)向量的计算，使这种新型ART2网络在行为特征上具备幼态延续的显著特征，本文称之为ART2wNF(Adaptive resonance theory with neoteny feature).论文从理论上证明算法的可行性，并通过分析对随机生成样本集合的学习过程，对比了ART2wNF算法与常规ART2网络在可塑性、稳定性方面的差异以及ART2wNF在克服样本输入顺序影响等方面的优势.关键词稳定性–可塑性两难问题，幼态延续，自适应谐振理论,ART2网络,ART2wNF
引用格式陈众，莫红.ART2wNF及其稳定性–可塑性动态平衡性能分析.自动化学报,2013,39(8):1381−1388
DOI10.3724/SP.J.1004.2013.01381
ART2wNF and Its Stability-plasticity Dynamic Trade-offAnalysis
CHEN Zhong1MO Hong1
Abstract Stability-plasticity dilemma is how to build a sys-tem that is adaptive enough to learn new things while not dilut-ing/forgetting previously learned patterns.It is well known that ART(adaptive resonance theory)network can partially solve the stability-plasticity dilemma,but the behavior of ART network is uncertain due to the input order of samples and the pattern drift problem which is also notable for patterns with gradually changed center.Inspired by the human neoteny phenomenon discussed in evolution biology,in order to record the stimulating degree,we suggest that each node in F2layer be accompanied by an activity indicatorλ,which is also fed back to F1layer as a parameter of the calculation of STM(short term memory) vectors.The modified ART2network has the remarkable fea-ture of neoteny during learning process and is called ART2wNF (adaptive resonance theory with neoteny feature)in this paper. The feasibility of the arithmetic is theoretically proved for the introduction ofλatfirst.Then the performance and distinct-ness of ART2wNF in stability and plasticity are compared with ART2by analyzing the learning process for randomly generated samples.It also shows the distinctive ability to overcome the shortage of ART2caused by different input orders.
Key words Stability-plasticity dilemma,neoteny,adaptive resonance theory(ART),ART2network,ART2wNF
Citation Chen Zhong,Mo Hong.ART2wNF and its stability-plasticity dynamic trade-offanalysis.Acta Automatica Sinica, 2013,39(8):1381−1388
收稿日期2012-06-27录用日期2013-03-04
Manuscript received June27,2012;accepted March4,2013
国家自然科学基金(61074903,61233088)，中国科学院自动化研究所复杂系统管理与控制国家重点实验室开放课题，长沙理工大学青年英才计划资助1引言
1.1稳定性–可塑性两难问题
竞争学习网络学习得到的类别通常很难保持稳定，一个定型的类别仍然可能由于新样本的影响不断地发生变化[1].为了稳定学习过程，就必须将学习率设置得很小，但这又会使网络难以学习新的模式，从而失去了可塑性，这就是“稳定性–可塑性”两难问题(Stability-plasticity dilemma).简单地讲，稳定性–可塑性两难问题就是系统如何在学习新事物的同时尽可能地保持原有的记忆.在模式聚类研究领域，通常认为这个概念是由Carpenter等在自适应谐振理论(Adaptive resonance theory,ART)的研究中提出的[2].
自适应谐振网络的带反馈的两层结构使其能够部分地解决稳定性–可塑性两难问题，目前已发展出多种不同类型网络形式[2−6].在ART网络中，所谓稳定性(Stability)是指经学习产生的编码具备稳定性，避免系统不停地进行编码操作.而可塑性(Plasticity)则是系统依据一系列的环境输入自适应地进行认识编码(Recognition codes)，在学习的过程中，输入和系统的交互作用产生新的稳定状态或吸引区域[2−3].一个成熟的ART系统必须能够在两种模式之间自适应地切换[2]：它必须具备可塑性以学习系统所面临的有意义的变化，同时对于不相干的或重复出现的变化要能保持稳定性.目前普遍认为ART2网络能够部分解决稳定性–可塑性两难问题，主要体现在以下两个方面:
1)包括匹配–重置机制的两层结构体系使得对当前活跃节点的LTM(Long term memory)向量修正不会影响其他节点，但前提是网络能够正确聚类，不恰当的参数设置会影响聚类结果，从而对编码过程带来影响.
2)稳定性–可塑性切换:F2层节点在定型前保持高可塑性，在定型后的慢速再编码阶段则以保持稳定性为主.因此，目前的切换能力并不强，仅仅体现在定型前后.
一般来说，为了抑制噪声的影响,ART2网络需要保持稳定性；而为了克服样本输入次序对分类结果的影响，则需要具有一定的可塑性.但ART2的稳定性–可塑性平衡点(Stability-plasticity trade-off)是由其网络参数所决定的，不具备可调整性.近十年来，国内对ART2网络的研究也主要集中在应用领域，也
有部分算法改进或结构改进方面的研究[7−11]，但都使用固定的网络参数，因此，在聚类过程中是不具备稳定性–可塑性自适应切换能力的.此外，许多文献包括Carpenter的论文中都提到ART2网络聚类结果会受到样本输入顺序影响，本文研究认为恰当的稳定性–可塑性平衡点切换，即可削弱样本输入顺序的影响.
1.2幼态延续特性
进化生物学的研究表明人类的婴儿比其他灵长目动物的
Supported by National Natural Science Foundation of China (61074903,61233088),Open Project of State Key Laboratory of Management and Control for Complex Systems,Institute of Au-tomation,Chinese Academy of Science,and Youth Talent Support Plan of Changsha University of Science and Technology
本文责任编委王聪
Recommended by Associate Editor W ANG Cong
1.长沙理工大学电气与信息工程学院长沙410004
1.School of Electric and Information Engineering,Changsha Uni-versity of Science and Technology,Changsha410004
1382自动化学报39卷
幼体需要更多的照料和更长时间的发育才能达到成熟，例如大猩猩两岁即可独立外出觅食,3∼4岁即离开母亲独自活动，但显然人类做不到.人类在其他生理机能(例如性)接近成熟时，大脑的发育和心智的成长仍在持续，研究者们引入了“幼态延续”(Neoteny)的概念来解释这种现象[12].
幼态延续是指在成年期保持孩童时代特征的趋向，它是人类进化的显著特点，它使人能够长期保持好奇心，为进化过程中机体的新变化提供了时间和机会，以应对人类社会的复杂性.对照稳定性–可塑性两难问题，也可以认为幼态延续特性使智人在相当长的成长期内保持较强可塑性，以便于更好地形成复杂的知识概念，甚至直到成年期，依然保留一定可塑性.
举例而言，门外来了只乌龟，小孩会跑出去看，而成年人则选择坐着不动，但如果门外有只两个头的乌龟，则大人小孩全都会跑出去看.因此，我们说儿童可塑性强，稳定性弱，成年人可塑性弱，稳定性强.但对陌生的事物，成年人也会表现出较强的学习兴趣，保持与儿童相当的可塑性水平.综上所述，我们可以得到两个与“稳定性–可塑性平衡”有关的事实:
1)随时间推移，在智力发展的初期与后期，学习主体的稳定性–可塑性平衡点是不同的;
2)同一时刻，主体为两个不同类别建立的概念可以处于不同的稳定性–可塑性平衡点.
distinct和distinctive我们将这种特性称之为“多点动态平衡”,“动态”是指对同一事物，随熟悉程度的加深，平衡点会发生改变，而“多点”则是指在同一时刻，根据学习主体对不同类别事物的熟悉程度不同，对应的可塑性–稳定性平衡点可以处在不同位置.
1.3本文工作
本文作者在前期研究中使用ART2网络模拟了皮亚杰图式理论中的“同化”、“顺应”等基本心理学过程，并在图像处理等方面给出了一些应用实例[13−15]，并认为ART2网络具备了实现多点动态平衡的基本条件.根据幼态延续的概念，我们来设想解决稳定性–可塑性两难问题的最好效果:
1)在刚开始学习一类样本时，网络保持较强的可塑性，单个样本不会对LTM向量的定型产生决定性的作用;
2)在连续输入一定数量的样本，到样本的聚类中心后，学习该类别的样本越多，稳定性越强,LTM向量越不容易被单个奇异样本的干扰.
为此，本文提出了具有幼态延续特性的ART2网络(ART2with neoteny feature,ART2wNF).它能够在学习的初级阶段保持较强的可塑性，随着网络对某一模式逐渐熟悉，可塑性减弱，稳定性逐渐加强.聚类
后得出的不同类别在同一时刻可以处于不同的稳定性–可塑性平衡位置，有利于区别对待熟悉程度不同的类别，合理地、有区别地进行学习.这种学习方式整体上表现为“多点动态平衡”的特性，抗干扰能力比ART2有明显提高，可有效克服样本输入次序对聚类结果带来的不良影响.
2ART2网络
2.1结构
ART2网络的典型结构如图1(a)所示，其中，空心圆点表示求和运算，实心圆点表示求模运算.图1中沿用文献[2]使用标量(例如I i)表示运算关系，输入向量应表示为I, w、x、v、u、q和p为短期记忆(Short-term memory,STM)向量,z iJ和z Ji分别代表当前激活节点J的F1层到F2层和F2层到F1层的连接权重分量，它们的初始值不相同.F2层的第J个节点被定型后，有z Ji=z iJ为长期记忆系统(Long-term memory,LTM)向量，在不引起歧义的情况下，本文中简记为z J
.
图1ART2网络典型结构
Fig.1Typical Structures of ART2network
图1中,STM向量p可视为LTM向量z J(“回忆”模式)与输入向量I的组合，网络通过向量r监视I与p的匹配程度，与系统警戒值比较，从而判断系统F2层当前“回忆”结果是否正确.其调整原则(学习规则)是网络性能的关键.函数f、g，参数a,b,c,d的含义以及系统的运行原理见文献[3−4].
图1(b)中的网络相对图1(a)增加了一个F0的预处理层，结构与F1中的低层和高层圈相似.除了输入向量I是预处理层的输出向量外，这样的结构允许I自己作为调整子系统的输入，而非图1(a)中的向量u.这样做的优势在于当F1活跃时,I不变，因此，在试验中I向调整子系统提供了比u 更稳定的输入.
2.2ART2学习规则
2.2.1慢速学习
文献[3]中明确给出，当F2层第J个节点被激活，对应的LTM向量z J的学习规则表达为
d z J
d t
=d(1−d)
u
1−d
−z J
(1)
图1中，当F2层激活第J个节点,g(y J)=d，其他的节点g(y J)=0，且0<d<1[3].由式(1)可知，与其他神经网络相比,ART2网络的显著特点之一就是它是一种连续网络[8].将式(1)离散化，可以得到离散形式的慢速学习(Slow learning)规则:
z J(t+∆t)=∆tdu u+(1−∆td(1−d))z J(t)(2)许多文献使用了符号α取代∆t，并明确地称α为学习速率(Learning rate).慢速学习规则具有保留LTM向量z J 原有值的趋向，这种特性称之为慢速再编码(Slow recoding).再编码的速率在连续网络中取决于样本呈现的时间，在离散网络中则取决于学习速率.
2.2.2快速学习
当输入样本持续的时间足够长，即时间t→∞，等价于令式(1)等于0，可得:
z J=
u
1−d
(3)
8期陈众等:ART2wNF及其稳定性−可塑性动态平衡性能分析1383
即众多ART2研究文献通常采用快速学习(Fast learning)
规则[8].如果图1中的函数f(·)为线性函数，由文献[4]，可
以证明在采用快速学习条件下,LTM向量z J与F1层的
中间向量u方向相同.快速学习的显著特征是LTM向量
z J的幅值一次性达到1/(1−d)，称之为快速定型特性(Fast
commitment).
但需要说明的是由于STM向量u的迭代计算中用到了
F2层的LTM反馈，因此，快速学习规则也具有使LTM向量
z J保持原有存储信息的能力.在后续章节中，我们将说明这
种保持能力取决于ART2的网络参数.
2.2.3ART2-A的折中学习
在实际应用中,ART2网络经常需要有一个合适的学习
速率来应对噪声和保持系统稳定性，同时克服样本输入次序
对分类结果的影响.文献[4]指出，相对过激的快速学习方式
不适合处理噪声水平较高的数据集，而慢速学习虽然可以较
好地处理噪声问题，但可能存在无意义的搜索过程，导致计
算速度慢.为此，基于图1(b)结构(F1层阈值θ＝0)，文献
[4]提出了ART2网络的折中学习(Intermediate learning)
概念，并称之为ART2-A算法.
令z∗J表示一个比例缩放后LTM向量,z∗J=(1−d)z J,
则式(1)慢速学习修正为
d z∗J
d t
=d(1−d)(u−z∗J)(4)
根据式(4),z∗J以固定的速度接近u.当J为非定型节
点时，在整个输入提交期间,u恒等于I，因此，向量z∗J以指
数级速度接近I.如果相对1/(1−d)，输入提交的时间间隔
长度很长，那么最后将满足z∗J≈I[4](针对模拟形式网络而
言).另一方面，文献[4]已经证明，在图1(b)结构中向量u
满足:
u=N(εNΨ+(1−ε)z∗J)(5)
其中,N为归一化操作.从而有:
d z∗J
d t
≈εd(1−d)(NΨ−z∗J)(6)
如果J为定型节点，由于ε的因素,z∗J接近NΨ的速度
比未定型节点的速度慢.显然较小的ε可以使得向量u更靠
近向量(1−d)z J，削弱了新输入向量的影响，系统的稳定性
得到加强.在数字仿真计算中，文献[4]将上述过程简化，制
定了ART2-A的折中学习:
z∗(new) J =
I，若J为未定型节点
N(βNΨ+(1−β)z∗(old)
J
),
若J为定型节点
(7)
其中,Ψi,=
I i，若z∗(old)
Ji
>θ
0，否则
，
且0≤β≤1.
如果J是一个定型节点,z∗(old)
J
指的是z∗J在输入开始
提交时的值,z∗(new)
J
是更新后的值.需要说明的是快速定型特性是指在激活了未定型(Uncommitted)节点时，采用快速学习，使LTM向量的模||z J||一次达到1/(1−d).慢速再编码特性则是在激活了已定型(Committed)节点时，采用近似慢速学习的学习规则，解决噪声和样本输入顺序带来的影响.折中学习的主要行为特征是同时具备快速定型特性和慢速再编码特性，但不能被视为是介于快速学习与慢速学习的中速学习，而是快速学习和慢速学习的结合体.虽然折中算法只能适用于图1(b)结构的ART2-A，但其推导过程能够带给我们一些启示，在下文中我们将继续进行讨论并加以利用.
3具有幼态延续特征的ART2wNF
具有代表性的BP网络，从其结构特征来看，整个网络是一个密不可分的整体.假定在权值调整结束后，已经能够正确分类已学习类别，而此时如果有新的类别加入，则需要再次学习所有样本，并重新调整全部的权值.由于原有网络权值会被修改，显然BP网络不具备实现多点动态平衡的基本能力.对比之下,ART系列网络与生物神经系统比较接近，记忆模式也与生物的记忆形式类似.ART模型的短期记忆系统(STM)和长期记忆系统(LTM)的概念在认知发展论的图式理论中也有对应的概念以及功能描述[16−17].在前期的工作中，我们将幼态延续学习的概念引入ART2[18]，本文正式提出ART2wNF的基本构架和算法.与ART2-A的折中学习不同，这种改进方法适用于所有ART2网络的变形体.
3.1F2层节点活跃度模型
首先，我们提出为每个F2层节点配备活跃度λ(λ∈(0,1]),λ代表了该节点受到持续刺激的程度.λ=0+为初始状态(通常取一个非常小正数即可)，表示该节点处于休眠状态,λ=1表示该节点进入完全活跃状态.在节点受到刺激时,λ上升，反之则下降.式(8)提供了一个相对简单的活跃度调节方法:
λj+1=
λj+(1−λj)×α，若j=J
λj+(1−λj)×α/n1，若λj>λm,
λj+(1−λj)×α/n2，若λj≤λm,
若j=J
(8)
令λm=0.6,α=0.05,n1=100,n2=10，活跃度变化曲线如图2所示(下降曲线中，初始值λ=0.95).横轴坐标既可以理解为时间也可以理解为学习次数，取决于该网络工作在连续模式还是离散模式.
本组参数使得对某类样本学习18次左右，活跃度上升到λm=0.6(可根据需要调整)，此后学习次数增多，可以继续上升.如果某类样本只是最初出现几次后就消失了，记忆该类别的F2层节点活跃度会按上升速率的1/10衰减，但如果对一类样本学习次数足够多，活跃度超过λm，此时活跃度下降速率将下降到上升速率的1/100.这意味着刺激次数超过18次后，衰减速度将大大减缓.
活跃度的设计在生物学和心理学都有一定的理论基础支持.通过不断重复，大脑中的化学信号系统会把一种反应结合蛋白(CAMP-resporoe element binding protein,CREB)推入神经元的核心[19].研究人员发现长期记忆能力较强的老鼠，其大脑中所含有的CREB蛋白质经常保持活跃的状态[20].德国实验心理学家赫尔曼·艾宾浩斯也指出了记忆保持和诵读次数的关系：诵读次数越多、时间越长，则记忆保持越久[21].
1384自动化学报39
卷
图2
F 2层节点活跃度变化曲线
Fig.2
Trace of activities of F 2nodes
3.2ART2wNF 结构
3.2.1
结构变化
文献[4]在证明折中学习算法过程中，说明式(6)中ε的大小由参数a 和b 决定.一般情况下，参数a 和b 都被设置得足够大，以获得一个较小的ε值，从而削弱新输入向量的影响.在常规ART2网络应用中，参数a 和b 均恒定.本文认为在不同的学习阶段新输入对LTM 向量的影响应有所不同.由进化生物学幼态延续学习的特征可知，人的认知具备早期可塑性强、后期稳定性强的特征，因此，动态变化a 和b 的值能使得网络特性有所改变.在图1ART2网络结构的基础上，本文将当前胜出节点的活跃度λJ 反馈回F 1层，参与STM 向量计算，结构如图3所示
.
图3
ART2wNF 结构
Fig.3
Structure of ART2wNF
类似F 2→F 1反馈函数g (y J )，定义函数h (y J )，用于反馈当前被激活节点的活跃度.
h (y J )= λJ ，若当前胜出节点J 没有被复位
h old ，否则(9)
h (y J )相当于一个选通器，将当前被激活节点J 的活跃度反馈回F 1层.而在还没有节点被激活(正在进行第一次
F 1层计算)的情况下，保持原有的输出h old .该选通器的初始输出值设置为一个大于0的正数即可，下一节的定理1将证明该值的设置对F 1层的第一次稳定运算没有影响.
在ART2wNF 中，实际参与运算的参数a ∗=aλJ ,b ∗=bλJ ，且λJ <1.由于活跃度随学习过程改变，等价
于参数a 和b 在动态变化，同时代表不同类别的F 2层节点具有不同的活跃度，从而实际运算的a ∗、b ∗参数值也随着当前被激活的节点不同而不同.3.2.2
算法可行性证明
然而在ART2的离散算法中,F 1层经历了两次STM 向量的稳定过程，分别在F 2层活跃前后.在F 2层激活前，由于尚未确定被激活的节点J ,λ的取值也无法确定，因此,F 1层的a ∗、b ∗亦无法确定，计算将无法进行.
在ART2-A 中，由于结构的特殊性,Carpenter 直接给出了在F 2没有激活之前，图1(b)中向量p =I 的结论，运算不受参数a 、b 大小的影响.我们将在定理1给出证明，对常规ART2网络,λJ 在F 2层激活前的取值也不会影响F 1层的计算结果.
定理1.在F 2层未激活时,F 1层STM 向量u 的计算结果仅与输入向量I 相关，而与a 和b 的取值无关(a >0,b >0).
证明.在F 2层未激活时，由于所有g (y i )=0，故p =u ，进入匹配度计算的关键是向量u 的值.
1)如果阈值θ=0，由文献[4]式(71)可知:
u =N (N (I +au
u )+b N (u ))=N  I +(a +bA )u A
=
1
B
(I +a +bAu
u )A 其中,A =||I +au
u ||,B =||I +(a +bA )u ||.由于a 、b 均为正数，输入只有一个I ，显然u 的方向与I 相同，同时||u ||=1，故u 与参数a 、b 大小无关.
2)如果0<θ≤1/√
m ，令Ω={i,I i /||I ||>θ},I i 为输入向量的第i 个分量，定义向量Ψ为
ψi =
I i ，若i ∈Ω
0，若i ∈Ω
由图1的F 1层结构和计算过程可知,F 1层底层(Bot-tom layer)和中间层(Middle layer)之间的迭代，即在
I →w →x →v →u 的过程中，易知u =N (Ψ
Ψ)，等价于输入向量为Ψ.此后,w =I +au
u ，因为a >0，故w i (i ∈Ω)的值增加，并导致x i (i ∈Ω)被增强，而x i (i ∈Ω)的值在w →x →v 的计算过程中继续被削弱，迭代计算后，仍然有
u =N (v )=N (f (x ))=N (Ψ
Ψ).由于F 2层不活跃,F 1层的中间层和顶层(Top layer)之间的迭代，即u →p →q →v 的过程中，有q =p =
u =N (Ψ
Ψ)，则v =(q )+f (x )=(b +1)N (ΨΨ)，进而有u =N (v )=N (Ψ
Ψ)，也等价于实际输入向量为Ψ.由1)可知,u 的稳定值与a 和b 无关.
在定理1的支撑下，当F 2层没有有效激活节点时，式(9)中函数h 的输出保持原有值h old 即可.这样对使用集成电路实现模拟型ART2wNF 来讲也非常便利.除了以上变化，其他均与常规ART2相同,LTM 向量的学习算法也采用快速学习规则即可.由于每个F 2层节点都配备了一个活跃
8期陈众等:ART2wNF及其稳定性−可塑性动态平衡性能分析1385
度指示器，并且同一时刻每个F2层节点的值可以不同.如果是一个学习多次的熟悉类别胜出,λJ较大，系统表现出较强的稳定性；反之，如果是一个相对陌生的类别胜出,λJ较小，系统表现出较强的可塑性.
3.2.3算法总结
首先为F2层的每个节点附加了一个活跃度指示器，初始化为略大于0的正数.
采用下述幼态延续算法:
1)向量输入.F1层第一次稳定过程中，令h(y J)=1，等同常规ART2网络，计算F1层各STM向量.此后,h(y J)直接使用上轮保留下来的λJ;
2)F2层激活.按常规ART2网络选择F2层被激活节点J，在返回LTM向量z J的同时，返回对应的活跃度λJ;
3)F1层STM向量的再次计算.F2层返回LTM向量后，与STM向量p相加，再次进行其他STM向量的计算.此时，按式(9)返回激活节点对应的活跃度λJ至F1层;
4)谐振产生或重置.若发生谐振，更新活跃度指示器，若发生重置则重复2)和3);
5)更新活跃度.按式(8)或其他设计模式更新活跃度，转入1).
除此之外,ART2wNF的计算步骤与常规ART2网络相同,LTM向量的学习规则可采用快速学习或者慢速学习.
4ART2wNF的学习过程示例
4.1学习样本
我们在30◦角附近按标准差σ=5的正态分布随机产生单位长度为1的50个向量I i=[cos(θi),sin(θi)]，如表1所示.其中,44号样本(*)角度最大,48号样本(∇)角度最小.样本集空间分布如图4所示.
常规ART2网络参数设置为:a=b=5,c=0.1,d= 0.9,ρ=0.8(有意降低警戒值，将所有50个样本归为一类), ART2wNF的活跃度变化规律按式(8)设置.图1中z iJ和z Ji均以z J代表，其初始值为0，初始相角也定义为0◦.
4.2稳定性–可塑性分析
4.2.1可塑性
4.2.1.1单一样本集合实验
完成以下两个步骤的仿真实验:
步骤1.将角度最小的48号样本与1号样本对调位置，然后，按编号顺序分别送入快速学习的ART2、慢速学习的ART2和ART2wNF网络学习，记录F2→F1层LTM向量z Ji的相角变化曲线;
步骤2.将角度最大的44号样本与1号样本对调位置，重复上一步实验.
两次学习的LTM向量z J的相角轨迹分别如图5中30◦相角直线的上下两边所示，由图5可知:
1)慢速学习和快速学习都容易受到样本输入顺序的影响，仅仅一个样本输入顺序不同,z J分别从两侧缓慢逼近样本中心(30◦角)，慢速学习受影响程度尤其明显.
2)相对而言,ART2wNF受样本输入顺序的影响明显减弱.这正是因为在学习的初期，该类别的活跃度λ还不高，等价于式(6)中的ε相对较小，网络的可塑性强.虽然第一个特殊样本对z J进行快速定型，但在此
后学习过程中，剩下的输入样本按随机顺序产生，在连续输入多个样本后,λ上升，系统很快克服第一个样本带来的不良影响，样本中心基本确定.两次实验中,z J逐渐重合，进入稳定状态
.
图4样本的空间分布
Fig.4Distribution of samples
表1服从正态分布的50个角度样本
Table150samples belong to normal distribution
No.θi No.θi No.θi No.θi No.θi 125.681124.552126.923137.104124.26 230.391230.162233.743231.464230.52 323.931332.762329.043330.994333.61 424.431435.502434.443437.9444∗42.93 529.971537.722526.183525.984526.67 637.661630.432622.993633.484630.94 726.151722.542722.893734.184729.59 831.861826.292832.443828.7848∇20.33 928.871924.692929.113931.094927.80 1035.592041.753029.024024.175021.03

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。