自适应共振理论ART模型.docx

1、自适应共振理论ART模型自适应共振理论ART模型自适应共振理论ART(Adaptive Resonance Theory)模型是美国Boston大学的SGrossberg和ACarpenet在1976年提出的。 ART是一种自组织神经网络结构，是无教师的学习网络。当在神经网络和环境有交互作用时，对环境信息的编码会自发地在神经网中产生，则认为神经网络在进行自组织活动。ART就是这样一种能自组织地产生对环境认识编码的神经网络理论模型。ART模型是基于下列问题的求解而提出的：1对于一个学习系统，要求它有适应性及稳定性，适应性可以响应重要事件，稳定性可以存储重要事件。这种系统的设计问题。2学习时，原有

2、的信息和新信息如何处理，保留有用知识，接纳新知识的关系如何及解决的问题。3对外界信息与原存储的信息结合并决策的问题。.Grossberg一直对人类的心理和认识活动感兴趣，他长期埋头于这方面的研究并希望用数学来刻划人类这项活动，建立人类的心理和认知活动的一种统一的数学模型和理论。ART就是由这种理论的核心内容并经过提高发展然后得出的。目前，ART理论已提出了三种模型结构，即ARTt，ART2，ART3。ART1用于处理二进制输入的信息；ART2用于处理二进制和模拟信息这两种输人；ART3用于进行分级搜索。ART理论可以用于语音、视觉、嗅觉和字符识别等领域。141ART模型的结构ART模型来源于H

3、elmboltz无意识推理学说的协作竞争网络交互模型。这个模型如图119所示。从图中看出这个模型由两个协作竞争模型组成。无意识推理学说认为：原始的感觉信息通过经历过的学习过程不断修改，直到成为一个真实的感知结果为止。在图119中协作竞争网络交互模型可以看出；环境输入信号和自上而下学习期望同时对协作竞争网络1执行输入；而自下而上学习是协作竞争网络1的输出；同时，自下而上学习是协作竞争网络2的输人而自上而下学习期望则是其输出。真实感知是通过这个协作竞争网络的学习和匹配产生的。环境输人信号对自上而下学习期望进行触发，使协作竞争网络1产生自下而上学习的输出。这种输出送到协作竞争网络2，则产生自上而下学

4、习期望输出，并送回协作竞争网络1。这个过程很明显是自上而下学习和自下而上学习的过程，并且这个过程中不断吸收环境输人信息。经过协作竞争的匹配，最终取得一致的结果；这也就是最终感知或谐振感知。协作竞争网络交互作用有下列基本要求：第一，交互作用是非局域性的；第二，交互作用是非线性的；第三，自上而下的期望学习是非平稳随机过程。图1-19 协作竞争网络交互模型受到协作竞争网络交互模型的启发Grossberg提出了ART理论模型。他认为对网络的自适应行为进行分析，可以建立连续非线性网络模型，这种网络可以由短期存储STM和长期存储LTM作用所实现。STM是指神经元的激活值即末由s函数处理的输出值，LTM是指

5、权系数。 Grossberg所提出的ART理论模型有如下一些主要优点：1可以进行实时学习，能适应非平稳的环境。2对于已经学习过的对象具有稳定的快速识别能力；同时，亦能迅速适应未学习的新对象。3具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时当作噪声处理。4不需要预先知道样本结果，是无监督学习；如果对环境作出错误反映则自动提高“警觉性”，迅速识别对象。5容量不受输入通道数的限制，存储对象也不要是正交的。ART的基本结构如图120所示。它由输入神经元和输出神经元组成。它用前向权系数及样本输入来求取神经元的输出，这个输出也就是匹配测度；具有最大匹配测度的神经元的活跃级通过输出神

6、经元之间的横向抑制得到进一步增强，而匹配测度不是最大的神经元的活跃级就会逐渐减弱，从输出神经元到输人神经元之间有反馈连接以进行学习比较。同样，还提供一个用来确定具有最大输出的输出神经元与输入模式进行比较的机制。ART模型的框图如图121所示。图1-20图1-21 ART模型它由两个子系统组成，一个称为注意子系统(Attcntional Subsystem)，一个称为取向子系统(Orienting Subsystem)，也称调整子系统。这两个子系统是功能互补的子系统。ART模型就是通过这两个子系统和控制机制之间的交互作用来处理熟悉的事件或不熟悉的事件。在注意子系统中，有F1，F2这两个用短期存储

7、单元组成的部件，即STM FI和STMF2。在FI和F2之间的连接通道是长期存储LTM。增益控制有两个作用：一个作用是在F1中用于区别自下而上和自上而下的信号；另一作用是当输入信号进入系统时，F2能够对来自F1的信号起阀值作用。调整子系统是由A和STM重置波通道组成。 注意子系统的作用是对熟悉事件进行处理。在这个子系统中建立熟悉事件对应的内部表示，以便响应有关熟悉事件；这在实际上是对STM中的激活模式进行编码。同时，在这个子系统中还产生一个从F2到F1的自上而下的期望样本，以帮助稳定己被学习了的熟悉事件的编码。调整子系统的作用是对不熟悉事件产生响应。在有不熟悉事件输入时，孤立的一个注意子系统无

8、法对不熟悉的事件建立新的聚类编码；故而设置一个调整子系统，当有不熟悉事件输入时，调整子系统马上产生重置波对F2进行调整，从而使注意子系统对不熟悉事件建立新的表达编码。实际上，当自下而上的输入模式和来自F2的自上而下的引发模式即期望在FI，中不匹配时，调整子系统就会发出一个重置波信号到F2，它重新选择F2的激活单元同时取消F2原来所发出的输出模式。简而言之，注意子系统的功能是完成由下向上的向量的竞争选择，以及完成由下向上向量和由上向下向量的相似度比较。而取向子系统的功能是检验期望向量v和输入向量I的相似程度；当相似度低于某一给定标准值时，即行取消该时的竞争优胜者，转而从其余类别中选取优胜者。AR

9、T模型就是由注意子系统和调整子系统共同作用，从而完成自组织过程的。1.4.2 ART的基本工作原理在ART模型中，其工作过程是采用2/3规则的。所谓2/3规则，就是在ART网络中，三个输入信号中要有二个信号起作用才能使神经元产生输出信号。ART网络的整个工作过程中，2/3规则都在起作用。在说明ART模型的工作原理之前，先介绍2/3规则。一、23规则考虑因121所示的ART模型，很明显在FI层中，有三个输入信号源：输入信号I，增益控制输入，自上而下的模式输人。所谓2/3规则，就是指F1中这三个输入信号对F1的激发作用和关系。23规则可以用图122所示的图形来说明。1自上而下的单输人情况这时的情况

10、如图122(a)所示。F1从三个输入信号源中，只接收来自F2的自上而下的引发模式。故而，FI中的三个输入信号源中，并没有二个输入信号源起作用；而只有一个输入信号源即来自F2的自上而下的引发模式。所以F1中的神经元不会被激活，F1的神经元不会产生信号输出。2自下而上的二输人情况这时的情况如图1盟(b)所示。这时，在F1的三个输入信号源中，有输入信号I进行输入并且有I通过增益控制后所产生的对F1的输入；由于这两个输入信号起作用，故而F1中的神经元被激活，F1能产生信号输出：3自下而上输入及自上而下引发模式输入的情况这时的情况如图122(c)所示。它说明了自下而上输入模式和自上而下的引发模式共同作用

11、于Fl的过程。这个过程也就是输入模式I和来自F2的自上而下的引发模式匹配过程。在这时，F2的输出信号会加到增益控制中对其中的输入信号I产生抑制作用，所以，增益控制不会产生信号送去Fl。在F1中，同时接收到自下而上输人信号以及自上而下的F2输出信号的神经元才会被激话；而只接收到其中一个信号的神经元则不会被激活。4模态竞争情况当注意子系统从一个模态向另一个模态转移时，在这个转移的瞬间中会禁止F1被激活；因为，这种是一个过渡过程，它不反映模式的实质内容。固Fl不能被激活。模态竞争的情况如图122(d)所示。图1-22 2/3规则二、ART模型的基本工作原理 在ART模型中，显然分为F1，F2两层神经

12、网络。对于注意子系统，F1和F2这两层的作用可以用图123表示。 图1-23 F1和F2层的信息处理Fl层接收输人模式I，则在F1中被转换成激活模式X，X由F1中的激活神经元表示，如图123中的长方形所示。这个模式x被短期存储在F1中。只有激活值足够高的神经元才能产生输出信号并通过连接传送到F2的神经元去。 在F1中，由x所产生的F1输出模式为S，S模式通过连接送到F2的神经元输入端。并在F2的神经元的输入端土产生一个和s不同的模式T。从s到T的转换称为自适应滤波。无论F1还是P2，其神经元是一般形式的神经元结构。一般而言，这些神经元的状态输入和输出并不相同。在F2层中模式T经过F2神经元的相

13、互作用会迅速地被转换。这个相互作用是对输入模式T的比较及除弱增强过程。其结果产生一个短期存储在F2中的模式Y，这也是F2的状态。在一般情况时，从T到Y这个比较，除弱增强的转换会使多个神经元处于激活状态。这时，这种转换结果变由F2中的多个神经元群来表达。这个转换过程自动地把F1的输入模式I划分到不相交的各个识别聚类中去，每个类对应于F2中的某个特征神经元。在特殊情况时，从T到Y的比较、除弱增强过程就是在F2中选择一个与当前输入I相对应的而输出值最大的神经元的过程。所选择的神经元就是用于表示激活模式的唯一神经为了说明ART模型的有关工作基本原理，下面分五点进行介绍：1自下而上的自适应滤波和STM中

14、的对比度增强过程。输入信号I加到注意子系统的F1的输入端，经过F1的节点变换成激活模式X，这一过程起到特征检出作用。在F1中，激活值较高的神经元就会有输出到F2的信号，并成为输出模式ss经过F1到F2的连接通道时受到加权组合(LTM)，变换成模式T后作用于F2的输入端。S到T的变换称为自适应滤波。F2接收到T后通过神经元间的相互作用迅速产生对比度增强了的激活模式Y，并且存储于F2中。如图124(a)所示。这个阶段的学习是一个变换系列：IXSTY2自上而下的学习期望匹配和对已学习编码的稳定。一旦当自下而上的变换XY完成之后Y就会产生自上而下的输出信号的模式u，并送向F1，只有激活值足够大的才会向

15、反馈通道送出信号u。 u经加权组合变换成模式v。v称为自上而下的模板，或学习期望。由于x和V这两个模式对F1输入，则它们的共同作用在F1中产生激活模式X*；般而言，x*和只由输入信号产生的x模式不同。这时，F1的作用就是试图使v和I匹配，其匹配结果确定了以后的作用过程。这时的情况如图124(b)所示。3注意子系统和取向子系统相互作用过程。这个过程和输入I有关。在图124(a)中，在输入模式I产生x的同时，也会激活取向子系统A；只是在A产生输出之前，F1中的x对A所产生的输出端就起禁止作用。当F2的反馈模式v与P1的输入模式失配时，就会大大减弱这一禁止作用，当减弱到一定的程度时，A就被激活。如图

16、124(c)所示。A被激活之后就向F2送出重置信号并作用于F2的全部神经元，从而改变F2的状态取消了原来的自上而下的学习期望V；终止了V和I的失配；于是输入I再次作用直到F2产生新的状态Y*。如图124(d)所示。Y*会产生新的自上而下的学习期望v*，如果v*仍然和I失配，那么，取向子系统A继续起作用；这样产生一个快速的一系列匹配与重置过程。这个过程控制LTM的搜索从调整了LW对外界环境的编码。这个过程一直执行下去，直到F2送出的模式v和输人I相互匹配为止。图1-24 ART模型的工作过程4需考虑的一些特点 在注意子系统的增益控制及起动这一自上而下的学习期望匹配过程中，还应考虑一些有关特点。例

17、如在F1输出向下而上的作用之前，F2已被激活，这时F2就会产生自上而下的学习期望并作用于Fl；这时则F1也会被激活，并产生自下而上的作用过程。显然，需要对来自外部输入的激活以及来自F2的反馈激活进行区分。所以，设置一个辅助机构进行区分激活来源的工作。这个辅助机构称为注意增益控制。为F2被激活时，注意起动机构会向F1选出学习期望信号，注意增益控制就会给出禁止作用，从而影响Fl对输入响应灵敏度，使得F1可以区分激活信号的来源。5.匹配采用2/3规则，以确定F1的输出。这实际上是把存储模式和输入模式进行匹配的规则。三、ART模型的工作过程在图121所示的ART结构中，F1可称为比较层，F2可称为识别

18、层。比较层F1接收输入模式I，初始时不作任何变动作为输出向量S送去识别层F2；此后，F1同时接受识别层输出的向量v和输人模式I，还有增益控制的输出，并按23规则产生输出。在初始时，增益控制的输出为I，而v设置为o，故有S等于输入I。识别层F2是用作输入向量分类器的。在识别层中，只有一个神经元和输入的向量s最优匹配，这个神经元就会被激活，而其它神经元则被抑制。根据神经元的结构原理，最优匹配规则如下：其中： S是输入F2的向量；s=(sl，s2，Sn)；w3是识别层中第j个神经元和比较层中神经元从F1一F2的权系数向量wj=(W1j，W2j.)，wc是识别层中最优匹配神经元c从FIF2的权系数向量

19、Wc(W1c，W2c)。应该注意：最优匹配神经元c到比较层神经元有从F2一FI的权系数向量Wc，Wr(Wc1,Wc2)很明显，Wc和Wc就组成了输入向量的类别样本；也即是权系数的形态表示一类模式。在识别层中，为了使一个神经元有最大输出值并取得竞争的优胜，并抑制其它神经元。故而识别层有横向连接，每个神经元的输出和正的权系数相乘后作本神经元的一个输入，而其它神经元的输出和负权系数相乘后再作为本神经元的输入。这种作用等于加强自身，抑制其它。从而保证了只有一个神经元被激活。这种情况如图125所示。图1-25 F2层的横向连接增益控制有两部分，它们的作用功能不同。识别层F2的增益控制输出原则为：只要输入

20、向量I有一个元素为1，则输出1。比较层F1的增益控制原则为：只要在I有一个元素为1，同时F2的输出向量U全部元素为0时，才输出1。 重置作用是在输入信号I和F1的输出s之间的匹配存在问题，差别大于某警戒值时则发清零信号到F2。以便重新进行识别。ART网络的学习分类分为三部，即识别，比较和搜索。下面作简要说明。1识别初始化时，网络无输人信号，故I全部元素为0；识别层F2增益控制输出为0；识别层F2输出全部为0。在有模式I输入后，I必有元素为1，故F1增益控制、F2增益控制均输出1；比较层F1按2/3规则全部复制I作为输出；S(s1，s2，Sn)。接着识别层F2的每个神经元j执行下面操作；从而求出

21、最优匹配神经元C：则神经元C输出1，其余输出U。这些输出送回比较层F1。F2输出的值为U(U1，U2)。找寻最优匹配神经元C的过程就是识别。2比较从识别层F2反馈到Fl的向量U不再全部为0，故而，F1增益控制输出0。按2/3规则，只有输人向量I及反馈向量U的元素同时为1所激励的神经元才会被激活。从另一个角度讲就是来自F2的反馈强迫输入向量I中那些不匹配存储模式u的S元素为0。如果I与U不匹配，则产生的S只有少数元素为1，这也说明模式U不是所要寻找的I模式。取向子系统对I和s的相符程度进行判别，如果低于结定的警戒值，则发出重置信号，使识别层F2激活的神经元清零；这也说明该神经元失去竞争的资格。则

22、到此这个阶段分类比较过程结束。如果I与U匹配，则输入模式I所属的类别已找到，分类结束。3搜索在I与U不匹配时，为了找到较好的匹配必须对其余的模式进行搜索。重置信号把识别层F2的神经元全部清0，则F1增益控制又输出1，网络返回到初始状态。输入模式I再进行输入，识别层的另一个神经元会取得优胜，则反馈一个新的存储模式U送回比较层F1。接着又进行匹配比较，如不匹配，则又重置识别层不断执行下去。搜索过程直到产生下列情况之一才会停止：(1)找到一个存储模式，在警戒值范围内和输入模式I匹配；则ART网络进入学习阶段。修正和匹配神经元C相关的权系数Wic和Wci。(2)搜索了全部模式后，没有一个模式能够和I相

23、似匹配；则网络也进人学习阶段。把原来来分配模式的神经元j赋于输人模式I，构造相应的权系数Wij和Wji，并作为样本模式存储。特别应指出的是：搜索过程是包含了识别和比较二个阶段的。搜索不过是识别比较识别比较的多次重复。严格来说，ART应分成搜索和学习这两种最主要的过程和功能。143ART模型的数学描述在ART模型中，F1或F2中的神经元用Nk表示，神经元被激活后产生的激活值用Xk表示，从神经生理学的研究结果，可以知道神经元的激活值，即神经元未经s函数处理的输出Xk满足下面的微分方程：(1-60)其中：e是远小于1的正实数； Jk+是送到神经元Nk的所有激励输入之和Jk-是送到神经元Nh的所有抑制

24、输入之和A，B，C是非负常数；Xk的取值范围为-BC-1，A-1一、F1层的数学描述用Ni表示F1的神经元，并且i=1，2，n，则有(1-61)很明显，有F1的激活模式X X=X1,X2,.Xn1.Ji+的形式由于F1神经元Nt的激励输入Ji+是自下而上的输入Ii以及自上而下的输入vi之和，故而有Ji+=Ii+Vi其中Ii是一个n维输入向量；I=I1,I2,In；这里，f(Xj)是F2中神经元Ni的输出，Wji是Nj到Ni的连接权系数；D1是系数。vv1，v2，vn，也是n维间量。2.Ji-的形式对F1层，抑制输入Ji-是由注意子系统增益控制信号来控制，即j=n+1,n+2,.,n+m当且仅当

25、F2的激活值很高时，Ji-0，否则Ji-0。 二、F2层的数学描述用Nj表示F2的神经元并且jn+1，n+2，n+m，则有：(1-62)则有F2的激活模式Y Y=Xn+1,Xn+2,.Xn+m选择F2中的激活模式的输入和参数，使到F2中具有来自F1的最大输入的神经元取得竞争的胜利。故而对Jj+和Jj-考虑应有如下形式：1.Jj+的形式Jj+=g(Xj)+Tj其中：g(xj)为Nj的自反馈信号；Tj是从F1来的到F2的输入模式；，这里的h(xi)是F中神经元Ni的输出，D2是系数；Wij是F1到F2的神经元的连接权系数。2.Jj-的形式对应于图124中的情况，可以看出向量S，T，U，V的关系，并且有S=h(X1),h(X2),.,h(Xn)T=Tn+1,Tn+2,.,Tn+mU=f(Xn+1),f(Xn+2),.,h(Xn+m)V=V1,V2,.,Vn并且有 I=I1,I2,.,In