第5章Hopfield神经网络与联想记忆.ppt

1、第第5章章Hopfield神经网络与联想记忆神经网络与联想记忆n5.0前言前言n5.1神经动力学神经动力学n5.2离散离散Hopfield神经网络神经网络n5.3连续连续Hopfield神经网络神经网络n5.4联想记忆联想记忆n5.5最优化计算最优化计算n5.6仿真实例仿真实例5.0前言前言n对于所介绍的前向网络，对于所介绍的前向网络，n从从学习的观点学习的观点来看，它是一个强有力的学习系统，来看，它是一个强有力的学习系统，系统结构简单、易于编程；系统结构简单、易于编程；n从从系统的观点系统的观点来看，它是一个静态非线性映射，通来看，它是一个静态非线性映射，通过简单非线性处理单元的复合映射可获

2、得复杂系统过简单非线性处理单元的复合映射可获得复杂系统的非线性处理能力；的非线性处理能力；n从从计算的观点计算的观点来看，它并不是一强有力系统，缺乏来看，它并不是一强有力系统，缺乏丰富的动力学行为。丰富的动力学行为。n反馈神经网络反馈神经网络是一个反馈动力学系统，具有更强的计是一个反馈动力学系统，具有更强的计算能力。算能力。1982年年J.Hopfield提出的单层全互连含有对提出的单层全互连含有对称突触连接的反馈网络是最典型的反馈网络模型。称突触连接的反馈网络是最典型的反馈网络模型。Hopfield用能量函数的思想形成了一种新的计算方法，用能量函数的思想形成了一种新的计算方法，阐明了神经网络

3、与动力学的关系，并用非线性动力学阐明了神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的特性，建立了神经网络的方法来研究这种神经网络的特性，建立了神经网络稳定性判据，并指出信息存储在网络中神经元之间的稳定性判据，并指出信息存储在网络中神经元之间的连接上，形成了所谓的连接上，形成了所谓的离散离散Hopfield网络网络。n1984年，年，Hopfield设计与研制了设计与研制了Hopfield网络模型的网络模型的电路，指出神经元可以用运算放大器来实现，所有神电路，指出神经元可以用运算放大器来实现，所有神经元的连接可用电子线路来模拟，称之为经元的连接可用电子线路来模拟，称之为连续连

4、续Hopfield网络网络。n连续连续Hopfield网络成功的解决了旅行商网络成功的解决了旅行商（TravelingSalesmanProblem，TSP）计算难题（优化问题）。计算难题（优化问题）。nHopfield网络是神经网络发展历史上的一个重要的里网络是神经网络发展历史上的一个重要的里程碑。程碑。5.1神经动力学神经动力学 n1989年年Hirsch把把神神经经网网络络看看成成是是一一种种非非线线性性动动力力学学系统，称为神经动力学（系统，称为神经动力学（Neurodynamics）。n确定性神经动力学确定性神经动力学将神经网络作为确定性行为，在将神经网络作为确定性行为，在数学上用非

5、线性微分方程的集合来描述系统的行为，数学上用非线性微分方程的集合来描述系统的行为，方程解为确定的解。方程解为确定的解。n统计性神经动力学统计性神经动力学将神经网络看成被噪声所扰动，将神经网络看成被噪声所扰动，在数学上采用随机性的非线性微分方程来描述系统在数学上采用随机性的非线性微分方程来描述系统的行为，方程的解用概率表示。的行为，方程的解用概率表示。神经动力学神经动力学n动力学系统是状态随时间变化的系统。令动力学系统是状态随时间变化的系统。令v1(t),v2(t),vN(t)表示非线性动力学系统的状态变量，其中表示非线性动力学系统的状态变量，其中t 是独立的连续时间变量，是独立的连续时间变量，

6、N 为系统状态变量的维数。为系统状态变量的维数。大型的非线性动力学系统的动力特性可用下面的微大型的非线性动力学系统的动力特性可用下面的微分方程表示：分方程表示：n函数是包含自变量的非线性函数。为了表述方函数是包含自变量的非线性函数。为了表述方便可将这些状态变量表示为便可将这些状态变量表示为一个一个N1维的向量，称维的向量，称为系统的为系统的状态向量状态向量.n可用向量形式表示系统的状态方程：可用向量形式表示系统的状态方程：n如果满足：如果满足：则称矢量则称矢量为系统的稳态或为系统的稳态或平衡态。平衡态。nN维向量所处的空间称为维向量所处的空间称为状态空间状态空间，状态空间通常状态空间通常指的是

7、欧氏空间，当然也可以是其子空间，或是类指的是欧氏空间，当然也可以是其子空间，或是类似圆、球、圆环和其他可微形式的非欧氏空间。似圆、球、圆环和其他可微形式的非欧氏空间。n如果一个非线性动力系统的向量函数如果一个非线性动力系统的向量函数F(V(t)隐含地隐含地依赖于时间依赖于时间t，则此系统称为则此系统称为自治系统自治系统，否则不是自，否则不是自治的。治的。稳定性和收敛性的定义稳定性和收敛性的定义:n定义定义1平衡态平衡态在满足下列条件时是一致稳定的，在满足下列条件时是一致稳定的，对任意的正数对任意的正数，存在正数，存在正数,当当。时，对所有的时，对所有的均均有：有：nn定义定义2若平衡态若平衡态

8、是收敛的，存在正数是收敛的，存在正数，满足满足，则当，则当时时。、。、定义定义n定定义义3若若平平衡衡态态是是稳稳定定的的、收收敛敛的的，则则该该平平衡衡态被称为渐进稳定。态被称为渐进稳定。n定定义义4若若平平衡衡态态是是稳稳定定的的，且且当当时时间间t 趋趋向向于于无无穷穷大大时时，所所有有的的系系统统轨轨线线均均收收敛敛于于，则则此此平平衡态是渐进稳定的或全局渐进稳定的。衡态是渐进稳定的或全局渐进稳定的。稳定性和渐进稳定性定理稳定性和渐进稳定性定理 nLyapunov定理定理：n定定理理1若若在在平平衡衡态态的的小小邻邻域域内内存存在在有有界界正正函函数数E(V)，该该函函数数对对时时间间

9、的的导导数数在在区区域域中中是是有有界界非非正正函函数，则数，则是稳定的。是稳定的。n定理定理2若在平衡态若在平衡态的小邻域内存在有界正函数的小邻域内存在有界正函数E(V)，该函数对时间的导数在区域中是有界负函数，该函数对时间的导数在区域中是有界负函数，则则是渐进稳定的。是渐进稳定的。n满足上述条件的标量函数满足上述条件的标量函数E(V)称为平衡态的称为平衡态的Lyapunov函数。函数。性和渐进稳定性，其定理如下：性和渐进稳定性，其定理如下：n这些定理要求这些定理要求Lyapunov函数函数E(V)是有界正函数是有界正函数，这，这样的函数定义如下：函数样的函数定义如下：函数E(V)在状态空间

10、在状态空间中是有中是有界正函数，则对所有的界正函数，则对所有的满足下列条件：满足下列条件：（1）函数函数E(V)关于状态向量关于状态向量V中的每个元素是中的每个元素是连续偏连续偏导的；导的；（2）（3）if。n若若E(V)是是Lyapunov函数，函数，(定理定理1)如果如果n则平衡态则平衡态是稳定的是稳定的.n(定理定理2)如果如果n则平衡态则平衡态是渐进稳定的。是渐进稳定的。5.2离散离散Hopfield神经网络神经网络n5.2.1离散离散Hopfield网络模型网络模型n5.2.2离散离散Hopfield网络运行规则网络运行规则5.2.1离散离散Hopfield网络模型网络模型n离离散散

11、Hopfield网网络络是是单单层层全全互互连连的的，其其表表现形式有两种。现形式有两种。图图5.1Hopfield神经网络结构神经网络结构n神神经经元元可可取取二二值值0/1或或-1/1，其其中中的的任任意意神神经经元元i与与j间间的的突突触触权权值值为为Wij，神神经经元元之之间间联联接接是是对对称称的的，即即Wij=Wji，神神经经元元自自身身无无联联接接,即即Wii=0。虽虽然然神神经经元元自自身身无无联联接接，但但每每个个神神经经元元都都同同其其它它的的神神经经元元相相连连，即即每每个个神神经经元元都都将将其其输输出出通通过过突突触触权权值值传传递递给给其其它它的的神神经经元元，同同

12、时时每每个个神神经经元元又又都都接接收收其其它它神神经经元元传传来来的的信信息息，这这样样对对于于每每个个神神经经元元来来说说，其其输输出出信信号号经经过过其其它它神神经经元元后后又又有有可可能能反反馈馈给给自自己己，所所以以Hopfield网网络络是一种是一种反馈神经网络反馈神经网络。nHopfield网网络络中中有有个个n神神经经元元，其其中中任任意意神神经经元元i的的输输入入用用ui表表示示，输输出出用用vi表表示示，它它们们都都是是时时间间的的函函数数，其其中中vi(t)也也称称为为神神经经元元i 在在t 时刻的状态。时刻的状态。n相应神经元相应神经元i的输出或状态为：的输出或状态为：

13、nn其中的激励函数其中的激励函数f()可取阶跃函数可取阶跃函数u(t)或符号函数或符号函数Sgn(t)。如取符号函数，则如取符号函数，则Hopfield网络的神经元网络的神经元的输出的输出vi(t+1)取离散值取离散值1或或-1，即：，即：n5.2.2离散离散Hopfield网络运行规则网络运行规则nHopfield网络按动力学方式运行，其工作过程为状网络按动力学方式运行，其工作过程为状态的演化过程，即从初始状态按态的演化过程，即从初始状态按“能量能量”减小的减小的方向进行演化，直到达到稳定状态，稳定状态即方向进行演化，直到达到稳定状态，稳定状态即为网络的输出。为网络的输出。nHopfield

14、网络的工作方式主要有两种形式：网络的工作方式主要有两种形式：（1）串串行行（异异步步）工工作作方方式式：在在任任一一时时刻刻t，只只有有某某一一神神经经元元i（随随机机的的或或确确定定的的选选择择）依依上上式式变变化化，而其他神经元的状态不变。而其他神经元的状态不变。（2）并并行行（同同步步）工工作作方方式式：在在任任一一时时刻刻t，部部分分神神经元或全部神经元的状态同时改变。经元或全部神经元的状态同时改变。n下下面面以以串串行行（异异步步）工工作作方方式式说说明明Hopfied网网络络的的运行步骤：运行步骤：n第一步：第一步：对网络进行初始化；对网络进行初始化；n第二步：第二步：从网络中随机

15、选取一个神经元从网络中随机选取一个神经元i；n第三步：第三步：求出该神经元求出该神经元i的输入的输入n第第四四步步：求求出出该该神神经经元元i的的输输出出，此此时时网网络络中中的的其其它神经元的输出保持不变；它神经元的输出保持不变；n第第五五步步：判判断断网网络络是是否否达达到到稳稳定定状状态态，若若达达到到稳稳定定状状态态或或满满足足给给定定条条件件，则则结结束束；否否则则转转到到第第二二步步继继续运行。续运行。n这这里里网网络络的的稳稳定定状状态态定定义义为为：若若网网络络从从某某一一时时刻刻以以后，状态不再发生变化，则称网络处于稳定状态。后，状态不再发生变化，则称网络处于稳定状态。nnH

16、opfield网网络络存存在在稳稳定定状状态态，则则要要求求Hopfield网网络络模模型满足如下条件：型满足如下条件：n网络为对称连接，即网络为对称连接，即wij=wji；n神经元自身无联接即神经元自身无联接即wii=0。n在满足以上参数条件下，在满足以上参数条件下，Hopfield网络网络“能量函数能量函数”（Lyapunov函数）的函数）的“能量能量”在网络运行过程中在网络运行过程中应不断地降低，最后达到稳定的平衡状态。应不断地降低，最后达到稳定的平衡状态。nHopfield网络的网络的“能量函数能量函数”定义为：定义为：nHopfield反馈网络是一个反馈网络是一个非线性动力学系统非线

17、性动力学系统，Hopfield网络按动力学方式运行，即按网络按动力学方式运行，即按“能量函数能量函数”减小的减小的方向进行演化，直到达到稳定状态。因而方向进行演化，直到达到稳定状态。因而上式所定义的上式所定义的“能量函数能量函数”值应值应单调减小单调减小。n为说明这一问题，可考虑网络中的任意神经元为说明这一问题，可考虑网络中的任意神经元i，其其能量函数能量函数为：为：n从从t时刻至时刻至t+1时刻的能量变化量为：时刻的能量变化量为：因为因为所以所以n因因为为神神经经元元i为为网网络络中中的的任任意意神神经经元元，而而网网络络中中的的所所有有神神经经元元都都按按同同一一规规则则进进行行状状态态更

18、更新新，所所以以网网络络的能量变化量应小于等于零的能量变化量应小于等于零，即：，即：n所所以以在在满满足足参参数数条条件件下下，Hopfield网网络络状状态态是是向向着着能能量量函函数数减减小小的的方方向向演演化化。由由于于能能量量函函数数有有界界，所所以以系系统统必必然然会会趋趋于于稳稳定定状状态态，该该稳稳定定状状态态即即为为Hopfield网络的输出网络的输出。n能能量量函函数数的的变变化化曲曲线线如如图图5-2所所示示，曲曲线线含含有有全全局局最最小小点点和和局局部部最最小小点点。将将这这些些极极值值点点作作为为记记忆忆状状态态，可可将将Hopfield网网络络用用于于联联想想记记忆

19、忆；将将能能量量函函数数作作为为代代价价函函数数，全全局局最最小小点点看看成成最最优优解解，则则Hopfield网网络可用于最优化计算。络可用于最优化计算。图图5-2能量函数局部极小值图示能量函数局部极小值图示5.3连续连续Hopfield神经网络神经网络n5.3.1连续连续Hopfield网络模型网络模型n5.3.2连续连续Hopfield网络分析网络分析5.3.1连续连续Hopfield网络模型网络模型n1984年年Hopfield采用模拟电子线路实现了采用模拟电子线路实现了Hopfield网网络，该网络中神经元的络，该网络中神经元的激励函数为连续函数激励函数为连续函数，所以，所以该网络也

20、被称为该网络也被称为连续连续Hopfield网络网络。在连续。在连续Hopfield网络中，网络的输入、输出均为模拟量，网络中，网络的输入、输出均为模拟量，各神经元采用并行（同步）工作方式。各神经元采用并行（同步）工作方式。利用这一特利用这一特征征Hopfield将该网络应用于优化问题的求解上，并将该网络应用于优化问题的求解上，并成功地解决了成功地解决了TSP问题。问题。图图5-3连续连续Hopfield神经网络模型神经网络模型nHopfield神经网络中的每个神经元都是由运算放大神经网络中的每个神经元都是由运算放大器及其相关的电路组成，其中任意一个运算放大器器及其相关的电路组成，其中任意一个

21、运算放大器i（或神经元或神经元i）都有两组输入：都有两组输入：n第一组是恒定的外部输入，用第一组是恒定的外部输入，用Ii表示，这相当于放表示，这相当于放大器的电流输入；大器的电流输入；n第二组是来自其它运算放大器的反馈连接，如：其第二组是来自其它运算放大器的反馈连接，如：其中的另一任意运算放大器中的另一任意运算放大器j（或神经元或神经元j），），用用wij表表示，这相当于神经元示，这相当于神经元i与神经元与神经元j之间的联接权值。之间的联接权值。ui表示运算放大器表示运算放大器i的输入电压，的输入电压，vi表示运算放大器表示运算放大器i的的输出电压。输出电压。其中的激励函数其中的激励函数f()

22、常取双曲线正切函数，即：常取双曲线正切函数，即：n其中其中为曲线在原点的斜率，即：为曲线在原点的斜率，即：nn因此，称因此，称为运算放大器为运算放大器i（或神经元或神经元i）的增益。的增益。n激励函数激励函数f()的反函数为的反函数为f-1()为：为：图图5-4激励函数及反函数波形激励函数及反函数波形n对于连续对于连续Hopfield神经网络模型，根据基尔霍夫电神经网络模型，根据基尔霍夫电流定律有：流定律有：n与与 离离 散散 Hopfield神神 经经 网网 络络 相相 同同，连连 续续Hopfield网网络络的的突突触触权权值值是是对对称称的的，且且无无自自反馈，即：反馈，即：wij=wj

23、i wii=0。n对对 于于 连连 续续 Hopfield神神 经经 网网 络络 模模 型型 其其 能能 量量（Lyapunov）函数定义如下：函数定义如下：n该能量函数该能量函数E是是单调下降单调下降的的，连连续续Hopfield网网络络模模型型是稳定的。是稳定的。n连连续续Hopfield网网络络模模型型突突出出了了生生物物系系统统神神经经计计算算的的主主要特性，如：要特性，如：（1）连连续续Hopfield网网络络的的神神经经元元作作为为I/O变变换换，其其传传输输特性具有特性具有Sigmoid特性；特性；（2）具有时空整合作用；具有时空整合作用；（3）在在神神经经元元之之间间存存在在着

24、着大大量量的的兴兴奋奋性性和和抑抑制制性性联联接接，这种联接主要是通过反馈来实现；这种联接主要是通过反馈来实现；（4）具具有有既既代代表表产产生生动动作作电电位位的的神神经经元元，又又有有代代表表按按渐渐进进方方式式工工作作的的神神经经元元。即即保保留留了了动动态态和和非非线线性性两两个最重要的计算特性。个最重要的计算特性。5.4联想记忆联想记忆n5.4.1联想记忆的基本概念联想记忆的基本概念n5.4.2Hopfield联想记忆网络联想记忆网络n5.4.3Hopfield联想记忆网络的运行步骤联想记忆网络的运行步骤n5.4.4联想记忆网络的改进联想记忆网络的改进5.4.1联想记忆的基本概念联想

25、记忆的基本概念n联想记忆联想记忆(AssociativeMemory，AM)是神经网络是神经网络理论的一个重要组成部分，也是神经网络用于智能理论的一个重要组成部分，也是神经网络用于智能控制、模式识别与人工智能等领域的一个重要功能。控制、模式识别与人工智能等领域的一个重要功能。它主要利用神经网络的良好容错性，能使不完整的、它主要利用神经网络的良好容错性，能使不完整的、污损的、畸变的输入样本恢复成完整的原型，适于污损的、畸变的输入样本恢复成完整的原型，适于识别、分类等用途。识别、分类等用途。nHopfield网络模拟了生物神经网络的记忆功能，也网络模拟了生物神经网络的记忆功能，也常常被称为联想记忆

26、网络。常常被称为联想记忆网络。n人类具有联想的功能，可以从一种事物联系到与其人类具有联想的功能，可以从一种事物联系到与其相关的事物或其它事物。相关的事物或其它事物。n人工神经网络是对生物神经网络的模拟也具有联想人工神经网络是对生物神经网络的模拟也具有联想的功能。人工神经网络的联想就是指系统在给定一的功能。人工神经网络的联想就是指系统在给定一组刺激信号的作用下，该系统能联系出与之相对应组刺激信号的作用下，该系统能联系出与之相对应的信号。联想是以记忆为前提的，即首先信息存储的信号。联想是以记忆为前提的，即首先信息存储起来，再按某种方式或规则将相关信息取出。联想起来，再按某种方式或规则将相关信息取出

27、。联想记忆的过程就是信息的存取过程。记忆的过程就是信息的存取过程。n所谓的联想记忆也称为所谓的联想记忆也称为基于内容的存取基于内容的存取（Content-addressedmemory），），信息被分布于生物记忆的内信息被分布于生物记忆的内容之中，而不是某个确定的地址。容之中，而不是某个确定的地址。（1）信信息息的的存存贮贮是是按按内内容容存存贮贮记记忆忆的的(contentaddressablememoryCAM)，而而传传统统的的计计算算机机是是基基于于地地址址存存贮贮的的（AddressableMemory）即即一一组组信信息息对应着一定的存储单元。对应着一定的存储单元。（2）信息的存贮

28、是分布的，而不是集中的。信息的存贮是分布的，而不是集中的。联想记忆的分类联想记忆的分类n联联想想记记忆忆可可分分为为自自联联想想与与异异联联想想。Hopfield网网络络属属于自联想。于自联想。(1)自联想记忆自联想记忆(Auto-AssociativeMemory)自自联联想想能能将将网网络络中中输输入入模模式式映映射射到到存存贮贮在在网网络络中中不不同同模模式式中中的的一一种种。联联想想记记忆忆网网络络不不仅仅能能将将输输入入模模式式映映射射为为自自己己所所存存贮贮的的模模式式，而而且且还还能能对对具具有有缺缺省省/噪音的输入模式有一定的容错能力。噪音的输入模式有一定的容错能力。n设设在在

29、学学习习过过程程中中给给联联想想记记忆忆网网络络存存入入M个个样样本本：Xii=1,2,M。若若给给联联想想记记忆忆网网络络加加以以输输入入X=Xm+V，其其中中Xm是是M个个学学习习样样本本之之一一，V是是偏偏差差项项（可可代代表表噪噪声声、缺缺损损与与畸畸变变等等），通通过过自自联联想想联联想想记记忆忆网网络络的的输输出出为为Xm，即即使使之之复复原原（比比如如，破破损损照照片片完整照片）。完整照片）。n一一般般情情况况下下，自自联联想想的的输输入入与与输输出出模模式式具具有有相相同同的的维数。维数。（2）异联想记忆）异联想记忆(hetero-associativememory）n最最早早

30、的的异异联联想想网网络络模模型型是是Kosko的的双双向向联联想想记记忆忆神神经经网网络络。异异联联想想网网络络在在受受到到具具有有一一定定噪噪音音的的输输入入模模式式激激发时，能通过状态的演化联想到原来样本的模式对。发时，能通过状态的演化联想到原来样本的模式对。n假假定定两两组组模模式式对对之之间间有有一一定定对对应应关关系系，(如如：某某人人照照片片某某人人姓姓名名)，i=1,2,M。若若给给联联想想记记忆忆网网络络加加以以输输入入,比比如如为为某某人人的的破破损损照照片片，通通过过异异联联想想联联想想记记忆忆网网络络的的输输出出为为,即即得得到到某某人人的的姓姓名。名。联想记忆的工作过程

31、联想记忆的工作过程n联联想想记记忆忆的的工工作作过过程程分分为为两两个个阶阶段段一一是是记记忆忆阶阶段段，也也称称为为存存储储阶阶段段或或学学习习阶阶段段；二二是是联联想想阶阶段段，也也称为恢复阶段或回忆阶段。称为恢复阶段或回忆阶段。（1）记忆阶段记忆阶段 在在记记忆忆阶阶段段就就是是通通过过设设计计或或学学习习网网络络的的权权值值，使使网网络络具具有有若若干干个个稳稳定定的的平平衡衡状状态态，这这些些稳稳定定的的平衡状态也称为平衡状态也称为吸引子吸引子（Attractor）。n吸引子有一定的吸引子有一定的吸引域吸引域（BasinofAttraction）。）。n吸引子的吸引域就是能够稳定该吸

32、引子的所有初始吸引子的吸引域就是能够稳定该吸引子的所有初始状态的集合，吸引域的大小用状态的集合，吸引域的大小用吸引半径吸引半径来描述，吸来描述，吸引半径可定义为：吸引域中所含所有状态之间的最引半径可定义为：吸引域中所含所有状态之间的最大距离或吸引子所能吸引状态的最大距离。大距离或吸引子所能吸引状态的最大距离。n吸引子也就是联想记忆网络吸引子也就是联想记忆网络能量函数的极值点能量函数的极值点。记记忆过程忆过程就是将要记忆和存储的模式设计或训练成网就是将要记忆和存储的模式设计或训练成网络吸引子的过程。络吸引子的过程。图图5-5吸引子与吸引域示意图吸引子与吸引域示意图n（2）联想阶段）联想阶段联联想

33、想过过程程就就是是给给定定输输入入模模式式，联联想想记记忆忆网网络络通通过过动动力力学学的的演演化化过过程程达达到到稳稳定定状状态态，即即收收敛敛到到吸吸引引子子，回忆起已存储模式的过程。回忆起已存储模式的过程。图图5.6联想记忆网络的能量函数联想记忆网络的能量函数图图5.7联想过程简化示意图联想过程简化示意图n吸引子的数量代表着吸引子的数量代表着AM的的记忆容量记忆容量（MemoryCapacity）或或存储容量存储容量（StorageCapacity），），存储存储容量就是在一定的联想出错概率容限下，网络中存容量就是在一定的联想出错概率容限下，网络中存储互不干扰样本的最大数目。储互不干扰样

34、本的最大数目。n存储容量与联想记忆的允许误差、网络结构、学习存储容量与联想记忆的允许误差、网络结构、学习方式以及网络的设计参数有关。方式以及网络的设计参数有关。nAM的吸引子越多，则网络的存储容量就越大。的吸引子越多，则网络的存储容量就越大。n吸引子具有一定的吸引域，吸引域是衡量网络容错吸引子具有一定的吸引域，吸引域是衡量网络容错性的指标，吸引域越大网络的容错性能越好，或者性的指标，吸引域越大网络的容错性能越好，或者说网络的联想能力就越强。说网络的联想能力就越强。5.4.2Hopfield联想记忆网络联想记忆网络nHopfield网网络络是是一一神神经经动动力力学学系系统统，具具有有稳稳定定的

35、的平平衡衡状状态态，即即存存在在着着吸吸引引子子，因因而而Hopfield网网络络具具有有AM功能。功能。n将将Hopfield网网络络作作为为AM需需要要设设计计或或训训练练网网络络的的权权值值，使吸引子存储记忆模式。使吸引子存储记忆模式。n常常用用的的设设计计或或学学习习算算法法有有：外外积积法法（OuterProductMethod）、投投 影影 学学 习习 法法（Projection LearningRule）、伪伪逆逆法法（PseudoInverseMethod）以以及及特特征征结构法（结构法（EigenStructureMethod）等。等。n考虑离散考虑离散Hopfield网络的

36、联想记忆功能。网络的联想记忆功能。n设设网网络络有有N个个神神经经元元，每每个个神神经经元元均均取取1或或-1二二值值，则则网网络络共共有有2N个个状状态态，这这2N个个状状态态构构成成离离散散状状态态空空间间。设在网络中存储。设在网络中存储m个个n维的记忆模式（维的记忆模式（mn）：）：n n采用采用外积法外积法设计网络的权值使这设计网络的权值使这m个模式是网络个模式是网络2N个状态空间中的个状态空间中的m个稳定状态。个稳定状态。n其中的其中的1/N作为调节比例的常量。作为调节比例的常量。离散离散Hopfield网络的权值满足如下条件：网络的权值满足如下条件：wij=wji；wii=0，则有

37、：则有：用矩阵形式表示用矩阵形式表示：n以以上上是是离离散散Hopfield网网络络的的存存储储记记忆忆过过程程，下下面面再再看看其联想回忆过程。其联想回忆过程。n从从所所记记忆忆的的m个个模模式式中中任任选选设设一一模模式式Ul，经经过过编编码码可可使使其其元元素素取取值值为为1和和-1。设设离离散散Hopfield网网络络中中神神经经元元的的偏偏差差均均为为零零。将将模模式式Ul加加到到该该离离散散Hopfield网网络络，假定记忆模式矢量彼此是正交的，则网络的状态为：假定记忆模式矢量彼此是正交的，则网络的状态为：n n n状态的演化为：状态的演化为：可见网络稳定在模式可见网络稳定在模式U

38、l。5.4.3Hopfield联想记忆网络运行步骤联想记忆网络运行步骤 n第第一一步步：设设定定记记忆忆模模式式。将将欲欲存存储储的的模模式式进进行行编编码码，得到取值为得到取值为1和和-1的记忆模式（的记忆模式（mn）:n第二步：第二步：设计网络的权值。设计网络的权值。n其中其中一旦计算完毕，将保持不变；一旦计算完毕，将保持不变；联想记忆网络运行步骤（续）联想记忆网络运行步骤（续）n第三步：第三步：初始化网络状态。将欲识别模式初始化网络状态。将欲识别模式设设为为网网络络状状态态的的初初始始状状态态，即即：，是是网网络络中中任任意意神神经经元元i在在t=0时刻的状态；时刻的状态；n第四步：第四

39、步：迭代收敛。随机地更新某一神经元的状态迭代收敛。随机地更新某一神经元的状态反复迭代直至网络中所有神经元的状态不变为止反复迭代直至网络中所有神经元的状态不变为止；n第第五五步步：网网络络输输出出。这这时时的的网网络络状状态态（稳稳定定状状态态），即为网络的输出即为网络的输出y=vi(T)。几点说明几点说明：n以上所介绍的以上所介绍的Hopfield联想记忆网络的激励函数为联想记忆网络的激励函数为符号函数，即神经元的状态取符号函数，即神经元的状态取1和和-1的情况。对于的情况。对于联想记忆网络的激励函数为阶跃函数，即神经元的联想记忆网络的激励函数为阶跃函数，即神经元的状态取状态取1和和0时，相应

40、的公式有所变化。时，相应的公式有所变化。nHopfield联想记忆网络的联想记忆网络的记忆容量记忆容量就是在一定的联就是在一定的联想出错概率容限下，网络中存储互不干扰样本的最想出错概率容限下，网络中存储互不干扰样本的最大数目。记忆容量大数目。记忆容量反映所记忆的模式反映所记忆的模式m和神经元和神经元的数目的数目N之间的关系：之间的关系：=m/N。记忆记忆m个模式所需个模式所需的神经元数的神经元数N=m/，联接权值数目为（联接权值数目为（m/）2，若若增加一倍，联接权值数目降为原来的增加一倍，联接权值数目降为原来的1/4，这是一，这是一对矛盾。在技术实现上也是很困难的。实验和理论对矛盾。在技术实

41、现上也是很困难的。实验和理论研究表明研究表明Hopfield联想记忆网络记忆容量的上限为联想记忆网络记忆容量的上限为0.15N。nHopfieldAM网络存在网络存在伪状态伪状态（SpuriousStates），），伪状态是指除记忆状态之外网络多余的稳定状态。伪状态是指除记忆状态之外网络多余的稳定状态。n要构成一个对所有输入模式都很合适的要构成一个对所有输入模式都很合适的Hopfield联想联想记忆网络需要满足的条件是很苛刻的。所记忆的模式记忆网络需要满足的条件是很苛刻的。所记忆的模式m过大，权值矩阵过大，权值矩阵W中会存在若干个相同的特征值；中会存在若干个相同的特征值；所记忆的模式所记忆的模

42、式m小于神经元的数目小于神经元的数目N，权值矩阵权值矩阵W中中会存在若干个会存在若干个0，构成所谓的零空间。零空间存在于，构成所谓的零空间。零空间存在于网络中，零空间是网络中，零空间是Hopfield网络的一个固有特性。网络的一个固有特性。nHopfield联想记忆网络不可避免地存在着伪状态。联想记忆网络不可避免地存在着伪状态。5.4.4联想记忆的改进联想记忆的改进n联想记忆网络的联想记忆网络的基本要求基本要求，就是：，就是：（1）联想记忆网络须具有较大的记忆容量；联想记忆网络须具有较大的记忆容量；（2）网络联想记忆须具有一定的容错性，即网络联想记忆须具有一定的容错性，即 吸引吸引子要有一定的

43、吸引域；子要有一定的吸引域；（3）是技术可实现的。是技术可实现的。n三者是一个统一的整体，而容错性则是其核心，三者是一个统一的整体，而容错性则是其核心，没有容错性就谈不上联想，容错性的优劣是由各没有容错性就谈不上联想，容错性的优劣是由各吸引子吸引域的大小与形状所决定的。吸引子吸引域的大小与形状所决定的。n为此可从系统的三个方面考虑：为此可从系统的三个方面考虑：(1)调调节节系系统统的的动动力力学学特特性性，但但为为了了利利用用系系统统的的并并行性，同步动力学是必要的；行性，同步动力学是必要的；(2)改变网络权值矩阵的设计或学习算法，如：除改变网络权值矩阵的设计或学习算法，如：除采用外积法外还可

44、考虑采用投影学习法、伪逆法采用外积法外还可考虑采用投影学习法、伪逆法或特征结构法等等。这些方法都是人为设定的，或特征结构法等等。这些方法都是人为设定的，因有较好的性能而常被采用。因有较好的性能而常被采用。(3)修改神经元的激励函数。对于激励函数常用的修改神经元的激励函数。对于激励函数常用的是符号函数，也可采用连续单调函数作为激励函数，是符号函数，也可采用连续单调函数作为激励函数，即采用连续的即采用连续的Hopfield网络，连续型网络，连续型Hopfield网络网络对于高维系统建立的是高阶非线性微分方程，这是对于高维系统建立的是高阶非线性微分方程，这是非常难以模拟和实现的。而取二值或多值的离散

45、型非常难以模拟和实现的。而取二值或多值的离散型Hopfield网络，通过合适长度的二进制编码，可以网络，通过合适长度的二进制编码，可以任意精度表示任意实数，而且所占用的存储空间较任意精度表示任意实数，而且所占用的存储空间较小。小。5.5最优化计算最优化计算n5.5.1Hopfield与最优化计算与最优化计算n5.5.2Hopfield最优化计算实例最优化计算实例5.5.1Hopfield与最优化计算与最优化计算n组合优化组合优化就是在给定约束条件下，求出使目标函就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合问题。数极小（或极大）的变量组合问题。nHopfield神经网络在对于解决

46、组合优化问题也有许神经网络在对于解决组合优化问题也有许多用途。多用途。n将将Hopfield神经网络应用于求解组合优化问题，就神经网络应用于求解组合优化问题，就是是把目标函数转化为网络的能量函数，把问题的把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态，当网络的能量函数收敛变量对应于网络的状态，当网络的能量函数收敛于极小值时，网络的状态就对应于问题的最优解。于极小值时，网络的状态就对应于问题的最优解。5.5.2Hopfield最优化计算实例最优化计算实例nHopfield求解求解TSP(TravelingSalsemanProblem).n其命题与问题如下：其命题与问题如下：n命命

47、题题：假假定定有有n个个城城市市它它们们之之间间的的相相互互距距离离分分别别为：为：n问题是寻找一条闭合路经，此路径历经每个城市问题是寻找一条闭合路经，此路径历经每个城市且仅经过一次，返回起始城市。要求此路径长度且仅经过一次，返回起始城市。要求此路径长度最短。最短。n对于对于n个城市的个城市的TSP问题，存在问题，存在n个输出状态，然而个输出状态，然而一个旅行只是描述一条访问城市的路线，一个旅行只是描述一条访问城市的路线，访问访问n个城市有个城市有2n条路线长度是相等的，因为条路线长度是相等的，因为每条每条路线的长度和起始城市无关和环行方向无关，所以路线的长度和起始城市无关和环行方向无关，所以

48、n个城市的个城市的TSP问题共有问题共有n!/2n条不同长度的旅行路条不同长度的旅行路线。线。n求解方法。求解方法。n构造构造NN模型，即模型，即nn矩阵如矩阵如55，如果把矩阵的每，如果把矩阵的每个元素（即城市）对应于神经网络中的每个神经个元素（即城市）对应于神经网络中的每个神经元，则这个问可用元，则这个问可用55=25个神经元组成个神经元组成Hopfield网网络来求解。络来求解。城市次序城市次序这是一个置换矩阵，满足如下条件这是一个置换矩阵，满足如下条件:(1）一个城市只能被访问一次，即每行只有一个一个城市只能被访问一次，即每行只有一个“1”，其余元素为，其余元素为“0”(2）一一次次只

49、只能能访访问问一一个个城城市市，即即每每列列只只有有一一个个“1”，其余元素为，其余元素为“0”；(3)共共有有n个个城城市市，即即矩矩阵阵的的全全部部元元素素中中“1”之之总总和和为为n。n对应于置换矩阵为把问题的对应于置换矩阵为把问题的约束条件和最优化条件约束条件和最优化条件的要求分解出来，置换矩阵必须满足上述条件。的要求分解出来，置换矩阵必须满足上述条件。然然后把问题的目标函数转化为能量函数后把问题的目标函数转化为能量函数。n为了用为了用Hopfield网络来求解最佳设计问题，必须做网络来求解最佳设计问题，必须做到两点：到两点：n（1）构造电路的一个构造电路的一个合适的能量函数合适的能量

50、函数；n（2）提提供供一一个个解解释释策策略略来来解解释释输输出出状状态态如如何何表表示示问问题解的。题解的。n如前所述如前所述Hopfield神经网络的运行方程和能量函神经网络的运行方程和能量函数分别为：数分别为：（5-29）n对于对于TSP问题，如何构造一个能量函数，使问题，如何构造一个能量函数，使TSP网络中的网络中的N个神经元能够求得问题的解，个神经元能够求得问题的解，并使其能量处于最低状态，为此必须考虑以下并使其能量处于最低状态，为此必须考虑以下两个问题：两个问题：n(1)能量函数要适合于排列矩阵形式的稳定状能量函数要适合于排列矩阵形式的稳定状态；态；n(2）在在n!个合法旅行路线中