神经网络原理与应用详解.ppt

1、神经计算-吴广发 20112420021神经计算-神经网络算法在实际应用中经常遇到一些复杂优化问题，而往往需要求解它的全局最优解。由于许多问题具有多个局部最优解，特别是有些问题的目标函数是非凸的、或是不可微的、甚至是不可表达的。这样一来，传统的非线性规划问题算法就不适用了。二十世纪以来，一些优秀的优化算法，如神经计算、遗传算法、蚁群算法、模拟退火算法等，通过模拟某些自然现象和过程而得到发展，为解决复杂优化问题提供了新的思路和手段。其中，神经计算是以神经网络为基础的计算。2神经网络-演示的主要内容神经网络概述神经元结构与连接BP网络及其应用举例Hopfield网络及其应用举例神经网络重要结论神经

2、网络研究分析3神经网络概述（1）人工神人工神经经网网络络（Artificial Neural Network，简称ANN）又称神经网络，是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络结构和工作机理基本上以人脑的组织结构（大脑神经元网络）和活动规律为背景的，它反映了人脑的某些基本特征，但并不是对人脑部分的真实再现，可以说人工神经网络是利用人工的方式对生物神经网络的模拟。4神经网络概述（2）人工神经网络的特性特性1.并行分布并行分布处处理理：网络具有良好的并行结构和并行实现能力，因而具有较好的耐故障能力和总体处理能力。2.非非

3、线线性映射性映射：网络固有的非线性特性，这源于其近似任意非线性映射（变换）能力，尤其适用于处理非线性问题。3.通通过训练进过训练进行学行学习习：一个经过适当训练的神经网络具有归纳全部数据的能力。因此适用于解决那些由数学模型或描述规则难以解决的问题。5神经网络概述（3）4.适适应应与集成与集成：网络能够适应在线运行，并能同时进行定量和定性操作。神经网络的强适应和信息融合能力使得它可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和融合处理。适于复杂、大规模和多变量系统。5.硬件硬件实现实现：神经网络不仅能够通过软件而且可以借助硬件实现并行处理。一些超大规模集成电路实现

4、硬件已经问世，如神经计算机，它的研制开始于20世纪80年代后期。“预言神”是我国第一台研制成功的神经计算机。6神经网络概述（4）我国第一台神经计算机面世的报道7神经网络概述（5）一般而言，神经网络与经典计算方法相比并非优越，只有当常规方法解决不了或效果不佳时神经网络方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统，如故障诊断、特征提取和预测等问题，神经网络往往是最有利的工具。另一方面，神经网络对处理大量原始数据而不能用规则或公式描述的问题，也表现出一定灵活性和自适应性。8神经网络概述（6）人工神经网络研究的局限性局限性：1.ANN研究受到脑科学研究成果的限制2.ANN

5、缺少一个完整、成熟的理论体系3.ANN研究带有浓厚的策略和经验色彩4.ANN与传统技术的接口不成熟9神经元结构与连接（1）神经元是大脑处理信息的基本单元，人脑大约由百亿个神经元组成，神经元互相连接成神经网络。神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。主要由细胞体、树突、轴突和突触（又称神经键）组成。10神经元结构与连接（2）大脑神经网络是由神经元经突触与树突连接起来形成的。人工神经网络是由基本处理单元及其互连方法决定的。11神经元结构与连接（3）神经元的M-PM-P模型模型，即将人工神经元的基本模型和激活函数合在一起构成人工神经元，称之为

6、处理单元。12yx1x212xnns神经元结构与连接（4）单输单输出神出神经经元（感知器）元（感知器）的工作过程是：1.从输入端接收输入信号2.根据连接权值 ，求出所有输入的加权和3.用非线性特征函数 进行转换，获得输出 13神经元结构与连接（5）寻找感知器网络的判定边界感知器的学习是有导师学习，如：训练算法的基本原理来源于著名的Delta学习率，即逐步地将样本集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权矩阵，如：14神经元结构与连接（6）无奖问答环节：感知器曾一度让人工神经网络展现出其独特的功能和诱人的发展前景。但当Minsky严格地对问题进行了分析，证明了单级网

7、（感知器）无法解决“异或”等最基本的问题时，人工神经网络便从第一个高潮期进入了反思期。那么如何理解感知器无法解决“异或”的问题呢？15神经元结构与连接（7）神经网络每个节点均具有相同的结构，其动作在时间和空间上均同步。模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则、传递函数等。目前已有近40种不同神经网络模型。实验表明，对大部分网络模型来说（也有例外情况），W的各个元素不能用相同的数据进行初始化，因为这样会使网络失去学习能力。一般地，使用一系列小伪随机数对W进行初始化。“小随机数”用来保证网络不会因为权过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。16神经元

8、结构与连接（8）神神经经元互元互连连基本形式（分基本形式（分为为前前馈馈和反和反馈馈两种）两种）：17前向网络反馈网络层内互连网络互连网络输入层输出层隐层输入层输出层隐层输入层输出层隐层输入层输出层隐层神经元结构与连接（9）神经网络训练训练模式模式：1.1.有有导师导师学学习习：根据期望与实际的网络输出之间的差调整神经元连接的强度或权，训练方法主要有Delta规则等。2.2.无无导师导师学学习习：自动地适应连接权，以便按相似特征把输入模式分组聚集，训练方法主要有Hebb学习律、竞争与协同学习规则、随机联接学习规则等。3.3.强强化学化学习习：不需要老师给出目标输出，采用一个“评论员”来评价与给

9、定输入相对应的神经网络输出的优度。遗传算法就是一个例子。18神经元结构与连接（10）无无导师导师学学习习HebbHebb学学习习率率：如果处理单元从另一个处理单元接收到一个输入，并且两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强。竞竞争与争与协协同学同学习规则习规则：利用不同层间或同一层内很近的神经元发生兴奋性连接，而距离较远的神经元产生抑制性连接。随机随机连连接学接学习规则习规则：从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。如基于模拟退火统计优化方法的玻尔兹曼机学习规则。19神经元结构与连接（11）神经网络的训练次数也称为神经

10、网络的学习时间。在一定范围内，训练次数的增加可以提高神经网络的泛化能力泛化能力，然而，在神经网络的训练过程中经常出现一种过拟合现象，即在网络训练过程中，随着网络训练次数的增加，网络对训练样本的误差逐渐减少，并很容易达到中止训练的最小误差的要求，从而停止训练。然而，在训练样本的误差逐渐减少并达到某个定值以后，往往会出现网络对训练样本意外的测试样本的误差反而开始增加的情况。20神经元结构与连接（12）神经网络的泛化性能还体现在网络对噪声应具有一定的抗干扰能力上。最佳的泛化能力往往出现在训练误差的全局最小点出现之前，最佳泛化点出现存在一定的时间范围。理论上可以证明在神经网络训练过程中，存在最优的停止

11、时间。泛化特性的好坏取决于人工神经网络是否从训练样本中找到内部的真正规律。影响泛化能力的因素影响泛化能力的因素主要有：训练样本的质量和数量；网络结构；问题本身的复杂程度。21BP网络及其应用举例（1）感知器算法中，理想输出与实际输出之差被用来估计直接到达该神经元的连接的权重的误差。当为解决线性不可分问题而引入多级网络后，如何估计网络隐藏层的神经元的误差就成了难题。反向反向传传播网播网络络（Back-Propagation Network，简称BP网络）在于利用输出层的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差。如此下去，就获得了所有其他各层的误差估计。这样就形成了将输出

12、端表现出的误差沿着与输入信号传送相反的方向逐级向网络的输入端传递的过程。22BP网络及其应用举例（2）BP算法是非循环多级网络的训练算法。权值的调整采用反向传播的学习算法，它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数（也可以采用其他处处可导的激活函数）。输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。反向传播采用的是Delta规则，按照梯度下降的方向修正各连接权的权值。BPBP网网络络的缺陷的缺陷：容易导致局部最小值、过度拟合以及收敛速度较慢等。23BP网络及其应用举例（3）多多层层BPBP网网络络是一种具有三层或三层以上的多层神经网络，每一层都由若干个神经元

13、组成，如下图所示，它的左、右各层之间各个神经元实现全连接，即左层的每个神经元与右层的每个神经元都有连接，而层内的神经元无连接。24ri1ri2rimO1O2OmBP网络及其应用举例（4）一般地，BP网络的输入变量即为待分析系统的内生变量（影响因子或自变量），一般根据专业知识确定。输出变量即为系统待分析的外生变量（系统性能指标或因变量），可以是一个，也可以是多个。事实上，增加隐藏层的层数和隐藏层神经元的个数不一定总能够提高网络的精度和表达能力。以下通过BP网络模拟程序的运行，展示网络训练的过程以及实验证明上述论点。25BP网络及其应用举例（5）问题问题描述描述：基于神经网络及其模型优化技术，对大

14、规模肉鸡养殖中性能预测问题进行深入研究和建模实现。大量的研究揭示了气象因素是影响家禽生长的最重要的环节因素之一。采用小鸡和成鸡的两阶段季节性因素进行建模，即单因素两输入模型。温度-上市率26BP网络及其应用举例（6）应用集均方差比对图27BP网络及其应用举例（7）由于知识是分布表示的，所以人工神经网络可以在实际应用中根据不断获取的经验来增加自己的处理能力。因此，它的学习可以不是一次完成的。这就要求在一定的范围内，网络在学会新知识的同时，保持原来学会的东西不被忘记。这种特性被称作可塑性。BP网络不具有这种可塑性。BP网络接收样本的顺序也会对训练的结果有一定影响。比较而言，它更“偏爱”较后出现的样

15、本。因为BP根据后来的样本修改网络的连接矩阵时，进行的是全面的修改，这使得“信息的破坏”不是局部的。28Hopfield网络及其应用举例（1）在非循环网中，信息被从输入端加在网上，通过网络的逐级加工，最后由输出端输出。这个过程不存在信号的反馈。在循环网中，网络在接收到一个信号后，它要让这个信号在网络中经过反反复复的循环处理，直到变化停止，或者变化的幅度足够小时，网络在此时可给出的相应输出才能算是它的输出。显然，对一个给定的输入，网络输出的不断变化是由它的反馈信号引起的。网络对输入信号进行的处理是一个逐渐“修复”、“加强”的过程。29Hopfield网络及其应用举例（2）HopfieldHopf

16、ield网网络络是有反馈的全互联型网络，其形式如下图所示，网络中各神经元彼此互相连接，即每个神经元将自己的输出通过连接权传给其它神经元，同时每个神经元接受其它神经元传来的信息。30Hopfield网络及其应用举例（3）Hopfield网络的稳稳定性定性是由能量函数来描述的，即对网络的每个状态发生变化时，能量函数E随网络状态变化而严格单调递减，这样Hopfield模型的稳定与能量函数E在状态空间的局部极小点将一一对应。Hopfield网络作为记忆的学习时，稳定状态是给定的，通过网络的学习求适合的权矩阵W（对称阵），学习完成后以计算的方式进行联想。31Hopfield网络及其应用举例（4）问题问题

17、描述描述：设计一个Hopfield网络，使其具有联想记忆功能，能正确识别阿拉伯数字，当数字被噪声污染后仍可以正确地识别。程序流程程序流程：先设计好标准的数字点阵（本文采用10*10矩阵表示），根据这些标准的数字点阵创建并训练网络，使网络达到稳定状态，用带噪声的数字测试训练的网络。32Hopfield网络及其应用举例（5）流程流程图图如下：33设计数字点阵（0-9）创建Hopfield网络产生带噪声的数字点阵数字识别测试结果分析神经网络重要结论（1）传统人工智能系统中所用的方法是知识的显式表示，而神经网络中的知识表示是一种隐式的表示方法。基于神经网络的知识推理实质上是在一个已经训练成熟的网络基础

18、上对未知样本进行反应或者判断。在网络推理中不会出现传统人工智能系统中推理的冲突问题；网络推理只与输入及网络自身的参数有关，而这些参数又是通过使用学习算法对网络进行训练得到的，因此它是一种自适应推理。34神经网络重要结论（2）过于简单的网络结构预测效果不佳，而过于复杂的结构则容易产生“过拟合”。学习步长的选择很重要，过大容易振荡，无法收敛到深窄的极小点，过小则容易爬行，或陷入局部极小。要想得到准确度高的模型，必须认真地进行数据清洗、整理、转换、选择等工作。神经网络的准确性和训练数据的多少有较大的关系，尤其对于一个多输入多输出的网络，如果缺乏足够多的网络训练数据，网络预测值可能存在较大的误差。35

19、神经网络研究分析（1）人工神经网络研究的分分类类：1.1.理理论论研究研究，即深入研究网络算法和性能，如稳定性、容错性等，或开发新的网络数理理论。2.2.应应用研究用研究，即NN的软件模拟和硬件实现，如模式识别、信号处理、知识工程、专家系统、机器人控制等。36神经网络研究分析（2）人工神经网络研究的若干若干问题问题：1.ANN应用面广，但大部分应用类论文属于验证性论文，即用ANN 方法完成某种任务并与其他方法相比较，但并未显现出ANN 不可替代的优越性。2.ANN的模型原理及学习算法研究暂无重大进展。3.ANN的一些重要理论分析课题没有获得突破性进展。例如，如何确定网络容量，如何选择隐含层节点数，如何设计初始权值以及如何避免局部极值等。37神经网络研究分析（3）人工神经网络研究的展望展望：1.应用研究的新特点-多学科综合2.技术研究的当务之急-神经网络的硬件实现3.理论研究的新方向-从人工神经网络到人工神经系统 例如：ANN与其他技术的结合以及由此而来的混合方法和混合系统，包括NN与模糊逻辑专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。3839