神经网络在模式识别领域的应用论文.doc

《神经网络在模式识别领域的应用论文.doc》由会员分享，可在线阅读，更多相关《神经网络在模式识别领域的应用论文.doc（21页珍藏版）》请在沃文网上搜索。

1、 摘要：神经网络已经广泛地应用于图像分割和对象的识别、分类问题中。随着人工神经网络技术的发展，神经网络模式识别在模式识别领域中起着越来越重要的作用，神经网络模式识别已成为模式识别的一种主要方法。由DERumelhart和JLMcclelland于1986年提出的多层人工神经网络及误差逆传播学习算法，即BP网络算法是至今影响最大的一种网络学习算法，据统计有90的实际网络使用了这一算法。在处理环境信息十分复杂、背景知识不十分清楚、推理规则不明确、样本有较大的缺损、畸变的R&D项目中止决策分析等方面，可以认为BP算法会有更好的结果。关键词：神经网络 模式识别 BP网络算法目录一：神经网络在模式识别领

2、域的研究现状11、神经网络简述11.1神经网络定义12.2 神经网络发展史12、神经网络在模式识别领域的研究32.1神经网络模式识别法优点32.2神经网络模式识别原理3二：神经网络在模式识别领域的应用实例51、BP网络学习算法及改进51.1 BP网络学习算法51.2 将附加动量反向传播训练法用于BP算法71.3 将自适应学习速率反向传播训练法用于BP算法72、R&D项目终止决策的人工神经网络模式识别82.1 传统模式识别技术用于R&D项目中止决策分析的局限性82.2 建立R&D项目中止决策的人工神经网络模式识别模型122.3 R&D项目中止决策的人工神经网络识别应用示例16三：神经网络在模式识

3、别领域的未来展望18参考文献19一 神经网络在模式识别领域的研究现状1 神经网络简述1.1 神经网络定义Hecht-Nielsen在1988年给出了人工神经网络(artificial neural networks，ANN)的定义，即人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元(PEProcessing Element)具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号

4、可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。1.2 神经网络发展史神经网络的研究与计算机研究几乎是同步的，其发展历程可分为四个阶段。第一阶段是启蒙期，始于1943年。1943年心理学家MMcCulloch和数学家WHPitts合作提出了形式神经元的数学模型，成为神经网络研尧的开端。第二阶段是低潮期，始于1969年。1969年人工智能创始人之一的MMinsky和SPapert出版感知器(Perceptrons) 书，指出了感知器的局限性，加之当时串行计算机正处于全盛发展

5、时期，早期的人工智能研究也取得了很大成就，使有关神经网络的研究热潮低落下来。第三阶段是复兴期，从1982年到1986年。1982年和1984年，美国加州工学院物理学家Hopfield教授相继发表了两篇重要论文，提出了一种新的神经网络模型，引入能量函数的概念，并用简单的模拟电路实现，同时开拓了神经网络用于联想记忆和优化计算的新途径，点燃了神经网络复兴的火炬。1986年DERumelhart和JLMcClelland领导的研究小组出版并行分布处理(Parallel Distributed Processing)一书，提出多层感知器的反向传播算法，清除了当初阻碍感知器模型继续发展的重要障碍，使复兴的

6、火炬迸发出更加耀眼的光芒。另一方面，20世纪80年代以后传统的基于符号处理的人工智能在解决工程问题时遇到许多困难，现代的串行机尽管有很好的性能，但在解决像模式识别、学习等对人来说轻而易举的问题上显得非常困难。这就使人们怀疑当前的冯诺依曼机是否能解决智能问题，也促使人们探索更接近人脑的计算模型，于是又形成了对神经网络的研究热潮。第四阶段是1987年至今，其标志是JDCowan与DHSharp发表的回顾性综述文章“神经网络与人工智能”。1987年以后，神经网络应用领域的研究相当活跃，神经网络已不再仅仅停留在研究阶段，人们开始动手实践，设计并实现一定规模的神经元芯片、神经计算机装置；在现有计算机上建

7、立神经网络软件开发工具；应用神经网络理论和方法解决各种应用问题等。这一阶段的理论进展较少，神经网络的研究逐渐趋于平稳。2 神经网络在模式识别领域的研究2.1 神经网络模式识别法优点 神经网络在模式识别、智能控制、信号处理、计算机视觉、优化计算、知识处理、生物医学工程等领域已有广泛的应用，模式识别是神经网络的主要应用领域之一。神经网络模式识别法与传统方法相比具有下面几个明显的优点：(1)具有较强的容错性，能够识别带有噪声或畸变的输入模式。(2)具有很强的自适应学习能力。(3)能够把识别和若干预处理融为一体进行。(4)采用并行工作方式。(5)对信息采用分布式记忆，信息不易丢失，具有鲁棒性。2.2

8、神经网络模式识别原理神经网络（ANN）由许多具有非线性映射能力的神经元组成。神经元之间通过权系数相连接它的信息分布式存储于连接权系数中，使网络具有很高的容错性和鲁棒性，而在模式识别中往往存在噪声干扰或输入模式的部分损失，网络的这一特点是成功解决模式识别问题的原因之一。另外，ANN的自组织、自适应学习的功能，大大放松了传统识别方法所需的约束条件，使其对某些识别问题显示出极大的优越性。对于一个典型的神经网络模式识别系统(图631)。总的来说，采集系统将采集到的原始数据输入模式识别系统，这些原始数据集合形成一个激励向量。寻找存在于激励向量内部特征的相关属性，是这种系统的一个最基本要求。这些能够更真实

9、、更清晰地表达模式基本结构相关属性的一个有序集合构成一个特征向量。如何寻找该特征向量是问题的关键。这就要涉及模式特征提取与选择的问题，最后要求建立一个能够识别不同模式的网络。本节先利用自组织特征映射算法和K均值聚类算法进行运动区域特征的选择，然后利用BP算法训练运动区域特征向量，获得稳定的网络，最后根据运动区域的特征向量通过该网络的输出值，识别出运动区域的类别。二 神经网络在模式识别领域的应用实例1 BP网络学习算法及改进1.1 BP网络学习算法由DERumelhart和JLMcclelland于1986年提出的多层人工神经网络及误差逆传播学习算法是至今影响最大的一种网络学习算法，据统计有90

10、的实际网络使用了这一算法。由于这一网络采用了误差逆传播(Error Back Propagation)学习算法，所以人们简称之为误差逆传播人工神经网络或BP网络。该算法实质是把一组样本输入、输出问题转化为一个非线性优化问题，并通过梯度算法进行迭代运算求解权值问题。神经网络通常有一个或多个隐含层。BP网络的结构及误差反向传播如图9-43所示。图944所示的含有一级隐含层的基于BP算法的神经网络中，P代表输入层，有7个分量所描绘的输入向量，根据Kolmogorov定理，隐含层取72+115个神经元。wl和w2分别为输入层和隐含层的权向量，b1和b2分别为输入层和隐含层的偏差向量，a1和a2分别为隐

11、含层和输出层的输出向量，s1和s2分别为隐含层和输出层的神经元数，n1和n2分别为隐含层和输出层的加权和向量。输入层与隐含层之间采用双曲正切s型传递函数；隐含层与输出层之间采用线型传递函数。应用BP神经网络分类的关键问题涉及网络结构设计、网络学习等。在BP神经网络结构确定后，就可利用输入输出样本对网络进行训练，即对网络的权值和阈值进行学习和调整，使网络实现给定的输入输出映射关系。其学习过程包括正向传播和反向传播两个过程。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层不能得到期望的输出，则转人反向传播，将误差信号沿原来的路

12、径返回。通过修改各层神经元的权值，使误差最小。在向前传播阶段，通过从样本集中取一个样本(Xp，Yp)，将Xp输人网络，并计算相应的实际输出Op。在此过程中，网络执行下列运算：Op=Fn(（F2(F1(XpW(1)W(2)）W(n) (9.4.2)其中，设网络有咒层，第h(1hn)层神经元的个数用Lh表示，该层神经元的激活函数用Fh表示，该层的连接矩阵用W(h)表示。在向后传播阶段，计算实际输出Op。与相应的理想输出Yp。的差，按极小化误差的方式调整权矩阵。网络关于整个样本集的误差测度为 E=Ep (9.4.3) 其中，为网络关于第P个样本的误差测度。为避免标准BP网络学习算法收敛速度慢、可能收

13、敛到局部极小点的问题，可采用改进的算法，即将附加动量和自适应学习速率的反向传播训练法用于BP算法，其相应连接权的校正如下。1.2 将附加动量反向传播训练法用于BP算法修正W(k)时，按如下的改进算法：其中，W(k)既可表示单个的连接权系数，也可表示连接权向量；为k时刻的负梯度；a为学习速率，aO；为动量因子，o1。加入动量项可以降低网络对误差曲面局部调节的敏感性，有效地抑制网络陷于局部极小。 1.3 将自适应学习速率反向传播训练法用于BP算法 学习速率的自适应是通过观察最后两个梯度的符号来完成的。只要测得在符号上不改变，就说明口还有增大的余地，因此相应的学习速率就增大一倍，能加快收敛过程；反之

14、，学习速率就减小一半。自适应学习速率算法如下： W(k+1)=W(k)+a(k)D(k) (9.4.5)其中， 当引入动量项时，上述算法可修正为 对于图9.4.4来说，隐含层的输出为 a1=lg sig(w1*p1+b1) (9.4.7)其中，lg sig()是Sigmoid型函数的对数式。输出层的输出为 a2=w2*a1+b2 (9.4.8)根据经验，在一般情况下，当均方根误差降至001以下就可以停止训练了，这时称该网络已收敛。于是各连接的权值就固定下来，并可测试该网络的总体性能，然后投入实际使用：采用训练好的网络对图像进行分类。2 R&D项目终止决策的人工神经网络模式识别2.1 传统模式识

15、别技术用于R&D项目中止决策分析的局限性 针对模式特征的不同选择及其判别决策方法的不同，可对模式识别方法作如下分类： (1)模板匹配法 模板匹配法是对每个待识别的类别，给出典型标准模板作为识别标准，它可以是一类模式，也可以是一模式集合。 (2)统计特征法统计 特征法埘已知类别的模式样本进行各种特征的提取和分析，选取对分类有利的特征，并对其统计均值等按已知类别进行学习，按贝叶斯最小误差准则，以及以上统计特征设计出一个分类误差最小的决策超平面，识别过程就是对未知模式进行相同的特征提取和分析，通过决策平面方程决定该特征相应的模式所属的类别。(3)句法结构方法用已知结构信息的模式作为训练样本，先识别出

16、基元和它们之间的连接关系，并用字母符号表示它们，然后用构造句子的方法描述生成场景的过程，并由此推断出生成该场景的一种文法规则，这就是训练过程。在识别过程中，要对未知结构的模式进行基元识别及其相互结构关系分析，然后利用训练过程中获得的文法对其作句法分析，如果它能被已知结构信息的文法分析出来，则该未知图像模式具有与该文法相同的图形结构，否则就可判定不是这种结构。 (4)逻辑特征方法 逻辑特征方法是这样一种方法，其特征的选择对一类模式识别问题来说是独一无二的，即在一类问题中只有一个模式具有某一种(或某一组合的)逻辑特征。因此，匹配过程也只有“是”或“非”两种结果，即是本类或不是本类。逻辑特征没有“远

17、”、“近”之分，只有“是”、“非”之别。(5)模糊模式识别 所谓模糊模式识别，是在模式识别过程中引入了模糊集的概念，模糊集的概念可以在模式识别系统的后几个环节的任何地方引人。若在后两个环节(特征提取和判别决策)的任何一个中引入，则在判断决策时。所求得的结果就是该模式特征与每一标准类的隶属度，进而可求出隶属度最大的标准类为被识类。模糊判别决策主要有以下儿种方法：最大隶属原则法、择近原则法、模糊聚类分析法。表411给出了上述模式识别方法的特性比较。从对以上模式识别技术的特性分析可以看出，原则上工程上的模式识别方法如统计决策、模糊判决等均可作为中止决策的方法，只要方法推演是科学的，是符合逻辑和客观实

18、际的，均可收到异曲同工之效果。但由于R&D项目中止决策是内外部环境信息十分复杂、背景知识不十分清楚、推理规则不明确的问题。特别是由于我国目前的经济体制正处在计划经济向市场经济转变的过渡期，各方面不确定性因素更多，资金紧缺，技术协作不稳定，技术市场不完善，市场需求也由于体制的冲击变得更难预测，故样本有较大的缺损、畸变。而工程上传统的统计决策、句法结构、模糊判决、逻辑推理等模式识别方法本身虽然有许多优点，如：(1)统计决策比较成熟，能考虑干扰、噪声等影响，识别模式基元能力强；(2)句法结构识别方便，可从简单的基元开始，由简到繁，能反映模式的结构特性，能描述模式的性质，对图像畸变的抗干扰能力较强；(

19、3)模糊判决由于用隶属度函数作为样本与模板问相似程度的度量，故往往能反映它们整体的主要特性，从而允许样本有相当程度的干扰与畸变；(4)逻辑推理已建立了关于知识表示及组织、目标搜索及匹配的完整体系，对需通过众多规则的推理达到识别目标确认的问题，有很好的效果。但上述方法在处理R&D项口中止决策的模式识别方面却存在如下缺点：(1)统计推断对于R&D项日结构复杂的模式抽取困难。不能反映模式的结构特征，难以描述模式的性质，且难以从整体角度考虑识别问题。(2)句法结构对于存在干扰及噪声时的R&D项目抽取基元困难，且易失误。(3)模糊判决对于R&D项目内外部特征准确合理的隶属度函数往往难以建立，故限制了它的

20、应用。(4)逻辑推理对于R&D项目的样本有缺损，背景不清晰，规则不明确甚至有歧义时，效果不好。基于上述考虑，我们探索将人工神经网络用于R&D项目中止决策的模式识别中，建立R&D项目中止决策的人工神经网络模式识别模型。2.2 建立R&D项目中止决策的人工神经网络模式识别模型在建立R&D项目中止决策的人工神经网络模型时，一个很重要的问题是如何确定神经网络的结构。减少网络学习的时间，提高网络模式识别分类的精确性。因此，在实际的研究过程中，需要考虑很多因素，详见表4一12。(1)网络结构的确定网络结构包括网络层数、各层节点数。输入层和输出层的节点数直接由研究的问题便可以得到，为r便于分类识别，这里的输

21、出层根据项目中止的类型多少来确定，输入层则根据所选因素指标的多少来确定。网络结构中最关键的问题是隐含层的数量及各隐含层中节点的个数。1989年，Robert Hecht Nieslen证明了对于任何在闭区问的连续函数都可以用一个隐含层BP网络来逼近，因而一个三层BP网络可以完成任意的N维到M维的映射，其条件是各节点具有不同的阈限值；对于R&D项目中止决策而言，我们经过上机实验，比较了一个隐含层和两个隐含层的收敛速度以及分类精度后，发现在本研究中一个隐含层的网络收敛速度更快，分类识别精度更高，所以最终选择了一个隐含层。确定隐含层节点数时可考虑这样两条原则：隐含层节点数不能是各层中节点数最少的，也

22、不能是最多的；较好的隐含层节点数是介于输入节点和输出节点之和的50至75之间。故本文所确定的R&D项日中止决策的神经网络结构如图41l所示。(2)转换函数的确定转换函数的选取取决二f数据本身及网络学习的本身。1988年，Cybenko指出，当节点均采用S型压缩函数时，一个隐含层足以实现判别分类问题，因此在建立R刚)项目中止决策的人工神经网络分类识别模型时，我们选用Sigmoid函数(图412)。(3)学习算法本文所用的训练R&D项目中止决策的神经网络模型的算法为改进的误差反向传播(BP)训练算法、算法的学习过程，由正向传播和反向传播组成。在正向传播过程中，输入信息从输人层经隐单元层逐层处理，并

23、传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。(4)BP算法的问题及改进尽管BP算法已成功应用于广泛的领域，但它也存在不少问题，比如对些复杂的问题，它可能需要很长的训练时间，甚至根本不能训练。过长的训练时间很可能由不适当的步长引起的，完全不能训练则是由两种情况引起的：一是网络的麻痹现象；二是局部最小。改进BP算法的框图如图414所示2.3 R&D项目中止决策的人工神经网络识别应用示例本例的样本数据来源于文献。设项目在某阶段的11个待识别对象的12个指标值数据如表

24、4-13所示，表中指标的含义为：市场前景(x1)、市场开拓前期投入强度(x2)、已出现相似产品数(x3)、与产业政策的吻合度(x4)、权威部门或人士的支持(x5)、实际投资超预算程度(x6)、本单位财务能力(x7)、技术路线优势(x8)、技术难度系数(x9)、技术协作攻关能力(x10)、可利用的现有研究成果(x11)、项目进展情况总评(x12)。为了用本文所述的人工神经网络方法对上述11个待识别对象进行中止决策分析，首先我们用文献中通过模糊聚类得到的3个理想标本训练这个神经网络。其中1个是成功的R&D项目，1个是因措施不当而失败的项目，1个是因不可抗拒的客观原因而失败的项目。具体作法是对于每个

25、成功R&D标本的12个指标输人值，相应的输出向量都取为(1，0，0)，对于每个因措施不当而失败R&D标本的12个指标输入值，其相J、筻的输出向量取为(0，1，0)，对于因不叮抗拒的客观原因而失败的每个R&D标本的12个指标输入值，其相应的输出向量取为(0，0，1)。然后，我们将训练好的人工神经网络用于表413中的1 1个待识别对象进行判别。判别结果如表4-14所示，其结果与实际情况基本相符。 总之，R&D项目中止决策的人工神经网络方法具有独特的优势。它与目前国外比较流行的(甚至可以说是占主导地位)的统计推断方法相比，ANN具有几个潜在的优点：ANN是由众多神经元组成的网络，可以逼近任意复杂的佑

26、线性系统和具有模仿很多种函数的能力，包括非线性函数、分段函数等，并且具有更好的推广能力。此外，不像统计推断方法那样必须事先构造一个(或一组)描述项目成败与其影响因素之间的函数关系(即选择重要变量和变量的函数形式)，ANN能利用所提供的变量的属性内含建立相关的变量及变量的函数关系，而且ANN模型不需要预先假设其样本的参数分布。因此，在处理环境信息十分复杂、背景知识不十分清楚、推理规则不明确、样本有较大的缺损、畸变的R&D项目中止决策分析等方面，可以认为ANN会有更好的结果。三 神经网络在模式识别领域的未来展望 神经网络已经广泛地应用于图像分割和对象的识别、分类问题中。随着人工神经网络技术的发展，

27、神经网络模式识别在模式识别领域中起着越来越重要的作用。在各种人工神经网络模型中，在模式识别中应用最多的也是最成功的是多层前馈网络，其中又以采用BP学习算法的多层感知器(也称BP网络)为代表。由于网络采用监督学习方式进行训练，因此只能用于监督模式识别问题。另外一种应用较多的神经网络是白组织神经网络。这种网络与多层前馈网络不同，它采用非监督学习方式进行神经网络的训练，因此可用于非监督模式识别问题。神经网络模式识别已成为模式识别的一种主要方法。 神经网络的发展正在走向成熟，它的发展已经到了一个转折点，我们正处在神经网络大规模应用的前夜。在神经网络的未来发展中，神经网络与其他计算方法及信号处理技术的紧

28、密结合，充分发挥各自所长而成为性能更强的系统将是一个重要方向。神经网络的各种实现的步伐要比预想的快，并且灵活性、针对性强，易于使用的小规模神经网络软、硬件产品的发展和应用规模也会越来越大。相对而言，理论和基础研究的发展则比较平稳，需要不断积累以求新的突破。总之，现代神经网络研究是年轻的科学，是青年人的科学。它的未来属于那些既真正懂得神经科学，又真正懂得理论与建模的具有新型知识结构的一代青年人。神经网络模式识别的未来将更具有拟人的特点，更侧重于形象思维。这种识别在实验和经验的基础上，通过反复学习，建立模式类，并通过综合集合形成总体概念存储起来。对于新问题，首先用总的概念以相似性方法进行搜索和识别

29、，最后判定新的问题与那一类模式匹配，完成以认识和识别为重点的模式识别。参考文献1康晓东主编.医学影像图像处理.人民卫生出版社,2009.03.2邓方安，周涛，徐扬编著.软计算方法理论及应用.科学出版社,2008年03月第1版.3齐敏，李大健，郝重阳编著.模式识别导论.清华大学出版社,2009.06.4钟守铭，刘碧森，王晓梅等编著.神经网络稳定性理论.科学出版社,2008.6.5边肇祺模式识别北京：清华大学出版社，19886王积分，张新荣计算机图像识别北京：中国铁道出版社，19887汪培庄，李洪兴模糊系统理论与模糊计算机北京：科学出版社，19968夏良正数字图像处理南京：东南大学出版社，1999

30、9宋余庆数字医学图像北京：清华大学出版社，200310邹柏贤，林京壤图像轮廓提取方法研究，计算机工程与应用，2008，44(25)：16116511刘丽丽，刘希玉，庄波基于模拟退火粒子群算法的FCM聚类方法计算机工程与应用，2008，44(30)：17017212杨燕，靳藩，KAMEL Mohamed聚类有效性评价综述，计算机应用研究，2008，25(6)：16301632，163813郭文强，侯勇严编著.数字图像处理.西安电子科技大学出版社,2009.05.14董景荣著.技术创新过程管理理论、方法及实践.重庆出版社,2000年06月第1版15雅罗斯拉夫斯基数字图像处理施有秋，等译北京：电子工业出版社，199016何明一著.神经计算 原理语言设计应用.西安电子科技大学出版社,1992年11月第1版.17（美）Abhijit S.Pandya，Robert B.Macy著；徐勇等译, 电子工业出版社, 1999.18Sergios Theodoridis，Konstantions Kourtroumbas模式识别李晶皎，朱志良，王爱侠，等译北京：电子工业出版社，2004第 19 页