浅探人工神经网络的原理以及发展现状.doc

1、文献检索与阅读作业 学号： 姓名： 班级： 浅探人工神经网络的原理以及发展现状一、 检索目的：在当前计算机软硬件缓慢发展中，神经网络在计算机领域的应用的研究课题具有很广泛的探讨意义，本文介绍了最近几年科学界在神经网络领域中取得的一些研究成果，使得对人工神经网络的原理以及发展现状课题有一个基础的了解。二、 文献检索范围及检索结果2.1 数据库1：万方数据资源系统检索词: 神经网络 原理 发展 应用检索结果1：人工神经网络在近红外光谱建模中的应用及研究现状期刊论文 红外 - 2012年8期 王圣毫 李智 郑维平 张旭 高学伟检索结果2：人工神经网络在橡胶工业中的应用进展期刊论文 合成橡胶工业 IS

2、TIC - 2012年1期 王彬 杨海波 吴友平检索结果3：基于BP神经网络和贝叶斯推理的雷达辐射源识别期刊论文 舰船电子对抗 - 2012年4期 朱晓亮 蔡群 周明亮检索结果4：BP神经网络技术在钢铁工业中的应用 (被引用 1 次)期刊论文 鞍钢技术 - 2010年4期 张维维赵成林李广帮王丽娟检索结果5：量子计算在动态递归与自组织神经网络中的机理及应用研究学位论文 李鹏华，2012 - 重庆大学：控制理论与控制工程2.2数据库2：中国知网检索词: 神经网络 原理 实现 发展检索结果1：基于BP神经网络算法分层递阶评价区域可持续发展的研究 邓小珍 郭香兰 硅谷 2011/20检索结果2：基于

3、MS神经网络算法的数据挖掘应用的探讨 刘城霞 计算机技术与发展 2011/06检索结果3：基于MapReduce的BP神经网络算法研究 朱晨杰 杨永丽 微型电脑应用 2012/10检索结果4：基于BP算法的小波神经网络的研究 罗裴 信息技术 2012/11检索结果5：BP神经网络在图像字符识别中的改进和应用 张永宏 吴鑫 南京信息工程大学学报(自然科学版) 2012/062.3数据库3：ACM(美国计算机学会全文数据库)检索词:Neural network algorithm Development检索结果1：An elitist non-dominated sorting genetic a

4、lgorithm enhanced with a neural network applied to the multi-objective optimization of a polysiloxane synthesis process Renata Furtuna, Silvia Curteanu, Florin LeonAug. 2011 Engineering Applications of Artificial Intelligence 卷次: 24 刊期: 5检索结果2：C-Mantec: A novel constructive neural network algorithm

5、incorporating competition between neuronsJose L. Subirats, Leonardo Franco, Jose M. JerezFeb. 2012 Neural Networks 卷次: 26检索结果3：Neuro-genetic impact on cell formation methods of Cellular Manufacturing System design: A quantitative review and analysis Manojit Chattopadhyay, Sourav Sengupta, Tamal Ghos

6、h, Pranab K. Dan, Sitanath MazumdarJan. 2013 Computers and Industrial Engineering 卷次: 64 刊期: 1检索结果4：A novel training algorithm for RBF neural network using a hybrid fuzzy clustering approach Antonios D. Niros, George E. TsekourasApr. 2012 Fuzzy Sets and Systems 卷次: 193检索结果5：Fire detection model in T

7、ibet based on grey-fuzzy neural network algorithm Yan Wang, Chunyu Yu, Ran Tu, Yongming ZhangAug. 2011 Expert Systems with Applications: An International Journal 卷次: 38 刊期: 8三、文献的主要内容3.1篇名：人工神经网络在近红外光谱建模中的应用及研究现状作者：王圣毫 李智 郑维平 张旭 高学伟文献来源：万方数据资源系统 期刊论文 红外 - 2012年8期主要内容：对国内外近十年来人工神经网络在近红外光谱建模中的应用和研究进行了

8、详细的综述,包括误差反向传播网络、径向基网络、支持向量机、自组织特征映射网、广义 回归神经网络、概率神经网络、小波神经网络、模糊神经网络以及集成神经网络等的应用和研究.概括了这些网络的基本工作原理及优缺点.最后根据神经网络的发 展方向和工农业的发展需求,提出了今后人工神经网络在近红外建模方面的发展方向.3.2篇名：量子计算在动态递归与自组织神经网络中的机理及应用研究作者：李鹏华文献来源：万方数据资源系统 学位论文 李鹏华，重庆大学：控制理论与控制工程主要内容：提出量子门Elman神经网络模型，提出带时间延迟的量子Hopfield神经网络模型，提出具有弹性邻域半径的量子 SOM 神经网络模型，以

9、及实现上述三种量子神经网络在特定背景下的具体应用。针对特定工程对象，分析相关工程现状及需求，实现工程对象与三种量子神经网络的有机结合。在短时载荷预测中，针对众多预测方法采用前馈类网络实现预测的现状，采用量子门Elman神经网进行载荷预测。在验证量子门Elman神经网络性能的同 时，也提高电力载荷预测的准确性。在模拟电路故障诊断中，针对采小波分析和主元分析进行故障特征提取的前馈神经网络方法，通过小波包分析和新定义的能量函 数提取故障特征，在检验新提出的基于 Hopfield 编码的故障诊断方法后，针对多故障耦合问题，采用量子 Hopfield 神经网络从概率角度对故障发生的机制进行新的诠释。在污

10、水处理的出水水质预报中，针对处理过程的超强非线性和超大滞后性，采用量子SOM神经网络进行长时 预报。在验证量子SOM神经网络性能的同时，提高预报的准确性。3.3篇名：基于MS神经网络算法的数据挖掘应用的探讨作者：刘城霞文献来源：中国知网 计算机技术与发展 2011/06主要内容：Microsoft神经网络算法是基于人体神经网络系统模 拟而成的一种算法,它对于数据挖掘的发展有着很大的推动性。为了进一步发展基于神经网络算法的数据挖掘系统的应用,在Microsoft神经网络算法的基 础上构建了一个数据挖掘商业应用实例系统,通过研究客户的一些个人属性以及办理业务的基本情况,预测客户的信誉情况、业务的办

11、理趋向、银行开展新业务的趋 向等。在实例系统的构建过程中,对神经网络数据挖掘算法的挖掘过程进行了详细的分析,促进了数据挖掘的应用实践。3.4篇名：基于BP算法的小波神经网络的研究作者：罗裴文献来源：中国知网 信息技术 2012/11主要内容：BP算法是一种传统且常用的算法,而小波分析是近二十年来发展起来的一种信号处理和分析方法,适合信号的时频局部特性研究,二者的结合将改善神经网络存在的缺陷。因此,文中在研究BP算法的基础上,详细推导了小波神经网络算法,为小波神经网络的广泛应用奠定基础。3.5篇名：基本BP神经网络算法改进研究作者：顾润龙文献来源：中国知网 电子技术与软件工程 2013/15主要

12、内容：BP神经网络是人工神经网络的一个重要分支,它是人工神经网络科学的精华所在,它对于促进人工神经网络科学的发展具有重要意义。本文对BP神经网络算法的改进进行了一定的分析。3.6篇名：An elitist non-dominated sorting genetic algorithm enhanced with a neural network applied to the multi-objective optimization of a polysiloxane synthesis process作者： Renata Furtuna, Silvia Curteanu, Florin Leo

13、n文献来源：ACM(美国计算机学会全文数据库) Aug. 2011 Engineering Applications of Artificial Intelligence 卷次: 24 刊期: 5主要内容：本文提出了一种原始的软件实现的精英非支配排序遗传算法（ NSGA-II ），应用和适应聚硅氧烷合成过程的多目标优化。一个优化的前馈神经网络，建模中的过程的主要参数随时间的变化，来计算NSGA-II的矢量目标函数，作为一个增强的多目标优化过程。原始技术被利用，以寻找最大化NSGA-II的性能最合适参数。该算法提供了适宜的反应条件（反应温度，反应时间，催化剂用量和量助催化剂），它最大限度地提高反

14、应转化率和最小化所得到的粘度分子量及所希望的分子量之间的差异。该算法已被证明能够找到整个非支配Pareto前沿和迅速发展的最优解作为彼此竞争的目标之间的可接受的折衷。3.7篇名：A novel training algorithm for RBF neural network using a hybrid fuzzy clustering approach作者：Antonios D. Niros, George E. Tsekouras 文献来源：ACM(美国计算机学会全文数据库) Apr. 2012 Fuzzy Sets and Systems 卷次: 193主要内容：本文介绍了一种新的基于

15、聚类算法训练高斯型径向基函数神经网络。相较于现有的方法中，我们开发了一个专门的学习策略，结合模糊和清晰集群的优点。清脆的集群是一个快速的过程。另一方面，模糊聚类减少了初始化的依赖性，但是，它构成了一个慢的学习过程。所提出的战略目标是搜索中这两种不同的潜在影响进行权衡。所生产的集群具有模糊和清晰的区域，因此，最终的结果是一个混合的分区，这里的模糊和清晰的条件下共存。该混合簇直接参与了神经网络的参数的估算过程。具体地，基函数的中心元素与聚类中心重合，而各自的宽度是由考虑到混合簇的拓扑计算。为此，网络的设计变得快速和有效的程序。所提出的方法被成功地应用于许多实验的情况下，其中所产生的网络被证明是高度

16、精确的。四、 综述4.1该课题研究的意义智能计算将探索智能的新概念，新理论，新方法和新技术，而这一切将在以后的发展中取得重大成就。人工神经网络特有的非线性适应性的信息处理能力，克服了传统人工智能方法对于直觉信息处理方面的缺陷（如模式、语音识别、非结构化信息等），使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。人工神经网络与其它现代计算方法相结合，是推动人工智能和信息处理技术不断发展的一个重要动力。4.2目前国内外研究

17、现状人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。神经网络在2个方面与人脑相似：(1)人工神经网络获取的知识是从外界环境中学习得来的。(2)互连神经元的连接强度，即突触权值，用于存储获取的信息。他既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。神经网络理论是巨量信息并行处理和大规模并行计算的基础。几种典型的人工神经

18、网络模型4.2.1 反向传播（BP）神经网络BP网络是一种有监督的前馈运行的人工神经网络! 它由输入层/隐含层/输出层以及各层之间的节点的连接权所组成，这个学习过程的算法由信息的正向传播和误差的反向传播构成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层,每一层神经元只影响下一层神经元的输出。如果不能在输出层得到期望的输出，则转入反向传播, 运用链数求导法则将连接权关于误差函数的导数沿原来的连接通路返回, 通过修改各层的权值使得误差函数减小。4.2.2 Hopfield神经网络基本的Hopfield神经网络是一个由非线性元件构成的全连接型单层反馈系统。网络中的每一个神经元都将

19、自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。所以Hopfield神经网络是一个反馈型的网络。其状态变化可以用差分方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。能量函数表征网络状态的变化趋势，并可以依据Hopfield工作运行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成网络的能量函数，把问题的变量对应于网络的状态，那么Hopfield神经网络就能够用于解决优化组合问题。Hopfield神经网络的能量函数是

20、朝着梯度减小的方向变化，但它仍然存在一个问题，那就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点而到达全局最小点，因而无法求得网络最优解，这可以通过模拟退火算法或遗传算法得以解决。4.2.3 随机型的神经网络为求解全局最优解提供了有效的算法。模拟退火算法(Simulated Annealing)的思想最早是由Metropolis等人于1953年提出的。但把它用于组合优化和VLSI设计却是在1983年由SKirkpatrick等人和VCemy分别提出的。模拟退火算法将组合优化问题与统计力学中的热平衡问题类比，开辟了求解组合优化问题的新途径。Boltzmann机(Bohzmann Ma

21、chine)模型采用模拟退火算法，使网络能够摆脱能量局部极小的束缚，最终达到期望的能量全局最小状态。但是这需要以花费较长时间的代价来得到。为了改善Boltzmann机求解速度慢的不足，最后出来的Gaussion机模型不但具备HNN模型的快速收敛特性，而且具有Bohzmann的“爬山”能力。Gussion机模型采用模拟退火算法和锐化技术，使之能够有效地求解优化及满足约束问题。4.2.4 自组织神经网络神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序图。这种有序图也称之为特征图，它实

22、际上时一种非线性映射关系，它将信号空间中各模式的拓扑关系几乎不变地反映在这张图上，即各神经元的输出响应上。由于这种映射是通过无监督的自适应过程完成的，所以也称它为自组织神经网络。人工神经网络经过多年的发展，应用研究也取得了突破性进展，范围正在不断扩大，其应用领域几乎包括各个方面。半个世纪以来，这门学科的理论和技术基础已达到了一定规模，就应用的技术领域而言有计算机视觉，语言的识别、理解与合成，优化计算，智能控制及复杂系统分析，模式识别，神经计算机研制，知识推理专家系统与人工智能。涉及的学科有神经生理学、认识科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、动力学、生物电子学等。美国、

23、日本等国在神经网络计算机软硬件实现的开发方面也取得了显著的成绩，并逐步形成产品。 人工神经网络在数据挖掘中主要应用于数据的分类和预测，在分类方法中，与传统的统计方法相比，神经网络具有很强的学习能力，极大地提高了分类的精度和预测的准测度。人工神经网络与支持向量机、遗传算法、随机森林等其他先进算法的结合，产生更为精确地算法，在R的galgo包（主要应用于生物信息学）中已经体现出来。4.3课题研究发展趋势4.3.1 人工神经网络模型的研究 利用神经生理与认知科学研究人类思维以及智能机理和利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能。如：稳

24、定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，如：神经网络动力学、非线性神经场等。4.3.2 人工神经计算和进化计算要把基于链接主义的神经网络理论、基于符号主义的人工智能专家系统理论和基于进化论的人工生命这3大研究领域，自发而有机的结合起来。建立神经计算和进化计算的数学理论基础。“并行分布处理(PDP)”具有自学习、自适应和自组织的特点，这是一种提高计算性能的有效途径，是神经网络迫切需要增强的主要功能，必须加以重视，同时，还应寻找其他有效方法，建立具有计算复杂性、网络容错性和坚韧性的计算理论。进一步研究调节多层感知器的算法，使建立的模型和学习算法成为适应性神经网络的有力工具，构建多层感

25、知器与自组织特征图级联想的复合网络，是增强网络解决实际问题能力的一个有效途径，重视链接的可编程性和通用性问题的研究，从而促进智能科学的发展。4.3.3 神经网络计算机的实现神经网络结构和神经元芯片的作用将不断扩大。神经网络结构的研究是神经网络的实现以及成功地实现应用的前提，又是优越的物理前提，他体现了算法和结构的统一 是硬件和软件的混合体，未来的研究主要是针对信息处理功能体，将系统、结构、电路、器件和材料等方面的知识有机地结合起来，建构有关的新概念和新技术，在硬件实现上，研究材料的结构和组织，使他具有自然地进行信息处理的能力。4.4 参考文献1胡守仁等.神经网络导论M.长沙:国防科技大学出版社,1993.113117.2 靳蕃等.神经网络与神经计算机原理、应用.西南交通大学出版社,1991.12.3 张立明.人工神经网络的模型及其应用.复旦大学出版社,1993.7.4龚安，张敏.BP网络自适应学习率研究【J】.科学技术与工程，2006,6(1):64-66.word文档 可自由编辑