思维进化计算的描述与研究成果综述.doc
《思维进化计算的描述与研究成果综述.doc》由会员分享,可在线阅读,更多相关《思维进化计算的描述与研究成果综述.doc(24页珍藏版)》请在沃文网上搜索。
1、思维进化计算的描述与研究成果综述思维进化计算的描述与研究成果综述*国家自然科学基金资助项目(项目编号:60174002)。孙承意孙承意,男,教授,IEEE高级会员,北京城市学院人工智能研究所所长。研究方向为进化计算,计算机视觉,模式识别等。电话: 010-62322704; E-mail: scy。,周秀玲,王皖贞(北京城市学院人工智能研究所,北京100083)摘 要:思维进化计算(Mind Evolutionary Computation, MEC)是孙承意于1998年提出的一种新的进化计算方法。它模仿人类思维中趋同、异化两种思维模式交互作用,推动思维进步的过程。MEC多方面的性能优越,这是
2、由于采用“趋同”和“异化”操作代替GA的选择、交叉和变异算子以及MEC与GA不同的运行机制:记忆机制、定向机制和探测与开采功能之间的协调机制。本文给出MEC迄今为止最完整的描述。由于篇幅所限,本文仅简单介绍MEC的主要研究成果。关键词:进化计算;思维进化计算;趋同;异化161. 引 言上个世纪六十年代,美国密歇根大学的J. Holland教授和他的学生们提出了遗传算法(Genetic Algorithms, GA)并逐渐为人们所接受12。德国柏林工业大学的I. Rechenberg和H. P. Schwefel采用生物变异的思想优化物体形状并逐渐形成进化策略 (Evolutionary Str
3、ategies, ES) 3。以后又出现了进化规划(Evolutionary Programming, EP)、遗传编程(Genetic Programming, GP)。后来,把这一类算法统称进化计算(Evolutionary Computation, EC)或进化算法(evolutionary algorithms (EA))。进化计算与其它众多的算法相比,具有鲜明的特色,这就是“群体”和“进化”,它们给研究人员以广阔的想象空间。EC模拟生物的进化过程,发展了一类通用的算法。由于它的独特的原理和极强的解决问题能力,获得了许多学者的重视与研究。EC的主要特点是:1) 随机性,随机优化算法可以
4、解决非线性系统的全局最优化问题;2) 自适应性,自适应方法可以解决机器学习问题;3) 并行性,并行算法具有高的计算效率。这三个特点使得EC的研究和应用迅速成为国际学术界和工程界关注的热点。在上个世纪的90年代,EC被关注的程度非常高。其原因是EC与众不同的特色、广阔的发展前景;也是因为EC存在的缺陷及发展余地。不断有EC的各种算法的改进算法提出,EC一直没有停止发展的脚步。但是,EC存在的问题和缺陷也不能忽视。在早期人们就注意到早熟问题1,也是许多学者关注、研究的问题。另一个重要问题是EC的计算效率的问题。针对这些问题,提出了许多改进的算法,如结构遗传算法4采用层次结构对染色体进行编码,并允许
5、冗余基因存在,因而使GA具有避免早熟的能力和适应时变环境的性能;自主基因进化算法 (selfish gene algorithm) 5强调进化的基本单位是基因而不是个体。在生物学或生态学中,小生境(Niche)或小生态是指特定环境下的一种生活环境。借鉴此概念可以让遗传算法中的个体在一个特定的生存环境中进化,即在遗传算法中可以引进小生境的概念。发展了两类方法,它们是基于预选择(Preselection)的小生境实现方法6,以及据此所发展出来的基于排挤机制(crowding)的小生境实现方法7,基于共享机制(sharing)的小生境实现方法等8。小生境GA是一类重要的GA,明显改善了GA的性能。采
6、用多个群体,可以提高计算效率9,缓解早熟问题10。改进的GA还有很多, 如模拟退火与GAs结合 11,遗传算法与免疫相结合12等,无法一一列出。针对EC存在的问题并受到EC的新研究进展的启发,孙承意于1998年提出思维进化计算 (Mind Evolutionary Computation, MEC) 13。尽管人们的思维在不同的领域有不同的特点和规律,根据我们的观察,有两种思维模式普遍存在于各个领域的思维活动中,它们称之为趋同和异化。趋同指的是采用现有的、他人的思维方式或方法解决问题。但可能不是完全机械地模仿别人,其中关注的角度可能有所不同、处理的方法可能有小的变化或改进,使现有的思维方式和方
7、法更为成熟。异化指的是摆脱常规的思维方式和方法,提出新的观点、新的思考方法、新的解决问题的途径或提出新的问题、开拓新的领域。这种与常规思维方式有明显区别的思维模式,能够对思维的进步有较大的推动。这两种不同思维模式的交互作用推动了人类的思维越来越快的前进。最近几十年,科学、经济的之所以能够得到前所未有的迅速发展的原因之一就是人类更自觉地把握趋同与异化的互动。MEC就是模仿人的这种趋同与异化两种思维模式交互作用,推动思维进步的过程。而进化计算的其它方法,如GA,模仿的是生物的进化过程。可以期望,MEC的计算效率要高于进化计算的其它方法。2. MEC算法描述MEC是一种通过迭代不断进化的计算方法。进
8、化的每一代中所有个体的集合称为一个群体。一个群体分为若干个子群体。公告板(billboard)为个体之间和子群体之间交流信息提供了机会。子群体内的个体在局部公告板(local billboard)张贴各自的信息。全局公告板(global billboard)用于张贴各子群体信息。在局部范围内,从一个初始中心开始,子群体的个体为成为胜者而竞争的过程叫做趋同运算。一个子群体在趋同过程中,若不再产生新的胜者,则称该子群体已经成熟。当子群体成熟时,该子群体的趋同过程结束。子群体从诞生到成熟的期间叫做生命期。该操作进行局部信息的开采。在整个解空间内,个体或子群体为成为全局的胜者而竞争的过程叫做异化。该操
9、作有两个方面的功能:异化操作I(简称:异化I),在全局散布的个体中,选择最好的一些个体作为新子群体的初始中心;异化操作II(简称:异化II),在成熟子群体得到的局部最优解中选择最好的作为当前的全局最优解。显然,这个操作进行信息的全局勘探。在MEC中,趋同和异化操作是交替工作的:异化操作I通过全局竞争,为子群体选择较好的初始解作为子群体的初始中心;每个子群体从初始中心开始,通过趋同操作找到一个局部最优解;异化操作II从趋同操作得到的最优解中选择最好的解作为全局最优解。这个交替作用就是MEC的基本原理,也是MEC具有高计算效率,并且具有好的收敛性能的原因。在MEC中,没有单独的选择操作,但是在进化
10、操作趋同和异化中都包含有选择,这与GA是不同的。在早期MEC叫做基于思维进化的机器学习(Mind-Evolution-Based Machine Learning, MEBML)。后来接受国内外一些学者的建议,改为现在的名称,其内容完全没有变化。用伪码表示的基本的、全串行的用于数值优化的MEC算法模型如下:算法描述中使用的符号:第个子群体的尺寸;:算法中同时存在的子群体个数;:异化操作I中的选择比例;:被释放的子群体的个数,或叫做待创建的子群体数;:被释放的个体数;:第个子群体迭代的代数; :第个子群体在第代的中心。/* Procedure of MEC */1.,全局公告板初始化2. whi
11、le( 不满足终止条件 )3. if()4. 在整个解空间均匀散布个个体5. 计算这些个体的得分6. 选择最好的个个体,分别作为个子群体的初始中心,7. end if8. 9. for每一个子群体的中心10. 在的周围,按某个分布函数散布个个体11. 计算这些个体的得分12. 从这个个体中选择最好个体作为子群体新的中心13. end for14. for每个子群体15. if(子群体已成熟 ) 16. if(子群体的得分优于全局公告板的一个解)17. 该子群体得到的局部最优解替代全局公告板中较差的解18. end if19. 释放该子群体的全部个体,记录被释放的子群体序号20. end if2
12、1. end for22. end while趋同操作的停止准则:某子群体的得分在连续的若干代内没有增长,我们就认为该子群体成熟,趋同操作停止。MEC的停止准则:若连续若干个成熟子群体得到的解不优于全局公告板所记录的所有的解,MEC停止。趋同操作是局部搜索,包括步骤913。异化操作定义为全局搜索,它包含两个功能:异化I由算法中步骤37实现;异化II由步骤1421步实现。下面给出MEC形式化描述,其中IR :实数空间; IN :整数空间。MEC= IR目标函数 IN 算法同时存在的子群体数。 IN 被释放的子群体数。(见:说明1) IN 异化操作I选择比例(实数/整数)IR n ,子群体的初始中
13、心异化操作I。(见:说明2) 第个子群体 IN 第个子群体的尺寸 IR 子群体内个体的散布宽度 散布个体时使用的密度函数 IR, ,趋同操作得到的局部最优解。(见:说明5),第个子群体的趋同操作,。(见:说明2):趋同操作的停止准则。(见:说明4) IR, , MEC得到的全局最优解 异化操作II,。其中是所需要的全局最优解的数目。(见:说明5):MEC的停止准则。(见:说明6)说明:1. 在程序开始时,。2. 异化操作在整个解空间散布个个体,选择其中的个优胜者作为子群体的初始中心。3. 在趋同操作中,第个子群体从开始搜索到一个局部最优解。趋同操作是局部竞争,从一个初始中心(初始解)开始,通过
14、局部的精细搜索,得到一个局部最优解。每个子群体的趋同操作要选择合适的参数,保证不丢掉局部最优解解。4. 在趋同操作中,若连续若干()代不产生新的优胜者,则该子群体成熟,得到一个局部最优解,该子群体的趋同操作停止。当有子群体成熟时,子群体和其中的个体被释放,记被释放的子群体数为。重新执行异化操作I,重新创建个子群体。5. 从趋同操作得到的个局部最优解中选择最好的解为全局最优解。在MEC满足停止准则前,所需要的局部最优解的个数是不可预知的。6. 若连续产生的若干()个局部最优解都劣于已经找到的个全局最优解,MEC停止。7. 异化操作是进行全局竞争,包括两个功能:为趋同操作寻找叫好的初始解(异化操作
15、I),从趋同操作得到的个局部最优解中选择个全局最优解(异化操作II)。8. 算法同时存在的子群体数()的选择主要取决于计算机内存的容量,对MEC的性能没有影响。若选择小的值,需要重复异化的次数多,反之,则重复的次数少。3. 采用MEC求解优化问题由于篇幅所限,本节只简单介绍MEC的研究成果,给出结论,算法原理及详细的实验数据请参考有关文献。3.1 MEC的计算效率与收敛率研究采用数十个进化计算中经常使用的测试函数进行测试,大量的实验研究1415 1617表明, MEC的计算效率与收敛性能比简单遗传算法(SGA)、小生境遗传算法,如:顺序小生境(SN)18,适应度共享(SH)8及决定性排挤(DC
16、)19等算法,有明显的提高。MEC的计算量(用个体评价次数表示)一般是对照算法的50%以下。随着函数复杂程度的增加,对照算法个体评价次数快速增加,而MEC个体评价次数增加的较慢。实验结果中MEC最多可降低到对照算法的10%以下。表示算法性能的另一个度量是收敛性能,并且很多人更关心这一性能。多次运行各个算法,在MEC100%收敛的代数上,对照算法的收敛率(收敛次数/运行次数)一般在40%或以下。3.2 MEC趋同与异化策略的开发1999年开发出两种高效的趋同策略。线-空间趋同20能够提高MEC在高维解空间中的搜索能力,拟合趋同21可以大大改善MEC在噪声环境下的计算效率。2000年开发出多种高效
17、率的异化策略,它们是基于优胜群体最大格式的异化策略、单纯形异化策略、启发式异化策略、区域收缩异化策略和群体竞争异化策略16。2001年开发了三种异化策略。使用拒绝域的异化策略22记录趋同操作搜索过的区域,防止在异化过程中再次搜索同一个区域,比基本MEC的搜索效率提高20%以上。避免搜索同峰的异化策略23在异化操作中确定新的子群体中心时,不允许与已经存在的子群体中心处在同一个峰(吸引域)内,比基本的MEC的搜索效率提高15%以上。另一个是峰半径的异化策略(PRDS)2425。在解决真实世界问题时,人们感兴趣的问题除了寻找一个全局最优解外,有时还需要寻找所有的全局最优解,即所谓多峰优化问题。采用P
18、RDS异化策略的MEC叫做PRMEC,对于多峰优化问题性能优越。PRMEC的主要做法是:当子群体成熟时,记录这些子群体中心(即局部最优解)的信息;在异化操作I中,在整个解空间散布个体时,落入以这些局部最优解为中心、半径为的圆内的个体不计算得分也不参与竞争,因而形成子群体的时候,各子群体中心之间的距离大于,以避免重复搜索,从而提高效率。文献25报告了PRMEC进行多峰优化的实验结果。实验中使用了文献26 中的M1-M8八个测试函数,其中测试函数M7、M8搜索空间为=,峰的数量约为,全局峰的数量为32。M7、M8通常被叫做复杂欺骗函数。与顺序小生境(SN)、适应度共享(SH)及决定性排挤(DC)算
19、法相比较,30次运行时,PRMEC的平均计算量是上述三个算法中最好的结果的50%以下。对于测试函数M8,PRMEC的计算量仅是对照算法最好结果的8.8%,可见PRMEC计算效率之高。除了与上述小生境方法比较之外,文献25还将PRMEC与2002年提出的物种保留遗传算法(SCGA)27的性能进行了比较。SCGA是一个改进的小生境遗传算法,适合于多峰优化问题。SCGA的主要步骤是: 1)确定中的称为种子的占优个体;2)选择新一代的群体;3)对运用遗传算子;4)评价群体;5)在每个物种中找新的种子且保存到下一代,从而产生新的一代。采用与27中相同的测试函数,PRMEC的计算量仅为SCGA的12.2%
20、-36.9%。3.3 求解非数值优化问题的MEC 对于非数值(组合)优化问题,最大团问题 (Maximum Clique Problem, MCP) 28、TSP29、Job-shop30、神经网络优化31及系统动态建模等典型问题32,都成功地解决了MEC求解各组合优化的编码问题以及个体、趋同、异化策略的构造问题,并比进化计算其他方法解决同样问题时的性能(解的精度、计算效率和收敛性能)优越。说明MEC具有良好的适应性和拓展性。在求解MCP中,开发了MCP-MEC1算法。使用DIMACS (Discrete Mathematics & Theoretical Computer Science)
21、提供的几十个基准图来测试MCP-MEC1算法的性能。和当前解决最大团问题最好的方法RLS3334、采用GA求解MCP最好的算法HGA35,以及DIMACS组织的所提供最好结果DIMACS Best进行比较。实验结果表明,MCP-MEC1算法的优化性能优于HGA,与RLS相当,是当前求解最大团问题的最好的启发式算法之一。4. 趋同过程分析我们分析了MEC的趋同过程以及密度函数对趋同性能的影响363738。首先定义了吸引域,在给定的趋同条件下,在多次运行中,经过趋同操作能够重复地收敛到某个局部最优解的所有起点的集合叫做该局部最优解的吸引域。吸引域的大小的度量叫作吸引域的尺寸。这里的趋同条件包括子群
22、体的规模、个体散布的密度函数形式及其参数。在定义中还要求能够重复地收敛到该局部最优解,这是因为MEC 是随机的算法,在给定的趋同条件下能够确定地收敛到该局部最优解的起点才属于该局部最优解的吸引域。每个局部最优解都有一个吸引域。我们把趋同过程分为两个阶段,第一阶段是子群体的中心逐步向局部最优解靠近的过程,第二阶段是在局部最优解附近逐步提高解的精度的过程。在趋同过程的第一阶段,平均寻优步长为: (1) 其中是个体在区间内散布的概率密度函数,为定义域的宽度,如果密度函数的定义域是无界的,需要定义一个有效宽度;是的分布函数而。第一阶段所需的迭代次数为: (2) 其中L表示搜索起点距局部最优解的距离,表
23、示自变量误差限。第二阶段所需的迭代次数为 。 (3)上述分析给出了MEC趋同过程与初始位置、分布的区间、精度以及子群体规模之间的关系,并与实验数据吻合。得出的结论可以指导MEC的应用。 图1 采用不同密度函数时趋同操作的搜索计算量图1 采用不同密度函数时趋同操作的搜索研究表明,采用不同的密度函数散布个体,对趋同过程没有明显的影响37。图1给出采用4种密度函数(高斯、余弦、三角和均匀分布)时趋同操作的性能。其中余弦、三角和均匀密度函数的定义域为,在图1中用横坐标表示。而高斯密度函数的定义域是,我们令,是高斯密度函数的标准差,这时为有效宽度。图1的纵坐标是搜索到最优解所需的个体评价次数,是100次
- 1.请仔细阅读文档,确保文档完整性,对于不预览、不比对内容而直接下载带来的问题本站不予受理。
- 2.下载的文档,不会出现我们的网址水印。
- 3、该文档所得收入(下载+内容+预览)归上传者、原创作者;如果您是本文档原作者,请点此认领!既往收益都归您。
下载文档到电脑,查找使用更方便
10 积分
下载 | 加入VIP,下载更划算! |
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 思维 进化 计算 描述 研究成果 综述