机器学习中四类进化算法的详解(遗传算法、差分进化算法、协同进化算法、分布估计算法)

这篇具有很好参考价值的文章主要介绍了机器学习中四类进化算法的详解(遗传算法、差分进化算法、协同进化算法、分布估计算法)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、遗传算法(Genetic Algorithm,GA)

GA算法原理

首先我们来介绍进化算法的先驱遗传算法,遗传算法(Genetic Algorithm,简称GA)是一种最基本的进化算法,它是模拟达尔文生物进化理论的一种优化模型,最早由J.Holland教授于1975年提出。遗传算法中种群分每个个体都是解空间上的一个可行解,通过模拟生物的进化过程,进行遗传、变异、交叉、复制从而在解空间内搜索最优解。

GA算法步骤

Step 1 种群初始化:根据问题特性设计合适的初始化操作(初始化操作应尽量简单,时间复杂度不易过高)对种群中的N个个体进行初始化操作;

Step 2 个体评价:根据优化的目标函数计算种群中个体的适应值(fitness value);

Step 3 迭代设置:设置种群最大迭代次数 ,并令当前迭代次数 =1 ;

Step 4 个体选择:设计合适的选择算子来对种群 P(g) 个体进行选择,被选择的个体将进入交配池中组成父代种群 FP(g) ,用于交叉变换以产生新的个体。选择策略要基于个体适应值来进行,假如要优化的问题为最小化问题,那么具有较小适应值的个体被选择的概率相应应该大一些。常用的选择策略有轮盘赌选择,锦标赛选择等。

Step 5 交叉算子:根据交叉概率 pm (预先指定,一般为0.9)来判断父代个体是否需要进行交叉操作。交叉算子要根据被优化问题的特性来设计,它是整个遗传算法的核心,它被设计的好坏将直接决定整个算法性能的优劣。

Step 6 变异算子:根据变异概率 pc (预先指定,一般为0.1)来判断父代个体是否需要进行变异操作。变异算子的主要作用是保持种群的多样性,防止种群陷入局部最优,所以其一般被设计为一种随机变换。

通过交叉变异操作以后父代种群 生成了新的子代种群 ,令种群迭代次数+1 ,进行下一轮的迭代操作(跳转到Step 4),直至迭代次数达到最大的迭代次数。

通过交叉操作,原始的两个个体组合生成了两个新的个体组合,这就相当于在解空间进行搜索,每个个体都是解空间的一个可行解。

差分进化算法,进化算法EA,算法,机器学习,人工智能

在进行完一轮「遗传变异」之后,我们用适应度函数对这些新的后代进行验证,如果函数判定它们适应度足够,那么就会用它们从总体中替代掉那些适应度不够的染色体。

当达到如下几个条件,则终止循环 1. 在进行 X 次迭代之后,总体没有什么太大改变。 2. 我们事先为算法定义好了进化的次数。 3. 当我们的适应度函数已经达到了预先定义的值。

2、差分进化算法(Differential Evolution,DE)

DE算法原理

差分进化算法(Differential Evolution,DE)于1997年由Rainer Storn和Kenneth Price在遗传算法等进化思想的基础上提出的,本质是一种多目标(连续变量)优化算法(MOEAs),用于求解多维空间中整体最优解。DE算法也属于智能优化算法,与启发式算法,如ABC,PSO等类似,都属于启发式的优化算法。差分进化思想来源即是早期提出的遗传算法(GeneticAlgorithm,GA),模拟遗传学中的杂交(crossover)、变异(mutation)、复制(reproduction)来设计遗传算子。

差分进化算法相对于遗传算法而言,相同点都是通过随机生成初始种群,以种群中每个个体的适应度值为选择标准,主要过程也都包括变异、交叉和选择三个步骤。不同之处在于遗传算法是根据适应度值来控制父代杂交,变异后产生的子代被选择的概率值,在最大化问题中适应值大的个体被选择的概率相应也会大一些。而差分进化算法变异向量是由父代差分向量生成,并与父代个体向量交叉生成新个体向量,直接与其父代个体进行选择【也就是变异和选择操作与差分向量有关系,而差分向量是与随机选择的三个个体有关系】。显然差分进化算法相对遗传算法的逼近效果更加显著。

DE算法步骤

 看详解:差分向量(Differential Vector)【差分进化算法】_HealthScience的博客-CSDN博客

差分进化算法,进化算法EA,算法,机器学习,人工智能

DE的群体由突变和选择过程驱动。突变过程,包括突变和交叉操作,这两步操作被设计用于利用或探索搜索空间,而选择过程被用于确保有希望的个体的信息可以进一步利用。

3、合作协同进化算法(Cooperative Co-Evolution Algorithm,CCEAs)

合作协同进化算法”思想来自于“协同进化”:两方在不断影响和发展的过程

差分进化算法,进化算法EA,算法,机器学习,人工智能

分组思想 和 小生境共享(Niche Sharing)有异曲同工之妙(【IEEE CIM 2023】基于多目标进化算法的抗菌肽设计方法_HealthScience的博客-CSDN博客)

分组中的多个个体合作 与“6、共同进化:在合作与竞争中共同成长”是一样的思想(【NMI 2021】从生物学角度看进化计算(6个生物进化特征)_HealthScience的博客-CSDN博客)

CCEAs算法原理

CCEAs(合作协同进化算法)是一个求解大规模优化问题的算法,该算法采取“分而治之”的策略。对于一个优化问题,依变量分解成若干组问题,分组优化,且各分组间进行合作协同,共同完成整个问题的优化。该算法是一种在传统遗传算法基础上,对其进行改进优化,提出的保留优异群体的协同进化遗传算法。

复杂问题分解为子问题,子问题在进化的子种群中解决,个体的评估依赖于子种群间的合作,由各子种群的代表性个体组合而得完整的解决方案。个体在子种群的适应度由其在完整解决方案的参与来评估。

CCEAs的优点:

  1. 问题分解后可通过并行计算提速,提高优化效率;
  2. 子问题在子种群独立解决,方法多样;
  3. 分解成子模块,增加对模块错误的鲁棒性;
  4. 正确的分解能够减缓决策变量的迅速增加。

CCEAs算法步骤:

  1. 初始化:随机生成n个初始父代子群体,并创建一个空的外部集合 A ,把各子群体随机组合产生的解中的非支配解(人工智能中的一些术语_HealthScience的博客-CSDN博客加入A;设A的最大容量=M,子群体规模=N,交叉概率 =Pc,变异概率 =Pm;
  2. 繁殖操作:依次对每个父代子群体进行交叉和变异操作,生成n个子代子群体;
  3. 子群体间的合作:依次让子代子群体中的每个个体与父代子群体合作生成 一 个完整解,计算目标向量,并判断 该解是否应对外部集合A进行更新或是舍弃,直至处理完所 有子代子群体中的所有个体;
  4. 外部集合的裁减:若 |A|>M(|·|表示集合中元素 的个数 ),则对A进行裁减操作,移除那些具有最近邻居的解,使得A的大小变为 M,否则,若 |A|≤ M,则进入第 5 步;
  5. 新一代父代子群体的生成:若 |A|≤ N,则分别从每 个子代子群体中随机选取 N -|A|个个体,把其与A中所有解的相应分量合并构成下一代的父代子群体,否则,若 |A |>N,则从A中随机挑选 N个解,把其各分量合并作为下一 代父代子群体;
  6. 终止判断:若满足终止条件,则把外部集合A作为最终求得的非支配解集 (近似 Pareto 最优解集 )输出,算法 终止,否则, 转至第 2 步进入新一代的进化。

差分进化算法,进化算法EA,算法,机器学习,人工智能

4、分布估计算法(Estimation of Distribution Algorithm,EDA)

EDA算法原理

遗传算法是对于个体进行遗传操作(交叉、变异等),“微观”层面模拟生物的进化。

分布估计算法是对于整个群体的分布建立一个概率模型,通过这个概率模型来描述进化的方向,是“宏观”层面的模拟。
差分进化算法,进化算法EA,算法,机器学习,人工智能

 分布估计算法的概念最初在1996年由H. Muhlenbein提出,主要思想就是把自然进化算法和构造性数学分析方法相结合,以指导对问题空间的有效搜索

分布估计算法本质上是一种基于概率模型的新型进化算法,遗传算法与统计学习相结合,是自然计算的又一典型实现模式。它通过对当前找到的较优个体集合建立概率模型来引导算法下一步的搜索范围,并从所获得的较优解的概率分布函数中抽样产生出新的个体。打个比方,我每天不知到吃啥,第一周我在后街随便吃了10家店,觉得ABCD这四家店很好吃,那么第二周的时候我更可能选择ABCD这四家店及其旁边的店,这这周发现ABE这几家好吃,然后下周我更可能去这几家店及其旁边的店,周而复返最后得出B家最好吃。

EDA算法流程

  1. 初始群体,并对每一个个体进行估值(适应度值计算);
  2. 根据个体估值,按照一定的选择策略从群体中选择较优的个 体;
  3. 根据选择的个体估计概率分布,建立相应的概率模型;
  4. 根据上一步估计得出的概率分布,采样产生新一代个体,并重新对每一个新个体进行适应度估值;
  5. 如果某准则满足,则算法停止;否则,返回步骤2.

差分进化算法,进化算法EA,算法,机器学习,人工智能

以上四类算法是进化类的优化算法,基本原理和思想都是在遗传算法的基础上引入不同的机制(多种群、概率分布等)文章来源地址https://www.toymoban.com/news/detail-708027.html

到了这里,关于机器学习中四类进化算法的详解(遗传算法、差分进化算法、协同进化算法、分布估计算法)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于差分进化算法的移动边缘计算 (MEC) 的资源调度分配优化(提供MATLAB代码)

    在所研究的区块链网络中,优化的变量为:挖矿决策(即 m)和资源分配(即 p 和 f),目标函数是使所有矿工的总利润最大化。问题可以表述为: max ⁡ m , p , f F miner  = ∑ i ∈ N ′ F i miner   s.t.  C 1 : m i ∈ { 0 , 1 } , ∀ i ∈ N C 2 : p min ⁡ ≤ p i ≤ p max ⁡ , ∀ i ∈ N ′ C 3 :

    2024年01月25日
    浏览(53)
  • 【无功优化】基于多目标差分进化算法的含DG配电网无功优化模型【IEEE33节点】(Matlab代码实现)

    💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 ​ 🎉3 参考文献 🌈4 Matlab代码、数据、文

    2023年04月16日
    浏览(46)
  • 【机器学习】强化学习(四)-时序差分学习

    蒙特卡洛算法需要使用完整的片段进行计算,这在有些问题中是不现实的,尤其是对于没有终止状态的问题。时序差分算法对此进行了改进 蒙特卡洛控制和时序差分学习有什么区别? 四、时序差分算法(Temporal Difference Learning, TD 学习) 4.1 时序差分(0) 4.2 Sarsa算法 4.3 Q学习

    2024年01月21日
    浏览(38)
  • 遗传算法详解

      遗传算法(Genetic Algorithm,GA)最早是由美国的 John holland于20世纪70年代提出,该算法是用于 解决最优化问题 的一种搜索算法。它是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,通过数学的方式,利用计算机仿真运算,将问题的求解过程转

    2024年02月05日
    浏览(72)
  • 基本遗传算法(GA)详解

    遗传算法由John H.Holland教授提出,为一种全局优化算法。它模拟自然进化与遗传理论,通过将优化问题进行转移,从而成功避免了一般优化算法中需要过多考虑的动力学信息问题,在原理上突破了常规的优化算法框架,算法结构较简单、处理信息能力较强,具有很好的鲁棒性

    2024年02月04日
    浏览(61)
  • 二维差分算法详解

    二维差分模板 给定一个n行m列的矩阵,下标从1开始。接下来有q次操作,每次操作输入5个参数x1, y1, x2, y2, k,表示把以(x1, y1)为左上角,(x2,y2)为右下角的子矩阵的每个元素都加上k。请输出操作后的矩阵。 第一行包含三个整数n,m,q。接下来n行,每行m个整数,代表矩阵的元素。接

    2024年01月20日
    浏览(39)
  • 差分算法及模板详解

    ⭐写在前面的话:本系列文章旨在复习算法刷题中常用的基础算法与数据结构,配以详细的图例解释,总结相应的代码模板,同时结合例题以达到最佳的学习效果。本专栏面向算法零基础但有一定的C++基础的学习者。若C++基础不牢固,可参考:10min快速回顾C++语法,进行语法

    2023年04月09日
    浏览(51)
  • 基于遗传算法求解机器人栅格地图路径规划问题matlab仿真

     ✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进, 代码获取、论文复现及科研仿真合作可私信。 🍎个人主页:Matlab科研工作室 🍊个人信条:格物致知。 更多Matlab完整代码及仿真定制内容点击👇 智能优化算法       神经网络预测       雷达通信    

    2024年01月22日
    浏览(57)
  • 详解遗传算法与生产作业调度

    🍎道阻且长,行则将至。🍓 根据遗传学的理论,生物的进化发展来源于三大动力:自然选择、遗传和突变。自然选择就是自然环境对不同表现型生物有不同的影响,使用适应度来度量这种影响,适应度较好的生物个体对环境亲和力较高,有较大的几率可以存活下来,而适应

    2023年04月23日
    浏览(40)
  • 【算法】—前缀和与差分详解

     前缀和指一个数组的某下标之前的所有数组元素的和( 即数列的前n项求和 ),前缀和是一种重要的 预处理 ,能够降低算法的时间复杂度,可以快速地求出某一段的和,对于处理区间之间的问题是往往十分高效 相比较其他算法而言, 前缀和更像是一种解题的技巧,一种优

    2024年02月04日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包