国科大《高级人工智能》沈老师部分—

这篇具有很好参考价值的文章主要介绍了国科大《高级人工智能》沈老师部分——行为主义笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

国科大《高级人工智能》沈老师部分——行为主义笔记

沈华伟老师yyds，每次上他的课都有一种深入浅出的感觉，他能够把很难的东西讲的很简单，听完就是醍醐灌顶，理解起来特别清晰

今年考试题目这部分跟往年基本一样，沈老师画的重点才是真的重点

一、蚁群优化算法

思想：局部随机搜索+自增强
基本原理：用蚂蚁的行走路径表示待优化问题的可行解，整个蚂蚁群体的所有路径构成待优化问题的解空间。
蚂蚁依概率选择侯选位置移动，在经过的路径上留下信息素，信息素会随时间挥发，且信息素浓度大的路径更易被选取。最终，整个蚂蚁会在正反馈的作用下集中到最佳的路径上，此时对应的便是待优化问题的最优解。
算法过程：对m只蚂蚁随机放在n个城市，按照公式选择下一个城市的概率，此时公式正比于信息素浓度；
所有蚂蚁周游完后，更新信息素（与路的长度、挥发速度相关）；
适用范围：一种离散的解空间搜索方法，适用于图中找最优路径

二、粒子群算法

思想：随机优化
基本原理：
- 每个粒子对应于一个可行解，粒子通过位置和速度表示（速度：下一步移动的方向和距离，位置：求解问题的一个解）
- 粒子根据对其他个体信息+位置的评价，更新自己的速度与位置；重复直到粒子群找到问题的最优解
算法过程：
- 1. 初始化粒子群：随机生成粒子的位置和速度；当前粒子最优位置全局最优位置
- 1. 循环直到满足条件
  - ①计算每个粒子的适应度函数
  - ②更新每个粒子历史最好适应度+相应位置，更新当前全局最好适应度+位置
  - ③更新粒子的速度和位置：速度 = 原速度倾向 + 回到历史最优位置的倾向 + 粒子群全局最优位置的倾向
适用范围：求解连续解空间的优化问题

三、多臂赌博机

优化目标：摇固定次数的臂，获得期望累计奖励最大
探索与优化关系：利用（即时奖励最大化） + 探索（长期奖励最大化）
乐观初值法：为每个行为赋一个高的初始估值，初期每个行为都有较大机会被explore
UCB：选择潜力大的行为：依据估值的置信上界行为选择（当前估值高+不确定性高）

四、马尔科夫决策过程

马尔科夫决策过程：采取行动a转变为下一状态后，获得奖励
要素：状态、行为、模型
奖励假设：最终目标能通过最大化累计奖励实现
贝尔曼方程
- 格子世界问题（见后）

五、策略学习

动态规划：

策略估值：策略=》估值
策略提升：根据当前估值=>新策略
策略迭代：从初始策略开始，迭代进行策略估值和策略提升，最终得到最优策略
估值迭代：从初始状态估值开始，进行估值迭代，找到最优状态估，进而根据最优估值，贪心得到最优策略

动态规划、蒙特卡洛、时序差分联系和区别（图）

动态规划：一层全展开
蒙特卡洛：基于经验，一条线
暴力搜索：全部展开
时序差分：基于经验自举，只有一步的一条线

六、博弈

博弈要素：局中人（策略制定者）、策略（可供局中人选择的行动方案）、效用函数（最大化自己的效用）
零和博弈：效用函数玩家收益之和为0（剪刀石头布）
最佳应对：针对其他人当前策略，自己当前策略优于自己其他策略
纳什均衡：相对其他局中人的最佳应对（谁动谁吃亏）
社会最优：和最优
帕累托最优：至少一人最优
囚徒困境：
- 帕累托最优决策组合：（坦白，抗拒），（抗拒，坦白）和（抗拒，抗拒）
- 纳什均衡策略组合：（坦白，坦白）不是帕累托最优
- 社会最优策略组合：（抗拒，抗拒）
拍卖：
- 首价：同时提交密封报价，选出价最高以出价购买；最优报价低于估价；人越多，报价越接近估价
  - 纳什均衡：每个竞拍者的报价低于其对商品的估价
- 次价：同时提交密封报价，选出价最高以第二高出价购买
  - 纳什均衡：每个竞拍者会倾向于采用其对商品的估价进行报价
讨价对象：双方对商品估值之差
maxmin、minmax策略：
- Maxmin：最大化自己最坏情况下的利益
- minmax：最小化对手最好情况下的利益
- 零和博弈时收益对偶
匹配市场：对于z： 7 5 2 - 5 2 0 = 2 3 0，3最大，选b
议价权
- 稳定结局：未配对的边收益和>=1
- 纳什议价解：
  - 剩余价值：1-x-y
  - A收益=(1+x-y)/2
  - B收益=(1+y-x)/2
- 均衡结局：任意配对边都满足
- 备选项：不与当前配对的话，能得到的最大收益

七、GNN卷积网络

spectral谱方法（数学方法）
- 将图的拉普拉斯矩阵的特征向量作为基底，将样本投影到该空间后，进行卷积操作
- 采用超参控制每次选择的相邻节点数量，对变化后的样本做 filter 和求加，再将输出结果进行拉普拉斯的逆变换，并输出非线性化后的结果
spatial空间方法（计算机方法）
- 从CNN向GCN卷积的k迁移问题在于，需要确定一个固定的邻域，后续卷积的定序、参数共享步骤都可以在确定邻域后解决
谱方法可以被定义为空间方法的一个子集
- 相较于空间方法在原始空间定义聚合函数，谱方法在规范后实质上是对变换到新的空间中的样本进行卷积
- 因此谱方法可以被看作是变换空间后的空间方法，其从属于空间方法这一类别。而谱方法将显式地写出了空间变换，空间方法直接将 kernel matrix 定义出来，未写明变换的空间

八、因果分析

d分离问题判断：
国科大高级人工智能沈华伟2023,学校课程,# 高级人工智能,人工智能

国科大高级人工智能沈华伟2023,学校课程,# 高级人工智能,人工智能

考试回忆

选择题：
- 人工智能三大分支
- 图灵测试
- 强化学习状态图选择蒙特卡洛方法
- 囚徒困境帕累托最优
- minmax和maxmin策略
- 图神经网络
- 最优匹配问题
- 因果模型图判断d分离
简答题：
- 描述蚁群优化算法 or 粒子群优化算法（万年不变）
应用题：
- 格子游戏（万年不变）
  - 贝尔曼方程 + 策略提升 + 求解最优策略