联邦聚合(FedAvg、FedProx、SCAFFOLD)-Toy模板网

这篇具有很好参考价值的文章主要介绍了联邦聚合(FedAvg、FedProx、SCAFFOLD)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

联邦聚合算法对比(FedAvg、FedProx、SCAFFOLD)

论文链接：

FedAvg：Communication-Efficient Learning of Deep Networks
from Decentralized Data

FedProx: Federated Optimization in Heterogeneous Networks

SCAFFOLD: SCAFFOLD: Stochastic Controlled Averaging for Federated Learning

联邦学习存在四个典型问题：

这几篇论文的重点都试图在解决上面四个问题，研究的重心是，如何在2、3、4的条件下，提出一种communication rounds最少的方法。

假设一共有 $K$ 个clients，每个clients都有固定容量的数据。在每轮训练开始的时候，随机 $C$ （ $C$ 表示占比）个clients参与训练。即考虑有clients掉线的实际情况。

联邦学习的目标是：

联邦聚合(FedAvg、FedProx、SCAFFOLD)

其中 $f_i(w) = \ell(x_i, y_i;w)$ 表示clients端的损失函数。

FedAvg算法就是在clients端进行多轮训练，然后server端对各个clients端的 $w$ 根据数据量占比进行聚合。算法流程如下：

联邦聚合(FedAvg、FedProx、SCAFFOLD)

FedProx对clients端的Loss加了修正项，使得模型效果更好收敛更快：

联邦聚合(FedAvg、FedProx、SCAFFOLD)

其中clients端的Loss为：

联邦聚合(FedAvg、FedProx、SCAFFOLD)

所以每轮下降的梯度为：

联邦聚合(FedAvg、FedProx、SCAFFOLD)

思想与FedProx类似，也是对梯度进行修正：

联邦聚合(FedAvg、FedProx、SCAFFOLD)

FedProx 与 SCAFFOLD都是用了一个全局模型去修正本地训练方向。

联邦聚合(FedAvg、FedProx、SCAFFOLD)

上图展示了达到0.5的test accuracy，各方法所需要的迭代轮数，SCAFFOLD是最快的。这是SCAFFOLD论文中做的对比实验，看起来FedProx没有达到宣称的效果。

需要的迭代轮数，SCAFFOLD是最快的。这是SCAFFOLD论文中做的对比实验，看起来FedProx没有达到宣称的效果。文章来源地址https://www.toymoban.com/news/detail-404438.html

到了这里，关于联邦聚合(FedAvg、FedProx、SCAFFOLD)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！