联邦学习FL+激励机制+区块链论文阅读3

这篇具有很好参考价值的文章主要介绍了联邦学习FL+激励机制+区块链论文阅读3。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

FIFL: A Fair Incentive Mechanism for Federated Learning

FL公平激励机制(多中心FL,无区块链)

论文资源已免费上传

问题

1)没有与其花费的资源相匹配的奖励,设备就没有兴趣参加训练。

2)防范恶意员工——上传无意义的更新进行破坏,防范低水平与搭便车者——获得奖励大于为系统带来的收入。

本文设计

       公平奖励员工,以吸引可靠高效的员工;同时基于动态实时员工评估机制惩罚和消除恶意员工。根据两个指标表征工人的评估结果:1)贡献和2)声誉。贡献衡量员工对系统的效用,声誉是员工在一段时间内产生有用更新的概率,两者结合决定奖励诚实员工(或惩罚攻击者)的金额。

系统模型

1  联邦学习

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

         多中心FL,在所有设备都中选择M个设备成为服务器 。其基本训练流程为

        1.1)局部训练以获得局部梯度;

        1.2)局部梯度分为M个切片;

        1.3)工作者将并行的局部梯度切片发送到相应的服务器;

        2.1)每个服务器聚合一个梯度切片;

        2.2)服务器并行地计算全局梯度切片;

        1.4)服务器广播全局梯度切片,工作人员下载它们;

        1.5)工人重组全局梯度切片以获得完整的全局梯度;

        1.6)工人用全局梯度更新局部模型。

2  攻击检测-信誉-贡献-奖励四大模块

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

       攻击检测模块接收工人的梯度并消除有害的梯度。其次,声誉模块基于工人的历史检测结果的序列来测量工人的声誉。之后,贡献模块计算工人的效用。最后,激励模块基于声誉指标和贡献指标确定员工奖励的份额。所有中间结果和执行人的签名都存储在区块链中。

1)攻击检测模块:旨在识别和消除攻击者,通过检查异常梯度识别攻击者。

      工人i的局部梯度表示为

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

      其中N为工人数,Di为工人i的训练数据集包含样本数ni  ,(x,y)为特定训练样本的对应特征和标签,θ为模型参数,Li为i的损失,一个损失函数,用于测量预测标签F(θ,x)和真实标签y之间的距离。

      工人i的检测分数:

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

       其中Lt为测试损耗,Gi是要检测的梯度;,G为诚实工人的基准梯度,Gi是i的局部梯度,〈G,Gi〉 是梯度的相似距离。

      由于每个服务器聚合一个梯度切片,我们聚合来自服务器的检测分数以生成无偏检测结果。具体而言,工人i的全局检测分数为:

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

    其中 是评估工作者i的服务器j的检测分数, 是由工作者i产生并由服务器j聚合的梯度切片。

设置一个超参数阈值Sy来筛选攻击者,即

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

        Sy在检测攻击者时控制检测精度和误报率之间的权衡,建议任务发布者在FL培训之前,通过验证集上的简短测试过程来确定Sy。

2)信誉模块:SLM方法

        使用联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习 即(积极事件、消极事件和不确定事件)衡量员工的信誉。

        由攻击检测模块可知,ri=1则为积极事件;ri=0则是一个负事件;不确定事件包括网络传输故障和无法识别的梯度。服务器统计每个周期内积极事件、消极事件和不确定事件的数量,我们用Pn表示负面事件的数量,用Pt表示正面事件的数量。在工人i的梯度Gi的检测结果为ri=0,则Pni=Pni+1,否则Pti=Pti+1。

        工人i信任和不信任分数计算为:

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

        其中St表示可信分数,Sn表示不可信分数,Su是梯度传输错误率。

        工人i在一个时间间隔内的声誉计算为:

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

         其中αt、αn、αu是加权参数。

        为了动态和客观地衡量员工的声誉,我们通过考虑时间衰减来扩展SLM。具体而言,较旧的事件权重较小,而最近的事件权重较大。将声誉的时间衰减因子设置为γ。工人i在时间t+1的声誉计算如下:

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习    

       其中Ri(t)是工人i在时间t的声誉,γ控制声誉对当前事件Ri(t+2)的敏感性

3)贡献模块:基于局部梯度和全局梯度之间的距离来计算工人的贡献    

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

        其中Dis()是欧几里德范数 。

        假设G0是所有值都为0的梯度,对系统没有效用,为了计算相对贡献,我们设置阈值,以区分正贡献和负贡献。

      工人i的贡献为:

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

        其中如果bi≤ bh,贡献为正,如果bi>bh,贡献为负。

       对于阈值的设置,我们可以选择一个合适工人i作为基准,则贡献高于工人i的任何工人j可以获得利润,而其他工人无法获得利润。这一门槛有效地阻止了搭便车和效用低于要求的工人加入联盟。

4)激励模块:信誉×奖励

       贡献是衡量每个迭代中工人效用的指标。声誉是反映工人在产生有用梯度方面的可信度的指标。任务发布者将奖励份额确定为贡献和声誉的乘积,工人i的奖励份额为

联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习

        其中, 符号决定是否奖励或惩罚工人, 联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习是训练迭代中的总正贡献,联邦学习的激励机制,联邦学习FL论文阅读,区块链,论文阅读,智能合约,去中心化,机器学习 是工人i贡献的权重。文章来源地址https://www.toymoban.com/news/detail-781520.html

到了这里,关于联邦学习FL+激励机制+区块链论文阅读3的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 关于联邦学习和激励的相关概念(1)

    在FL的场景中,参与者可能不情愿参与没有补偿的训练因为这会导致它白白损失资源来训练模型以及承受隐私泄露的风险。同时,激励机制还可以减少信息不对称(server和worker)造成的负面影响。一个优秀的激励机制可能有以下特征: 激励可协调、可信 :每个worker都可以获得

    2024年01月19日
    浏览(40)
  • 【联邦学习论文阅读】常用算法理解(SCAFFOLD、FedPD、FedBN)-目前仅SCAFFOLD

    SCAFFOLD(ICML-2020):SCAFFOLD: Stochastic Controlled Averaging for Federated Learning FedPD:https://arxiv.org/abs/2005.11418 FedBN(ICLR 2021):FEDBN: FEDERATED LEARNING ON NON-IID FEATURES VIA LOCAL BATCH NORMALIZATION 1… 梯度 实际上是对用户数据进行函数变换,在训练数据时携带信息,可能有泄露梯度隐私的风险。

    2023年04月20日
    浏览(38)
  • 联邦学习((Federated Learning,FL)

    每日一诗: 题竹(十三岁应试作于楚王孙园亭) ——明*张居正 绿遍潇湘外,疏林玉露寒。 凤毛丛劲节,只上尽头竿。 近期在阅读联邦学习领域相关文献,简单介绍如下文。本文仅供学习,无其它用途。如有错误,敬请批评指正! 一、联邦学习(Federated Learning,FL): 举目

    2024年02月06日
    浏览(35)
  • 【论文阅读】1 SkyChain:一个深度强化学习的动态区块链分片系统

    1.1 文献标题 SkyChain: A Deep Reinforcement Learning-Empowered Dynamic Blockchain Sharding System 1.2 作者 中山大学系统科学与工程学院,广州中国数据与计算机学院 香港理工大学计算学系,中山大学数字生活国家工程研究中心 1.3 年份 :2020年8月 1.4 期刊 :ICPP 1)分片是将网络划分为多个不相

    2024年02月03日
    浏览(48)
  • 【阅读笔记】联邦学习实战——联邦学习视觉案例

    FATE是微众银行开发的联邦学习平台,是全球首个工业级的联邦学习开源框架,在github上拥有近4000stars,可谓是相当有名气的,该平台为联邦学习提供了完整的生态和社区支持,为联邦学习初学者提供了很好的环境,否则利用python从零开发,那将会是一件非常痛苦的事情。本篇

    2023年04月08日
    浏览(36)
  • 联邦学习的安全机制

    《联邦学习实战》(杨强等著)读书笔记 1、基于同态加密的安全机制 作为一种不需要将密文解密就可以处理密文的方法,同态加密是目前联邦学习系统里最常用的隐私保护机制,例如横向联邦学习里基于同态加密的安全聚合方法、基于同态加密的纵向联邦学习、基于同态加

    2024年02月06日
    浏览(32)
  • 基于区块链的分层联邦学习

    分层联邦学习(HFL)在保留联邦学习(FL)隐私保护优势的同时,减轻了通信开销,具有高带宽和丰富计算资源的优点。当FL的工作人员或参数服务器不可信或恶意时,方法是使用分层联邦学习。 IEEE Access QIMEI CHEN1, (Member, IEEE), ZEHUA YOU1, JING WU1, YUNPENG LIU1, and HAO JIANG1 2022 (端边

    2024年02月03日
    浏览(31)
  • 基于区块链的联邦学习工作流程

    1.初始化(Initialization) :从预定义好的目标函数和全局梯度中随机选择参数。 2.本地模型更新(Local model update) :终端设备根据所需的迭代次数来训练本地模型。 3.本地模型上传(Local model upload) :矿工与终端设备进行绑定。终端设备上传本地模型参数给矿工,同时上传相

    2024年02月05日
    浏览(43)
  • 关于边缘联邦学习的研究方向以及现状综述阅读笔记

    预准备知识: 什么是联邦学习? 联邦学习非常适合边缘计算应用程序,可以利用 边缘服务器计算能力 以及在广泛 分散的边缘设备上收集数据 。 为了建立联邦边缘学习系统,需要应对多种技术挑战。 联邦学习(Federated Learning):技术角度的理解 综述原文链接: A survey of

    2024年02月02日
    浏览(40)
  • 隐私增强计算,区块链结合联邦学习实现数据共享

    目录 区块链结合联邦学习实现数据共享 隐私增强计算 什么是隐私增强计算 平台功能

    2024年02月11日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包