【联邦学习+区块链】FLchain: Federated Learning via MEC-enabled Blockchain Network

这篇具有很好参考价值的文章主要介绍了【联邦学习+区块链】FLchain: Federated Learning via MEC-enabled Blockchain Network。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


论文地址:https://ieeexplore.ieee.org/document/8892848


1. Introduction

传统的联邦学习中,移动设备根据本地的数据样本进行本地模型的更新,并将其发送至中央服务器。中央服务器将接收到的模型更新进行聚合,并更新全局模型。移动设备获取更新后的全局模型,进而进行本地模型的下一次更新。这种方式存在弊端,数据存储以及数据计算依赖于中央服务器的可靠性。区块链是一种按时间顺序、去中心化、可追溯且不可变的账本技术。以区块链替换中心服务器是解决上述问题的有效方案。区块链和联邦学习的结合实现了一种实用的高鲁棒性的去中心化模型训练方案,保证了用户数据的隐私性。训练好的模型参数能够安全地存储在区块链中,对未经授权的访问和恶意行为具有万无一失的抵抗能力。此外,区块链还能够安全地保存模型的来源和时序信息。


2. Preliminaries and Definition

A. Channel Fabric引入了信道(channel)的概念,用于实现至少两个peer之间的隔离通信。只有与信道相关联的peer才有权在信道内读取、提交和验证交易。每个信道都有一个单独的账本。在FLchain中,对于每个全局模型,都会创建一个带有创世块的新信道,存储特定的分类账。创世块存储了全局学习模型的初始权重、权重的维度、超参数、激活函数和偏置。

B. Global Model State Trie 类似于以太坊中追踪账户状态的“Account State Trie”,文章提出了“Global Model State Trie”来追踪FLchain中全局模型的权重。每个channel都有自己的Global Model State Trie,以键值对的方式存储权重(key:权重位置,vlaue:权重系数)。权重系数与区块的生成同步更新。在达成共识后,Global Model State Trie为全局模型提供更新的权重系数。


3. System Model

FLchain的架构如 F i g . 1 Fig.1 Fig.1所示,包含移动终端和边缘设备。移动终端基于本地数据计算本地模型更新。边缘设备具有两种功能:首先,为网络资源受限的移动终端提供网络资源。其次,作为FLchain区块链网络中的节点。

联邦学习 区块链,隐私保护机器学习,区块链,论文阅读,物联网,联邦学习,隐私保护

每个全局模型 M j M_j Mj在单独的信道中进行训练。FLchain中可用的信道集合表示为 C = { 1 , 2 , 3 , . . . , C n } C = \{1,2,3,...,C_n\} C={1,2,3,...,Cn} C n C_n Cn表示FLchain中可用信道的数量, D j D_j Dj表示信道 j j j中注册设备的数量。由边缘设备组成的区块链网络将来自用户设备的本地模型更新以区块的形式存储在特定信道的独立区块链上。区块链网络还计算并安全地将全局模型更新储存在Merkle Patricia Tree上的特定信道账本中。


4. Blockchain operations in FLchain

A l g o r i t h m   1 Algorithm \ 1 Algorithm 1展示了针对信道 j j j的FLchain操作。 F i g . 3 Fig.3 Fig.3展示了通道 j j j中设备 i i i的FLchain的操作流程图。

联邦学习 区块链,隐私保护机器学习,区块链,论文阅读,物联网,联邦学习,隐私保护

联邦学习 区块链,隐私保护机器学习,区块链,论文阅读,物联网,联邦学习,隐私保护

A. Initialization 为每个新的全局模型的训练创建一个新的信道。初始权重参数和其他必要的配置被设置并存储在创世块中。 j j j表示信道, M j M_j Mj表示信道 j j j中所训练的全局模型。FLchain能够应用到任何模型的训练,文中考虑模型 M j M_j Mj为线性回归模型。 D j D_j Dj表示与信道 j j j相关联的设备集合。 S i , j S_{i,j} Si,j信道 j j j中设备 i i i所拥有的样本集合。 S j = ⋃ i ∈ D j S i , j S_j=\bigcup_{i\in D_j } S_{i,j} Sj=iDjSi,j,表示信道 j j j中所有设备的总样本集合, ∣ S j ∣ = N S , j \left | S_j \right | =N_{S,j} Sj=NS,j,表示信道 j j j中总样本数量。学习目标为基于全部样本 s z ∈ S j s_z \in S_j szSj, s z s_z sz= { x z \{x_z {xz, y z y_z yz} 最小化损失函数 L ( ω ) L(\omega ) L(ω),最佳权重参数为 ω j ∗ \omega_j^* ωj ω j \omega_j ωj d d d维列向量,表示信道 j j j的全局模型权重向量。全局迭代t=0时的初步权重参数是从预定范围内随机选择的。全局权重参数: ω j ( 0 ) \omega_j(0) ωj(0),设备 i i i的本地权重参数 ω i , j ( 0 ) \omega_{i,j}(0) ωi,j(0)

联邦学习 区块链,隐私保护机器学习,区块链,论文阅读,物联网,联邦学习,隐私保护

B. Channel Inquiry 当一个设备 i i i想加入FLchain的特定信道时,首先需要进行信道查询;随后,可用信道的列表 C C C由区块链网络发送给移动设备。

C. Channel Selection 当设备 i i i想加入某个特定的全局模型训练时会进行信道查询。一旦拥有可访问的信道列表 C C C,便可针对特定的全局模型选择相关的信道 c i c_i ci。设备 i i i选择的频道 c i c_i ci使用 j j j表示。

D. Device Registration 如果设备 i i i还没有注册,设备需要为其事先选定的信道注册。注册完毕后,设备会被分配私钥和公钥,通过这些私钥和公钥便可以向信道提交其修订的本地模型权重。 P r i i , j Pri_{i,j} Prii,j P u b i , j Pub_{i,j} Pubi,j表示为信道 j j j中设备 i i i所分配的私钥和公钥。

E. Local Model Update 在完成设备注册或收到计算本地模型下一次更新的通知后,设备通过其相关的边缘节点从区块链网络下载最新的全局模型参数 ω j ( t − 1 ) \omega_j(t-1) ωj(t1) t t t表示当前全局模型迭代,需要在信道 j j j中计算(不同的信道迭代次数可能不同)。对于每个全局模型迭代 t t t,设备 D i D_i Di的局部模型更新 V V V个epochs。在本地模型的epoch v v v,设备 i i i的本地模型通过stochastic variance reduced gradient(SVRG)更新。 η > 0 \eta >0 η>0为step-size,在 V V V个本地epochs后可得 ω i , j ( t ) = ω i , j V ( t ) \omega_{i,j}(t)= \omega_{i,j}^V(t) ωi,j(t)=ωi,jV(t)。本地模型更新 ω i , j ( t ) \omega_{i,j}(t) ωi,j(t)由设备 i i i决定,并以交易的形式转发给区块链网络。 t r a n s i , j ( t ) trans_{i,j}(t) transi,j(t)表示信道 j j j中设备 i i i在第 t t t轮迭代中生成的交易,由设备的私钥 P r i i , j Pri_{i,j} Prii,j签名。交易数据包括 ( ω i , j ( t ) , { ▽ l z ( ω j ( t ) ) } s z ∈ S i , j ) (\omega_{i,j}(t),\{\bigtriangledown l_z(\omega_j(t))\}_{s_z \in S_{i,j}}) (ωi,j(t),{lz(ωj(t))}szSi,j)

联邦学习 区块链,隐私保护机器学习,区块链,论文阅读,物联网,联邦学习,隐私保护

​F. Transaction Pool 所提交的交易被积累在交易池(mempool)中。区块链网络中的peers都拥有针对特定信道的交易池。这些交易被验证、核实和认证。在每次全局模型迭代中,信道 j j j所关联设备等待时间 T w a i t , j T_{wait,j} Twait,j,以便积累交易池中交易的数量。由于网络延迟,交易池中的交易可能会延迟。原本前一全局模型更新中合用的事务不能用于计算下一个全局模型更新,这些事务会被丢弃。

G. Global Model Update 经过等待时间 T w a i t , j T_{wait,j} Twait,j后,信道 j j j中的peers通过竞争来生成新区块。全局模型状态树被确定,用于安全存储全局模型参数 ω j ( t ) \omega_j(t) ωj(t)。模型聚合通过distributed approximate Newton-type 方法实现。

联邦学习 区块链,隐私保护机器学习,区块链,论文阅读,物联网,联邦学习,隐私保护

H. Consensus Protocol 在矿工广播最新区块后,区块链中peers必须验证区块交易,并检查更新的全局模型状态树的正确性。peers从区块内的交易中计算自己的全局模型状态树,并对照广播的区块验证全局模型状态树的根。如果区块有效,则区块链网络需达成共识,相对应的矿工被认定为winner。如果区块是无效的,那么区块将被拒绝。winner所广播的最新区块在共识阶段会被添加到对应信道的账本中。每个区块链节点都会计算、验证和确认全局模型状态树,以达成共识,所以基于区块链的FL比典型的FL更加可靠和稳健。

I. Analysis 在每次全局模型迭代之后都要进行分析,以检查FL是否已经达到了预期的结果。停止的标准可以在每个FL任务的基础上定义。对于 M j M_j Mj来说FL过程持续 T T T轮全局迭代直到 ∣ ∣ ω j ( T ) − ω j ( T − 1 ) ∣ ∣ 2 ≤ ε t h r e s h o l d , j ||\omega_j(T)-\omega_j(T-1)||_2 \le \varepsilon_{threshold,j} ∣∣ωj(T)ωj(T1)2εthreshold,j ε t h r e s h o l d , j \varepsilon_{threshold,j} εthreshold,j为预定义好的常量,数值大于0。


5. Evaluation

FLchain为每个全局模型的学习提供一个单独的信道。用于存储本地模型更新的共识和分类账是针对信道的。全局模型状态树也是在每个信道基础上维护的。

全局模型状态树可以安全无误地将全局模型权重存储在 Merkle Patricia Tree 中。全局模型状态树可以在从创世区块到顶部区块的迭代中被生成和验证。

在FLchain中,全局模型的更新由区块链网络进行计算、验证和存储,无需中心服务器,具有较强的鲁棒性。文章来源地址https://www.toymoban.com/news/detail-787362.html

到了这里,关于【联邦学习+区块链】FLchain: Federated Learning via MEC-enabled Blockchain Network的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【联邦学习(Federated Learning)】- 横向联邦学习与联邦平均FedAvg

    横向联邦学习也称为 按样本划分的联邦学习 ,可以应用于联邦学习的各个参与方的数据集有相同的特征空间和不同的样本空间的场景,类似于在表格视图中对数据进行水平划分的情况。 例如,两个地区的城市商业银行可能在各自的地区拥有非常不同的客户群体,所以他们的

    2023年04月19日
    浏览(42)
  • 联邦学习((Federated Learning,FL)

    每日一诗: 题竹(十三岁应试作于楚王孙园亭) ——明*张居正 绿遍潇湘外,疏林玉露寒。 凤毛丛劲节,只上尽头竿。 近期在阅读联邦学习领域相关文献,简单介绍如下文。本文仅供学习,无其它用途。如有错误,敬请批评指正! 一、联邦学习(Federated Learning,FL): 举目

    2024年02月06日
    浏览(41)
  • 014 A Peer-to-Peer Payment System for Federated Learning(FedCoin:联邦学习点对点支付系统 区块链 Shapley Value)

    方法:FedCoin 目的:解决 SV的计算既费时又费钱的问题 结论: Fed-Coin可以通过精确计算SVs来提升联邦学习参与者的高质量数据,并给出了达成区块共识所需计算资源的上限,为非数据所有者提供了在联邦学习中发挥作用的机会。 局限性:(关于区块链 非研究领域仅了解了下

    2023年04月11日
    浏览(38)
  • 【论文导读】- Cluster-driven Graph Federated Learning over Multiple Domains(聚类驱动的图联邦学习)

    Cluster-driven Graph Federated Learning over Multiple Domains 原文链接:Cluster-driven Graph Federated Learning over Multiple Domains:https://openaccess.thecvf.com/content/CVPR2021W/LLID/papers/Caldarola_Cluster-Driven_Graph_Federated_Learning_Over_Multiple_Domains_CVPRW_2021_paper.pdf Federated Learning (FL) deals with learning a central model (i.e.

    2024年02月03日
    浏览(57)
  • 【论文导读】- SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks(去服务器的多任务图联邦学习)

    SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks 原文链接:SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks:https://arxiv.org/abs/2106.02743 Graph Neural Networks (GNNs) are the first choice methods for graph machine learning problems thanks to their ability to learn state-of-the-art level repr

    2024年01月16日
    浏览(43)
  • 论文笔记:Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems

    会议来源:IEEE TRANSACTIONS ON INFORMA TION FORENSICS AND SECURITY , VOL. 17, 2022 1.分布式机器学习在海量数据上实现了更大模型的训练,但仍然容易受到安全和隐私泄露的影响 2.保护隐私的联邦学习方案之一是使用同态加密方案(如Paillier),对局部梯度进行加密,但局部梯度难以计算和传输

    2024年02月04日
    浏览(39)
  • Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems论文笔记

    总述:本文提出了一种PBFL的方案,可以用来验证用户上传的梯度信息(主要使用到的是余弦相似性),过滤恶意用户的梯度;并且可以防止服务器的单点故障,利用区块链使得协议的执行更加的透明。 本文的主要贡献:因为之前使用的同态加密方案存在低效的问题(具体而

    2024年01月22日
    浏览(43)
  • A Blockchain-Enabled Federated Learning System with Edge Computing for Vehicular Networks边缘计算和区块链

    摘要:在大多数现有的联网和自动驾驶汽车(CAV)中,从多辆车收集的大量驾驶数据被发送到中央服务器进行统一训练。然而,在数据共享过程中,数据隐私和安全没有得到很好的保护。此外,集中式体系结构还存在一些固有问题,如单点故障、过载请求、无法容忍的延迟等

    2024年02月05日
    浏览(37)
  • 【论文笔记 | 异步联邦】Asynchronous Federated Optimization

    Asynchronous Federated Optimization,OPT2020: 12th Annual Workshop on Optimization for Machine Learning,不属于ccfa 任务激活不频繁(比较难以达成条件):对于弱边缘设备,学习任务只在设备空闲、充电、连接非计量网络时执行 通信不频繁:边缘设备和远程服务器之间的连接可能经常不可用、缓

    2024年04月27日
    浏览(40)
  • 基于区块链的分层联邦学习

    分层联邦学习(HFL)在保留联邦学习(FL)隐私保护优势的同时,减轻了通信开销,具有高带宽和丰富计算资源的优点。当FL的工作人员或参数服务器不可信或恶意时,方法是使用分层联邦学习。 IEEE Access QIMEI CHEN1, (Member, IEEE), ZEHUA YOU1, JING WU1, YUNPENG LIU1, and HAO JIANG1 2022 (端边

    2024年02月03日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包