联邦学习的安全机制

这篇具有很好参考价值的文章主要介绍了联邦学习的安全机制。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

《联邦学习实战》(杨强等著)读书笔记

1、基于同态加密的安全机制

作为一种不需要将密文解密就可以处理密文的方法,同态加密是目前联邦学习系统里最常用的隐私保护机制,例如横向联邦学习里基于同态加密的安全聚合方法、基于同态加密的纵向联邦学习、基于同态加密的联邦迁移学习。

同态加密机制能够在不对密文解密的情况下计算密文(这样计算方就不需要了解明文内容,只要获得密文就可以了),可以很好地保护敏感数据和信息,同时又可以执行计算操作(例如在加密状态下地加减乘除四则运算)。也就是说,其他人可以对加密数据进行处理,但是处理过程不会泄露任何原始内容。同时,拥有解密密钥地参与方解密处理过的数据后,得到的结果正好是处理相应的明文的结果。

同态加密方法可以分为三类:部分同态加密、些许同态加密、全同态加密。不同的同态加密方案的计算复杂度区别很大。

2、基于差分隐私的安全机制

差分隐私采用了一种随机机制,使得当输入中的单个样本改变之后,输出的分布不会有太大的改变。差分隐私是在统计披露控制的场景下发展起来的。它提供了一种信息理论安全性保障,即函数的输出结果对数据集里的任何特定记录都不敏感。因此,差分隐私能被用于抵抗成员推理攻击。

按照数据收集方式的不同,当前的差分隐私可以分为中心化差分隐私和本地化差分隐私,它们的区别主要在于差分隐私对数据处理的阶段不同。中心化差分隐私在实际的应用中,有两个非常重要的性质:串行组合和并行组合。本地化差分隐私可以将数据隐私化的工作转移到每个参与方,参与方自己来处理和保护数据,进一步降低了隐私泄露的可能性。

中心化差分隐私是定义在任意两个相邻数据集的输出相似性上的,而本地化差分隐私是定义在本地数据任意两条记录的输出相似性上的。此外,本地化差分隐私同样继承了组合特性,即它同样满足并行组合和串行组合的性质。

目前实现差分隐私保护的主流方法是添加扰动噪声数据,中心化差分隐私采用的扰动机制可以包括拉普拉斯机制、高斯机制、指数机制等,而本地化差分隐私一般通过随机响应来实现。

在机器学习领域应用差分隐私算法,一个关键的问题是何时、何阶段添加噪声数据。为此,差分隐私算法根据噪声数据扰动使用的方式和使用阶段的不同,将其划分为下面几类:

  1. 输入扰动

  1. 目标扰动

  1. 算法扰动

  1. 输出扰动

3、基于安全多方计算的安全机制

安全多方计算(MPC)是密码学的一个子领域,目的是多个参与方协同地从每一方的隐私输入中计算某个函数的结果,而不用将这些输入数据展示给其他方。基于MPC,对于任何函数功能需求,我们都可以在不泄露除输出以外的信息的前提下计算它。

当前主要有三种常用的隐私计算框架,可以用来实现安全多方计算,它们分别是:秘密共享、不经意传输、混淆电路。

秘密共享就是指将要共享的秘密在一个用户群体里进行合理分配,以达到由所有成员共同掌管秘密的目的。在秘密共享系统中,攻击者必须同时获得一定数量的秘密碎片才能获得密钥,这种共享系统提高了系统的安全性。另外,当某些秘密碎片丢失或被毁时,利用其他的秘密份额仍然能够获得秘密,从而提高系统的可靠性。

不经意传输中接收方不能得知关于数据库的任何其他信息,发送方也不能了解关于接收方i的选择的任何信息。

混淆电路的思想是通过布尔电路的观点构造安全函数计算,使得参与方可以针对某个数值来计算答案,而不需要知道它们在计算式中输入的具体数字。因为GC的多方的共同计算是通过电路的方式实现的,所以这里的关键词是“电路”。实际上,所有可计算问题都可以转化为各个不同的电路,例如加法电路、比较电路、乘法电路等。而电路是由一个个门组成的,例如与门、非门、或门、与非门等。

混淆电路可以看成一种基于不经意传输的两方安全计算协议,它能够在不依赖第三方的前提下,允许两个互不信任方在各自私有输入上对任何函数进行求值。GC由一个不经意传输协议和一个分组密码组成。电路的复杂度至少是随输入内容大小的增大而线性增长的。

4、总结

本章介绍了联邦学习常用的三大安全机制,即同态加密、差分隐私和安全多方计算,它们也是密码学领域常用的安全策略,在与联邦学习结合使用的过程中,各自有优点和缺点。从计算性能、通信性能和安全性三个维度对它们进行综合比较如下:

  1. 计算性能:从计算的角度看,计算主要耗时在求取梯度上。对于同态加密,计算在密文的状态下进行,密文的计算要比明文的计算耗时更长;而差分隐私主要通过添加噪声数据进行计算,其效率与直接明文计算几乎没有区别;同理,秘密共享是在明文状态下进行的,计算性能基本不受影响。

  1. 通信性能:从通信的角度看,同态加密传输的是密文数据,密文数据比明文数据占用的比特数要更大,因此传输效率要比明文慢;差分隐私传输的是带噪声数据的明文数据,其传输效率与直接明文传输几乎没有区别;秘密共享为了保护数据隐私,通常会将数据进行拆分并向多方传输,完成相同功能的迭代。同态加密和差分隐私需要一次,而秘密共享需要多次数据传输才能完成。

  1. 安全性:注意,由于安全性的范围很广,这里我们特指在联邦学习场景中本地数据隐私的安全。虽然在联邦学习的过程中,我们是通过模型参数的交互来进行训练的,而不是交换原始数据,但当前越来越多的研究都表明,即使只有模型的参数或者梯度,也能反向破解原始的输入数据。结合当前的三种安全机制来保护联邦学习训练时的模型参数传输:同态加密由于传输的是密文数据,因此其安全性是最可靠的;秘密共享通过将模型参数数据进行拆分,只有当恶意用户端超过一定的数目并且相互串通合谋时,才有信息泄露的风险,总体上安全性较高;差分隐私对模型参数添加噪声数据,但添加的噪声会直接影响模型的性能(当噪声比较小时,模型的性能损失较小,但安全性变差;相反,当噪声比较大时,模型的性能损失较大,但安全性变强)。文章来源地址https://www.toymoban.com/news/detail-459608.html

到了这里,关于联邦学习的安全机制的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 联邦学习中的安全多方计算

    Secure Multi-party Computation in Federated Learning 安全多方计算就是许多参与方需要共同工作完成一个计算任务或者执行一个数学函数,每个参与方针对这个执行构建自己的数据或份额,但不想泄露自己的数据给其他参与方。 在安全多方计算中的定义包括以下几个方面: 一组有私有输

    2024年02月11日
    浏览(40)
  • 【阅读笔记】联邦学习实战——用FATE从零实现横向逻辑回归

    FATE是微众银行开发的联邦学习平台,是全球首个工业级的联邦学习开源框架,在github上拥有近4000stars,可谓是相当有名气的,该平台为联邦学习提供了完整的生态和社区支持,为联邦学习初学者提供了很好的环境,否则利用python从零开发,那将会是一件非常痛苦的事情。本篇

    2023年04月26日
    浏览(64)
  • PrimiHub 联邦学习大模型开源,打破数据限制,保护数据隐私安全

    ChatGPT 掀起的大模型热潮,让各界人士对人工智能大模型的关注度极速提高。 什么是大模型?大模型是指具有大量参数的深度神经网络模型,它们通常可以提供更强大的表达能力和泛化能力,从而提升各种智能服务的性能和质量。大模型在训练的过程中,会面临一个重大挑战

    2024年02月16日
    浏览(42)
  • HDFS中的Federation联邦机制

    当前的HDFS结构有两个主要的层: 命名空间(namespace) 由文件,块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构 块存储层 包括两部分: 块管理:namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟

    2024年02月14日
    浏览(42)
  • 深入理解联邦学习——纵向联邦学习

    分类目录:《深入理解联邦学习》总目录 假设进行联邦学习的数据提供方为 A A A 和 B B B ,第三方为 C C C ,则纵向联邦学习步骤如下: 在系统级做加密样本对齐,在企业感知层面不会暴露非交叉用户 对齐样本进行模型加密训练: 由第三方 C C C 向 A A A 和 B B B 发送公钥,用来

    2024年02月09日
    浏览(44)
  • 联邦学习是什么?联邦学习简介

    在大多数情况下,数据分散的保存在各个企业手中,而各个企业希望在不公开自己数据的情况下,联合其他企业(利用各个企业所持有的数据)一起训练一个模型,该模型能够帮助企业获取更大的利益。 对于收集零散的数据,传统的方法是通过搭建一个数据中心,在数据中心

    2023年04月16日
    浏览(40)
  • 【联邦学习(Federated Learning)】- 横向联邦学习与联邦平均FedAvg

    横向联邦学习也称为 按样本划分的联邦学习 ,可以应用于联邦学习的各个参与方的数据集有相同的特征空间和不同的样本空间的场景,类似于在表格视图中对数据进行水平划分的情况。 例如,两个地区的城市商业银行可能在各自的地区拥有非常不同的客户群体,所以他们的

    2023年04月19日
    浏览(43)
  • 深入理解联邦学习——联邦学习的分类

    分类目录:《深入理解联邦学习》总目录 在实际中,孤岛数据具有不同分布特点,根据这些特点,我们可以提出相对应的联邦学习方案。下面,我们将以孤岛数据的分布特点为依据对联邦学习进行分类。 考虑有多个数据拥有方,每个数据拥有方各自所持有的数据集 D i D_i D

    2024年02月09日
    浏览(41)
  • 机器学习&&深度学习——NLP实战(自然语言推断——注意力机制实现)

    👨‍🎓作者简介:一位即将上大四,正专攻机器学习的保研er 🌌上期文章:机器学习深度学习——NLP实战(自然语言推断——数据集) 📚订阅专栏:机器学习深度学习 希望文章对你们有所帮助 在之前已经介绍了什么是自然语言推断,并且下载并处理了SNLI数据集。由于许

    2024年02月11日
    浏览(38)
  • 【HDFS实战】HDFS联合(联邦)集群的发展史

    不管是之后的 NN与secondary namenode还是standby namenode其实实际运行的时候都是都可以抽象成以下的架构,因为active NN是唯一的。 HDFS拥有两个层 Namespace 由目录、文件和块组成。 它支持所有与命名空间相关的文件系统操作,例如创建、删除、修改和列出文件和目录。 Block Storage

    2024年02月11日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包