想相识风头正劲的联邦学习?这篇400多个参考文献综述论文满足你

时间:2021-09-13 06:43 作者:亚娱体育平台
本文摘要:选自arXiv作者:Peter Kairouz 等机械之心编译到场:魔王、杜伟联邦学习(Federated Learning,FL)指多个客户端在一其中央服务器下协作式地训练模型的机械学习设置,该设置同时保证训练数据去中心化。联邦学习使用局部数据收集和最小化的原则,能够降低使用传统中心化机械学习和数据科学方法带来的一些系统性隐私风险和成本。近期社区对联邦学习的研究泛起发作式增长,这篇论文探讨了联邦学习的近期希望,并展示了该领域所面临的开放性问题和挑战。

亚娱体育平台

选自arXiv作者:Peter Kairouz 等机械之心编译到场:魔王、杜伟联邦学习(Federated Learning,FL)指多个客户端在一其中央服务器下协作式地训练模型的机械学习设置,该设置同时保证训练数据去中心化。联邦学习使用局部数据收集和最小化的原则,能够降低使用传统中心化机械学习和数据科学方法带来的一些系统性隐私风险和成本。近期社区对联邦学习的研究泛起发作式增长,这篇论文探讨了联邦学习的近期希望,并展示了该领域所面临的开放性问题和挑战。

本论文作者来自澳大利亚国立大学、CMU、康奈尔大学、谷歌、香港科技大学等机构。原论文篇幅较长,机械之心举行了摘要编译。论文链接:https://arxiv.org/pdf/1912.04977.pdf引言联邦学习指多个客户端(如移动设备或整个组织)在一其中央服务器(如服务提供商)下协作式地训练模型的机械学习设置,该设置同时保证训练数据去中心化。

联邦学习使用局部数据收集和最小化原则,降低传统中心化机械学习方法带来的一些系统性隐私风险和成本。近期该领域在研究和应用层面都受到了极大关注。这篇论文将先容联邦学习的界说性特征和面临的挑战,重点先容重要的实践局限和考量因素,并枚举大量珍贵的研究偏向。

本论文旨在提出具备重大理论和实践意义的研究问题,勉励大家对这些问题展开研究,进而为现实世界带来庞大影响。联邦学习这一术语由 McMahan 等人在 2016 年首次提出:「我们将该方法命名为联邦学习,因为该学习任务是由多个到场设备(即客户端)的松散联邦在中央服务器的协调下解决的。」在大量通信带宽有限的不行靠设备上对不平衡和非独立同漫衍(non-IID)数据执行支解,这被认为是联邦学习面临的焦点挑战。

谷歌研究科学家 H. Brendan McMahan。在「联邦学习」这一术语问世之前,已经泛起大量相关研究事情。许多研究社区(包罗密码学、数据库和机械学习)追寻的恒久目的是:在不袒露数据的前提下,分析和学习漫衍于多个数据拥有者的数据。

亚娱体育平台

盘算加密数据的加密方法最早泛起于 20 世纪 80 年月早期,Agrawal 和 Srikant [15] 以及 Vaidya 等人 [390] 是使用中央服务器学习当地数据同时掩护隐私的早期研究。然而,纵然在「联邦学习」这一术语泛起以后,我们仍然发现没有一项研究能够直接解决联邦学习面临的全部挑战。因此,「联邦学习」这一术语简练地形貌了基于去中心化数据(这些数据具备极高的隐私性)的应用机械学习问题的特点、局限和挑战。

联邦学习的生长在于各学科的互助2019 年 6 月 17-18 日,在谷歌的西雅图办公室举行了一场关于联邦学习的研讨会,本论文基于这次研讨会写就。在为期两天的研讨会中,对换研联邦学习领域众多开放性挑战的综述论文的需求逐渐变得明晰。研讨会上讨论的许多问题都有一个焦点特性:它们本质上是跨学科的。解决这些问题不仅需要机械学习,还需要漫衍式优化、加密学、宁静、差分隐私、公正性、压缩感知、系统、信息论、统计学等学科的技术。

最难的问题泛起在这些学科的交织领域,因此本论文认为互助是促进联邦学习领域生长的必经之路。本论文的目的之一是:强调联合这些领域技术的方式,带来有趣的可能性和新的挑战。

「联邦学习」这一术语刚泛起时强调移动和边缘设备应用,现在人们对将联邦学习应用到其他应用的兴趣显著增长,包罗一些涉及少量相对可靠客户端的应用,如多个组织互助训练一个模型。研究者将这两种联邦学习设置划分称作「跨设备」(cross-device)和「cross-silo」。基于这些变体,本论文对联邦学习给出了一个更宽泛的界说:联邦学习是多个实体(客户端)协作解决机械学习问题的机械学习设置,它在一其中央服务器或服务提供商的协调下举行。

每个客户端的原始数据存储在当地,无法交流或迁移,联邦学习使用局部更新(用于立刻聚合 (immediate aggregation))来实现学习目的。局部更新(focused update)是仅限于包罗特定学习任务最少必须信息的更新。

聚合应在数据最小化服务中尽可能早地执行。我们注意到,该界说将联邦学习与完全去中心化的(peer-to-peer)学习技术区离开来。

亚娱体育平台

跨设备 FL、Cross-Silo FL 和传统单数据中心漫衍式学习关于掩护隐私的数据分析,这方面的研究已经举行了 50 余年,但在最近十年才泛起可以大规模部署的解决方案。现在,跨设备联邦学习和联邦数据分析已经在消费者数字产物中获得应用。谷歌在 Gboard 移动键盘、Pixel 手机功效和 Android Messages 中广泛使用联邦学习。

谷歌在跨设备联邦学习领域遥遥领先,但现在更广泛的群体对该领域发生了兴趣,例如:苹果在 iOS 13 系统中使用跨设备联邦学习,如 QuickType 键盘和「Hey Siri」的人声分类器等应用;doc.ai 正在开发适合医疗研究的跨设备联邦学习解决方案;Snips 探索针对热词检测的跨设备联邦学习。cross-silo 应用也在多个领域泛起,包罗再保险业务中的金融风险预测、药物研发、电子病历挖掘、医疗数据支解和智能制造。

对联邦学习技术不停增长的需求带来了大量可用的工具和框架,包罗 TensorFlow Federated [38]、Federated AI Technology Enabler [34]、PySyft [342]、Leaf [35]、PaddleFL [3。


本文关键词:想,相识,风头,正劲,的,亚娱体育平台,联邦,学习,这篇,400

本文来源:亚娱体育平台-www.onestopinjector.com