中山大学开源VeryFL:基于区块链的联邦学习实验框架
隐私计算、区块链已成为数据要素市场中的重要基础设施,2023年11月23日,国家数据局提出 “以数据空间、区块链、高速数据网为代表的数据流通设施打通数据共享流通堵点,以隐私计算、联邦学习等为代表的数据安全设施保障数据的安全。
联邦学习允许多个参与方在保护隐私的前提下共同训练一个全局模型,但存在单点故障、数据伪造、中心欺诈等可靠性问题,此外也存在模型窃取,盗用等侵犯训练者知识产权的行为。
VeryFL简介
VeryFL (A Verifiable Federated Learning Framework Embedded with Blockchain) 是中山大学·InPlusLab·陈川课题组在上述背景下开源的一套区块链联邦学习框架,VeryFL实现了联邦学习训练的一般流程,并通过内置区块链网络为相关实验提供运行环境。
VeryFL功能
3.1 联邦学习建模
和其他常见的联邦学习框架一样,VeryFL框架也提供诸如FedAvg,FedProx,Moon等多种联邦学习算法和CIFAR10,CIFAR100等基准图像分类数据集,通过内置的Benchmark模块,实验者可以调整一次实验的基本参数或是直接缺省的导入参数开始一次联邦学习训练。
3.2 区块链链上算法
VeryFL框架可通过智能合约快速部署验证区块链链上算法,借助Brownie SDK,框架向上为调用者提供了可以融合PyTorch的python接口。除了在设计链上算法时需要借助Solidity实现智能合约以外,在实验环境的任何地方,都可以使用Python接口与区块链(智能合约)进行交互。区块链模块为实验者提供了一个实现链上算法的环境,通过省去区块链搭建,网络配置等繁琐操作,使得研究人员可以将重心放在链上算法的开发上。
3.3 模型确权与交易
VeryFL底层基于PyTorch与Ethereum,并向上提供统一的Python接口。在联邦学习侧将训练流程模块化,方便后续拓展。在区块链侧通过智能合约与区块链交互。
▲ 图1. VeryFL的架构设计
VeryFL提供了详细的用户使用文档,如下图所示。
集成了区块链的联邦学习实验环境
VeryFL是搭载了区块链的联邦学习实验环境,在传统的联邦学习框架的基础上,增加了区块链的支持为相关实验提供帮助。
易于深度学习研究者调用的接口
VeryFL在与区块链的交互上仍然保持了python接口,这使得它可以与PyTorch框架共同工作。
易于扩展的模块化设计
V1.0 实现了基本的联邦学习算法与链上的智能合约策略,后续版本将把重点放在区块链智能合约端算法的实现以及区块链端的可视化上,同时会逐步增加更多经典的联邦学习算法。如果您愿意将您的联邦学习算法实现在VeryFL上,可以在Github页面上提出issue交由我们实现,或是直接提PR将您的实现merge到本项目中。
相关文献
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者