Redian新闻
>
中山大学开源VeryFL:基于区块链的联邦学习实验框架

中山大学开源VeryFL:基于区块链的联邦学习实验框架

公众号新闻

©作者 | GTML-Lab



隐私计算、区块链已成为数据要素市场中的重要基础设施,2023年11月23日,国家数据局提出 “以数据空间、区块链、高速数据网为代表的数据流通设施打通数据共享流通堵点,以隐私计算、联邦学习等为代表的数据安全设施保障数据的安全。



VeryFL的诞生背景

联邦学习允许多个参与方在保护隐私的前提下共同训练一个全局模型,但存在单点故障、数据伪造、中心欺诈等可靠性问题,此外也存在模型窃取,盗用等侵犯训练者知识产权的行为。


学界将区块链与联邦学习结合,希望借助区块链的去中心化特性,设计可靠联邦学习算法来解决上述问题。然而,由于目前基于区块链的联邦学习实验框架缺失,许多算法难以在真实区块链环境下进行验证。同时在产业界,联合训练数据的联邦学习与促进价值流通的区块链网络也逐渐成为发挥数据价值,推进数据流通性的重要技术路径。

VeryFL简介


VeryFL (A Verifiable Federated Learning Framework Embedded with Blockchain) 是中山大学·InPlusLab·陈川课题组在上述背景下开源的一套区块链联邦学习框架,VeryFL实现了联邦学习训练的一般流程,并通过内置区块链网络为相关实验提供运行环境。


VeryFL可以快速开启一次普通的联邦学习实验流程,同时也支持智能合约的区块链开发,为区块链联邦学习的研究者提供快速测试的环境。在区块链参与的联邦学习中,区块链为联邦学习提供全流程可验证的信息记录以消除各计算节点之间的信用成本。VeryFL提供结合模型水印算法的链上模型确权作为示例,在为区块链联邦学习提供支持的同时,提出一种区块链与联邦学习结合的新思路。


VeryFL功能


在项目的github页面提供了快速启动一次联邦学习实验的示例,下面介绍该框架所实现的功能。

3.1 联邦学习建模

和其他常见的联邦学习框架一样,VeryFL框架也提供诸如FedAvg,FedProx,Moon等多种联邦学习算法和CIFAR10,CIFAR100等基准图像分类数据集,通过内置的Benchmark模块,实验者可以调整一次实验的基本参数或是直接缺省的导入参数开始一次联邦学习训练。


3.2 区块链链上算法


VeryFL框架可通过智能合约快速部署验证区块链链上算法,借助Brownie SDK,框架向上为调用者提供了可以融合PyTorch的python接口。除了在设计链上算法时需要借助Solidity实现智能合约以外,在实验环境的任何地方,都可以使用Python接口与区块链(智能合约)进行交互。区块链模块为实验者提供了一个实现链上算法的环境,通过省去区块链搭建,网络配置等繁琐操作,使得研究人员可以将重心放在链上算法的开发上。


3.3 模型确权与交易

作为区块链结合联邦学习的例子,框架基于区块链的特点与FedIPR模型水印算法实现了代币化模型的流程。通过将唯一确定训练者模型的水印信息作为Token存储在智能合约中,网络中的训练客户端可以随时确定模型的所有权(即:模型是由谁训练出来的),并在交易双方协商后进行模型所有权的交易。将AI模型代币化上联也是释放模型价值,提高参与各方积极性的重要手段。


VeryFL的架构设计

VeryFL底层基于PyTorch与Ethereum,并向上提供统一的Python接口。在联邦学习侧将训练流程模块化,方便后续拓展。在区块链侧通过智能合约与区块链交互。



▲ 图1. VeryFL的架构设计

VeryFL提供了详细的用户使用文档,如下图所示。


▲ 图2. VeryFL开源文档Github页面


VeryFL的特点

集成了区块链的联邦学习实验环境

VeryFL是搭载了区块链的联邦学习实验环境,在传统的联邦学习框架的基础上,增加了区块链的支持为相关实验提供帮助。

易于深度学习研究者调用的接口

VeryFL在与区块链的交互上仍然保持了python接口,这使得它可以与PyTorch框架共同工作。

易于扩展的模块化设计


VeryFL的各个组件间的耦合性较弱,在最大化复用代码的基础上,方便了各种联邦学习算法的扩展。



未来版本

V1.0 实现了基本的联邦学习算法与链上的智能合约策略,后续版本将把重点放在区块链智能合约端算法的实现以及区块链端的可视化上,同时会逐步增加更多经典的联邦学习算法。如果您愿意将您的联邦学习算法实现在VeryFL上,可以在Github页面上提出issue交由我们实现,或是直接提PR将您的实现merge到本项目中。


相关文献

下面几篇论文介绍了VeryFL的设计: 
[1] [整体架构] VeryFL: A Federated Learning Framework Embedded with Blockchain (Arxiv 2023)
Link: http://106.52.19.28/resource/VeryFL.pdf
[2] [模型确权] Tokenized Model: A Blockchain-Empowered Decentralized Model Ownership Verification Platform (Arxiv 2023)
Link: http://106.52.19.28/resource/Tokenized.pdf
[3] [背景] Towards Reliable Utilization of AIGC: Blockchain-Empowered Ownership Verification Mechanism (OJCS 2023)
Link:https://ieeexplore.ieee.org/abstract/document/10254223
如下的几篇论文使用了VeryFL: 
[1] A blockchain-based decentralized federated learning framework with committee consensus (IEEE Network Magazine 2020)
Link: https://ieeexplore.ieee.org/abstract/document/9293091
[2] A decentralized federated learning framework via committee mechanism with convergence guarantee (TPDS 2022)
Link: https://ieeexplore.ieee.org/document/9870745

更多阅读



#投 稿 通 道#

 让你的文字被更多人看到 



如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。


总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 


PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。


📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算


📬 投稿通道:

• 投稿邮箱:[email protected] 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿


△长按添加PaperWeekly小编



🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧



·
·


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
NeurIPS 2023 | MixFormerV2:基于Transformer的高效跟踪器别相信念头,直接学习实相 | 学佛的两种境界:学理论与实修 之三AI Agents先行者CAMEL:第一个基于大模型的多智能体框架NeurIPS 2023 | FedFed:特征蒸馏应对联邦学习中的数据异构机器人领域首个开源视觉-语言操作大模型,RoboFlamingo框架激发开源VLMs更大潜能新加坡南洋理工大学招生!区块链技术理学硕士申请入学流程指南区块链重新定义财富,创下十亿美金企业家的“造富”神话“变态辣”,英文只会说 very very very very hot?小米发布 Vela 快应用开发工具 Aiot-IDE:基于微软 VS Code,仅支持 Ubuntu视频场景图生成任务新SOTA!中山大学提出全新时空知识嵌入框架,登顶刊TIP'24中山大学孙逸仙纪念医院风湿免疫科精准免疫转化创新中心招聘实验技术员我校与贵州省律师协会合作框架协议签约暨就业育人实习实践基地授牌仪式顺利举行顶刊TMM 2023!中科院提出CLIP-VG:基于自步课程学习实现CLIP在视觉语言理解与定位任务上的无监督迁移研究GauHuman开源:基于Gaussian Splatting,高质量3D人体快速重建和实时渲染框架6022 血壮山河之随枣会战 第三章 1中山二院“涉癌”实验室,未见明显拆除迹象!专家:建议尽快调查现存实验室数据城市级区块链基础设施启动上线,克而瑞成为首批签约“浦江数链”场景应用建设单位ICLR 2024 | 机器人领域首个开源视觉-语言操作大模型!RoboFlamingo框架激发开源VLMs更大潜能字节发布机器人领域首个开源视觉-语言操作大模型,激发开源VLMs更大潜能AI 热潮造成的芯片短缺有一个意料之外的救世主:区块链小米汽车定档!开源Vela!一文速览“遥遥领先”小米IoT生态大会NeurIPS 2023 | AI Agents先行者CAMEL:首个基于大模型的多智能体框架Nature:基于人工智能的开源软件,正在标准化显微镜生成数据的图像格式2025年我国将初步形成支撑区块链发展的标准体系Meet Better Me,男,中山大学,行政管理,月入1万+,91年,高168,广州天河旅行的风险和旅行保险使用Go语言搭建区块链基础夏婳:两情难相知(二十)南安普顿大学龚教授1v1科研-区块链在可持续供应链的运用|收获一作论文与导师推荐信!网传中山大学宋院士儿子高中就发3篇SCI,自主招生第一名进中山大学“2023 深圳国际金融科技大赛暨微众银行 2024 校园招聘宣讲会”走进深大:AI、区块链、产品经理的未来在何方?单枪匹马泛孤舟我做了6节提示学习实战论文课(附20G训练资料)理性思辨和经院神学后门准确率降至3%,主任务性能几乎不变!华工JHU提出全新「联邦学习后门攻击识别」解决方案|ICCV2023
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。