Redian新闻
>
如何实现高效联邦学习?跨终端、硬件加速等方案全都有

如何实现高效联邦学习?跨终端、硬件加速等方案全都有

公众号新闻


随着人类社会数字化进程的加快,由此产生了大量的数据,通过机器学习技术可以自动化地挖掘数据中蕴藏的宝藏,基于数据训练完成的模型已经应用在各类场景中。

然而由于数据隐私安全上的约束,研究者往往无法直接使用数据,联邦学习的诞生便是为了解决这一问题。其本质上是一种分布式机器学习框架,做到了在保障数据隐私安全及合法合规的基础上,实现数据共享,共同建模。

随着技术的发展,研究者一方面对联邦学习的应用越来越成熟,另一方面在应用中面临的问题也越来越复杂。例如如何构建一个可以高效部署、可扩展的联邦学习系统?在实践中,我们能否部署多个分散的参数服务器以建立一个并行联邦学习系统……

带着这些疑问,同时为了帮助读者更好的了解联邦学习,机器之心机动组组织策划了最新一期直播分享。

在 1 月 18 日的分享中,清华大学智能产业研究院副研究员、副教授刘洋将为我们做开场介绍,分享可信联邦学习的研究进展。

北京邮电大学副研究员,博士生导师徐梦炜分享了跨终端高效联邦学习算法与系统设计,从硬件 - 系统 - 算法全栈协同的角度讨论在资源受限角度下实现泛在智能的关键技术。

中山大学计算机学院在读博士生刘学正认为可以部署多个分散的参数服务器以建立一个并行联邦学习系统,并提出新的联邦学习算法 P-FedAvg(Parallel Federated Averaging)。

香港科技大学在读硕士程孝典将带来「联邦学习高性能硬件加速架构 FLASH」的介绍,相较于 CPU 和 GPU,基于 FPGA 实现的 FLASH 原型机对 9 种密码学运算的加速分别达到了 14 倍和 3.4 倍,对联邦学习应用的加速则达到了 6.8 倍和 2.0 倍。


分享主题一
可信联邦学习的研究进展


嘉宾简介:刘洋,清华大学智能产业研究院副研究员 / 副教授, 普林斯顿大学博士,清华大学本科毕业。曾任深圳前海微众银行股份有限公司资深研究员、联邦学习研究团队负责人。她拥有 30 余项国际国内授权专利,并在 Nature、 AAAI、 IJCAI、 USENIX、ACM TIST 等知名学术期刊发表科研成果。她是《联邦学习》和《Federated Learning》的主要作者之一。她担任 ACM TIST 期刊编委,曾担任 IEEE Intelligent Systems,IEEE TBD 等期刊客座编辑;曾获 CCF 科学技术奖科技进步杰出奖,AAAI 人工智能创新奖等多个奖项,获评 2022 麻省理工科技评论中国隐私计算科技创新人物。

分享摘要:联邦学习作为一种保护数据安全的分布式机器学习新范式,近几年被广泛研究与应用。围绕可信联邦学习的核心挑战问题,本报告将聚焦联邦学习中的效率、安全与性能在面向实际异构复杂场景中的前沿研究进展。

分享主题二
跨终端高效联邦学习算法与系统设计


嘉宾简介:徐梦炜,北京邮电大学副研究员,博士生导师。入选中国科协青年人才托举工程,北京市科技新星,MSRA “铸星计划” 学者。主要研究领域为边缘智能和系统软件,主持国家自然科学基金、科技部重点研发项目课题等多个项目。

个人主页:https://xumengwei.github.io/

分享摘要:本次报告中,徐梦炜将会介绍团队在跨终端设备(智能手机、IoT 等)场景下高效联邦学习的一系列研究工作,从硬件 - 系统 - 算法全栈协同的角度讨论在资源受限角度下实现泛在智能的关键技术。

分享主题三
并行联邦学习:一种具有理论保证的联邦学习加速方案



嘉宾简介:刘学正是中山大学计算机学院在读博士生,专注于联邦学习系统架构优化与通信效率提升,已发表 SCI 论文 3 篇,EI 论文 4 篇,相关论文发表在 IEEE/ACM ToN、IEEE TDSC、IEEE INFOCOM 等国际高水平会议与权威期刊上。

分享摘要:集中式参数服务器将严重限制联邦学习的规模与效率,一个简单的方法是部署多个分散的参数服务器以构建一个并行联邦学习系统。在本文中,我们提出一个新的联邦学习算法 P-FedAvg,该算法具有理论保证,可以有效加速联邦学习。

  • 论文标题:Accelerating Federated Learning via Parallel Servers: A Theoretically Guaranteed Approach
  • 论文链接:https://ieeexplore.ieee.org/document/9769746

分享主题四
联邦学习高性能硬件加速架构 FLASH


嘉宾简介 :程孝典,香港科技大学在读硕士,导师为陈凯教授,研究兴趣为联邦学习、异构计算。

分享摘要:FLASH 是用于加速联邦学习中密码学操作的高性能硬件加速架构。其通过实现高性能的模幂和模乘运算,并结合数据流的动态调度,加速联邦学习中常用的九种密码学运算,进而大幅提高联邦学习应用的端到端性能。

  • 论文标题:FLASH: Towards a High-performance Hardware Acceleration Architecture for Cross-silo Federated Learning
  • 论文链接:FLASH 已被 NSDI 2023 接受,将于四月的会议中正式公开。

直播间:关注机动组视频号,立即预约直播。

交流群:本次直播有 QA 环节,欢迎加入本次直播交流群探讨交流。

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动欢迎所有 AI 领域技术从业者加入

  • 点击阅读原文,访问机动组官网,观看更多精彩分享

  • 关注机动组服务号,获取每周直播预告

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
首次发现!数据异构影响联邦学习模型,关键在于表征维度坍缩 | ICLR 2023「德普数控」完成种子轮融资,加速实现高精度五轴机床自主国产化|早起看早期专访ADI:探索AI MCU应用边界,集成CNN硬件加速器将是边缘AI处理的技术趋势C++ 实现高性能内存池项目实现拖拉磨蹭、不爱学习?独立自觉的孩子,背后都有这样的父母网课期间,家长应该如何配合乃至推动孩子的学习?CO2辅助生成富含晶界的Cu催化剂实现高效CO-CO偶联如何高效进阶智能移动终端?来这场自动驾驶峰会听「头部车企+云厂商」实践与洞察抖音电商潜力品牌商家,如何实现「风格」破局,「好物」突围?创纪录风暴席卷加州,LA被淹,10号高速等地多车多人被困从大前端“穿越”到终端,开发者应该必备什么技能? | 解读终端的 2022简化版的肠镜检查加州的老墨 – 602月27号:如何高效学习?党和国家机构改革方案全文出炉,组建中央金融委员会释放哪些信号?佛州基韦斯特(Key West),小岛路景来了来了,走了走了。。。应用谷歌云实现高效视频转码和分发追随姐姐脚步,西班牙二公主也要来英留学了!王室子女为何爱扎堆英国学习?写给大脑的消息|小狗为什么爱学习?蛇是如何换牙的?「德普数控」完成种子轮融资,加速实现高精度五轴机床自主国产化|36氪首发如何实现2000万QPS?Meta揭秘背后的AI平台MultiRay:日均处理8000亿次请求!为黑五剁手暖暖场Gstreamer中的视频处理与硬件加速Galvatron项目原作解读:大模型分布式训练神器,一键实现高效自动并行“为和老外杂交而努力学习?!”大学教授奇葩演讲炸了,全网震怒……终端基础:在 Linux 终端中创建目录 | Linux 中国订单总值超6100万美元,毛利率达70%!这家数字疗法公司如何利用B2B实现高增长、高利润?全球最具创新精神的建筑公司,如何实现项目的频频出圈?美国最新的EB-5无排期绿卡是怎么回事?如何全家快速赴美工作学习?新型用工模式下,企业如何实现合法合规的降本增效如何实现数据高效管理并反哺赋能业务?这场自动驾驶闭门会要聊点实的【超实用教程】如何避免间接性堕落,实现高度自律?1000 TOPS高算力芯片如何实现?关键技术、突破路径解析新东方:教育稳行、电商爆走、学习硬件加速
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。