可信联邦学习 (Trustworthy federated learning) 是一种增强型的联邦学习,它除了保证原始数据的隐私安全和模型的可证安全,还保证学习过程的高效率和模型的可用性,模型决策机制的可解释性、及模型的可溯源和审计监管。在近期的诸多研究中,可信联邦学习在医疗领域获得了哪些拓展?解决了哪些新的问题?为了帮助读者了解面向医疗的可信联邦学习研究进展,机器之心机动组组织策划了最新一期直播分享。在 10 月 20 日的分享中,微众银行人工智能首席科学家范力欣博士将首先进行主题分享。之后,五篇论文作者将从不同角度介绍可信联邦学习在医疗领域的最新研究成果。其中,《MetaFed》论文提出了元联邦既联邦的联邦概念及 MetaFed 层次化动态环联邦学习框架,以较小通信代价,达到在无中心服务端参与情形下获取精度提升及个性化学习。《scPrivacy》论文提出了基于联邦深度度量学习的单细胞细胞类型识别框架 scPrivacy,解决了整合多个机构的单细胞转录组数据集中的数据隐私保护问题。《FedDUAP》论文利用服务器上的不敏感数据和边缘设备中的分散数据来提高训练效率,同时进行基于各层自适应的模型剪枝,实现效率和有效性之间的良好平衡。《FeARH》论文提出了具有匿名随机杂交的联邦学习算法来训练电子病历数据。与集中式机器学习和传统联邦学习相比,新算法具有相似的 AUCROC 和 AUCPR 结果。最后一篇论文的研究目标是同时处理联邦学习中两种不同类型的攻击威胁,拜占庭攻击和隐私威胁。研究者利用了一种鲁棒模型聚合,同时实现对拜占庭攻击的鲁棒性和对本地数据的隐私保护。个人简介:范力欣博士是微众银行人工智能首席科学家,是 70 多篇国际期刊和会议文章作者。范博士长期参加多项顶级人工智能会议并担任 AAAI 领域主席。他还是近百项专利的发明人和 IEEE 可解释人工智能标准制定组主席。- 论文标题:MetaFed: Federated Learning among Federations with Cyclic Knowledge Distillation for Personalized Healthcare
- 论文链接:https://federated-learning.org/fl-ijcai-2022/Papers/FL-IJCAI-22_paper_10.pdf
个人简介:陈益强研究员,博士生导师。现任中国科学院计算技术研究所所务委员,泛在计算系统研究中心主任,万人计划领军人才,国务院特殊津贴专家。主要从事人机交互与泛在计算领域研究,发表论文百余篇,申请专利 119 项,获国家科技进步二等奖及省部奖励 7 项。分享摘要:本文提出元联邦既联邦的联邦概念及 MetaFed 层次化动态环联邦学习框架,通过自适应的环形知识蒸馏,累积通用知识,舍弃冗余知识,以较小通信代价,达到在无中心服务端参与情形下获取精度提升及个性化学习,实验表明,在多联邦建模场景,本文方法能取得目前最好的结果。基于联邦深度度量学习的单细胞细胞类型识别框架 scPrivacy- 论文标题:Privacy-preserving integration of multiple institutional data for single-cell type identification with scPrivacy
- 论文链接:https://www.biorxiv.org/content/10.1101/2022.05.23.493074v1.full
个人简介:陈绍奇,同济大学在读博士生,研究方向为生物信息学,导师为刘琦教授,2019年获得电子科技大学学士学位。目前已在 Nucleic Acid Research, Science China Life Science, Bioinformatics, Database(Oxford) 等知名 SCI 期刊以第一作者或共同一作的身份发表论文。分享摘要:整合多个机构的单细胞转录组数据集能构建更全面、有效和稳健的细胞类型识别系统。然而传统方法面临着数据隐私保护的问题,为解决隐私问题,我们提出了基于联邦深度度量学习的单细胞细胞类型识别框架 scPrivacy。FedDUAP:基于服务器上的共享数据进行动态更新和自适应修剪的联邦学习- 论文标题:FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server
- 论文链接:https://www.ijcai.org/proceedings/2022/0385.pdf
个人简介:刘吉博士,现任百度研究院资深研究员。于微软研究院、法国国家信息与自动化研究所获得博士学位。目前主要研究方向为联邦学习、分布式系统等。在国际顶级计算机期刊和会议发表多篇学术论文并担任审稿人。周杨是奥本大学计算机科学与软件工程系的助理教授,于佐治亚理工学院计算机学院获得博士学位。目前的研究兴趣在于机器学习、可信机器学习、联邦学习和自然语言处理等,研究成果发表在多个领域的顶级会议和杂志上。分享摘要:联邦学习面临两个关键的问题,即有限的计算资源和低消训练。我们提出 FedDUAP,利用服务器上的不敏感数据和边缘设备中的分散数据来提高训练效率,同时进行基于各层自适应的模型剪枝,以实现效率和有效性之间的良好平衡。- 论文标题:MetaFed: Federated Learning among Federations with Cyclic Knowledge Distillation for Personalized Healthcare
- 论文链接:https://www.sciencedirect.com/science/article/pii/S1532046421000642
个人简介:刘佃渤博士是 Mila - 魁北克人工智能研究所 Yoshua Bengio 教授(2018 年图灵奖得主)小组的机器学习博士后研究员,他还领导着 Mila 研究所 19 名研究人员组成的人道主义人工智能团队,研究范围包括基础机器学习及其在改善人类生活质量方面的应用。在加入 Bengio 团队之前,他在邓迪大学、哈佛大学和麻省理工学院工作和学习。分享摘要:本文提出了「具有匿名随机杂交的联邦学习(FeARH)」算法来训练电子病历数据。该算法主要使用杂交算法,通过在共享给其他方的参数集中加入随机化,使医疗记录数据和模型的参数之间的联系退化整合。实验显示,与集中式机器学习和传统联邦学习相比,新算法具有相似的 AUCROC 和 AUCPR 结果。- 论文标题:Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation
- 论文链接:https://www.ijcai.org/proceedings/2022/337
个人简介:祝恒,现加州大学圣地亚哥分校电子与计算机工程在读博士生。2017 年本科毕业于中国科学技术大学物理学院,2020 年硕士毕业于中国科学技术大学信息技术学院。2020 年至 2021 年在中山大学作为访问学生参与研究。分享摘要:在这项工作中,我们试图同时处理联邦学习中两种不同类型的攻击威胁,拜占庭攻击和隐私威胁。在标准的差分隐私机制中,需要加入噪声实现隐私保护,而这些噪声会影响鲁棒梯度聚合的性能。因而差分隐私和拜占庭鲁棒聚合机制会耦合在一起。在这项工作中我们利用一种鲁棒模型聚合同时实现对拜占庭攻击的鲁棒性和对本地数据的隐私保护。分享时间 :北京时间 10 月 20 日 19:00 开始直播间:关注机动组视频号,立即预约直播。
交流群:本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。
机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。