活动回顾 | H. Vincent Poor 教授：当无线网络边缘“遇上”分布式机器学习

北京时间10月28日，第五期 IEEE TNSE 杰出讲座系列活动在线上成功举办。此次，我们有幸邀请到普林斯顿大学 H. Vincent Poor 教授，他分享了在无线网络边缘部署分布式机器学习的动机，围绕联邦学习和去中心化学习介绍了分布式机器学习的设备调度和隐私保护等方向的相关进展，并给出未来研究方向。

本次讲座由 AIRS 副院长兼群体智能中心主任、香港中文大学（深圳）协理副校长、校长讲座教授、理工学院副院长、IEEE TNSE 主编黄建伟教授担任执行主席和主持人。

随着可用数据的增长以及设备算力的突破，近年来机器学习进入飞速发展期。传统的机器学习方法在数据中心或云端收集各个设备产生的数据，并部署中心式算法进行模型训练。然而，在自动驾驶和健康医疗等新兴领域，由于数据通常在边缘侧生成，且网络上行链路容量受限，中心式机器学习面临高传输时延和数据隐私泄露等挑战。在无线网络边缘部署分布式机器学习可在一定程度上解决因数据回传到云端而带来的延迟和隐私问题，因此让机器学习更靠近网络边缘成为一种趋势。

Poor 教授分享无线网络边缘分布式学习中联邦学习以及去中心化学习的研究成果。为了提升联邦学习在无线网络中的训练效率，Poor 教授及其团队首先分析联邦学习在随机调度和循环调度等策略下的收敛率，并结合信息年龄设计调度策略，通过最小化模型参数信息年龄促使设备实时更新信息。接着，针对联邦学习中的隐私问题，利用差分隐私对聚合前的模型加噪，通过控制隐私预算来权衡隐私性和模型准确性，并验证基于差分隐私的联邦学习算法收敛性。最后，针对分布式学习易于陷入局部最优的问题，提出协同训练方法来传递本地学习经验，进而保证算法收敛至松弛解。

问答环节，Poor 教授的精彩报告也引发了⼤家的思考和热烈讨论。例如，将差分隐私引入到联邦学习所面临的主要挑战是什么，还有其他更适用于联邦学习的隐私保护方法吗？对此，Poor 教授表示隐私性和学习性能的权衡是一大挑战，利用密码学方法保护联邦学习的数据隐私是一个可行的方向。借助同态加密可在无需解密的前提下进行模型聚合，但是还需进一步解决加密计算代价大的问题。此外，引入区块链进行隐私保护也是该领域的开放课题。

*特别鸣谢肖奕霖博士对本文的贡献