Redian新闻
>
研究人员开发在小型设备上训练大型神经网络 保护隐私

研究人员开发在小型设备上训练大型神经网络 保护隐私

公众号新闻

点击蓝字 关注我们

SUBSCRIBE to US


ISTOCKPHOTO/IEEE SPECTRUM


我们身边的小工具不断地在充实着我们的生活 —— 智能手表可以检测我们的生命体征,跟踪我们的健康状况;家用扬声器通过听我们的对话来识别我们的声音;智能手机还能够扮演语法学家的角色,观察我们写了什么来自动修复我们的特殊打字错误。我们很感激这些便利,但我们与电子设备共享的信息并不总是在我们的所控范围内。


机器学习可能需要很重的硬件,所以像手机这样的“边缘”设备通常会向中央服务器发送原始数据,然后返回经过训练的算法。然而,有些人希望训练能够在本地进行。一种新的人工智能训练方法扩展了小型设备的训练能力,可能有助于保护隐私。


最强大的机器学习系统使用神经网络,复杂的函数充满可调参数。在训练期间,网络接收输入(如一组像素),生成输出(如标签“cat”),将其输出与正确答案进行比较,并调整其参数,以便下次做得更好。为了知道如何调整每个内部旋钮,网络需要记住每个旋钮的效果,但它们的数量通常为数百万甚至数十亿。这需要大量内存。训练一个神经网络可能需要数百倍的记忆,而仅仅使用一个(也称为“推理”)。在后一种情况下,一旦将信息传递到下一层,内存就可以忘记网络的每一层做了什么。


为了减少训练阶段的记忆需求,研究人员采用了一些技巧。其中一种称为分页或卸载,机器将这些激活信息从短期内存移动到较慢但更丰富的内存类型,如闪存或SD卡,然后在需要时将其恢复。在另一种称为重物质化的方法中,机器删除激活,然后稍后再次计算。加州大学伯克利分校的计算机科学家、描述了该创新的论文的主要作者Shishir Patil说,它们结合使用了“次优”的“启发式”,通常需要大量能量。Patil及其合作者报告的创新将分页和重新实体化方法结合了起来。


“将这两种技术很好地结合到这个优化问题中,然后解决它,这真的很好,”加州大学河滨分校的计算机科学家Jiasi Chen说,他从事边缘计算研究,但没有参与这项工作。


7月,Patil在巴尔的摩举行的机器学习国际会议上介绍了他的系统,称为POET(private optimal energy training)。他首先给出了POET设备的技术细节,以及他所希望训练的神经网络结构的信息。他指定了内存预算和时间预算。然后,他要求设备创建一个培训流程,将能源消耗降至最低。该进程可能决定对某些重新计算效率低下的激活进行分页,但对其他易于重做但需要大量内存存储的激活进行重新实体化。


突破性创新的关键之一在于将问题定义为混合整数线性规划(MILP)难题,即一组约束和变量之间的关系。对于每个设备和网络架构,POET将其变量插入Patil手工编制的MILP程序,然后找到最佳解决方案。Chen说:“一个主要的挑战实际上是以一种好的方式来阐述这个问题,这样你就可以把它输入到一个解决方案中。因此,您可以捕获所有真实的系统动态,如能量、延迟和内存。”


该团队在四个不同的处理器上测试了POET,其RAM范围从32KB到8GB。研究人员分别训练了三种不同的神经网络结构:两种在图像识别中流行的类型(VGG16和ResNet-18),以及一种流行的语言处理网络(BERT)。在许多测试中,该系统可以减少大约80%的内存使用量,而不会大幅增加能耗。可比较的方法不能同时做到这两个。据Patil称,研究表明,BERT现在可以在最小的设备上进行训练,这在以前是不可能的。


Patil说:“当我们开始的时候,POET基本上是一个很好的主意。”现在,几家公司已经开始使用它,并且有一家大公司已经在其智能扬声器中试用了它。Patil说,非常棒的一点是,POET不会通过“量化”或缩写激活来降低网络精度,从而节省内存。因此,设计网络的团队不必与实现网络的团队协调,就精度和内存之间的权衡进行谈判。


Patil指出,除了隐私问题外,使用POET还有其他原因。一些设备需要在本地训练网络,以解决互联网连接很差或没有连接的问题 —— 这些设备包括在农场、潜艇或太空中使用的设备。由于数据传输需要太多能量,其他设置可以从创新中受益。POET还可以使大型设备互联网服务器更节省内存和能源。但对于数据保密,Patil说,“我想这是非常及时的,对吧?”当大型设备——互联网服务器——训练大型网络时,也可能从POET中受益。


微信号|IEEE电气电子工程师

新浪微博|IEEE中国

 · IEEE电气电子工程师学会 · 


铝硫电池未来或成锂离子电池的廉价替代品?

可溶解光开关利用光控制神经元

什么是数字孪生?

为什么人工智能需要同理心?

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
上个今年吃的第一个月饼Hinton最新研究:神经网络的未来是前向-前向算法|NeurIPS 2022特邀演讲直播课预告:多模态预训练大模型OmModel及视觉应用开发7 Papers & Radios | Hinton前向-前向神经网络训练算法;科学家造出「虫洞」登Nature封面漳州云动岩Hinton 最新研究:神经网络的未来是前向-前向算法NeurIPS 2022 | 仅用256KB就实现单片机上的神经网络训练神经网络的简单偏好NeurIPS 2022 | 基于解耦因果子结构学习的去偏差图神经网络水容量最小的湖--伊利湖神经网络高斯过程 (Neural Network Gaussian Process)大规模GNN如何学习?北邮最新《分布式图神经网络训练》综述,35页pdf阐述分布式GNN训练算法和系统7 Papers & Radios | 用神经网络推开数学推理大门;世界首个宏基因组蛋白质图谱只需一次向前推导,深度神经网络可视化方法来了!(ECCV Workshops 2022)北邮王啸:挖掘图神经网络中的「万物真理」ICLR'23截稿, 图神经网络依然火热 (附42 篇好文整理)TPAMI 2022 | 利用子图同构计数提升图神经网络的表达能力ICML2022 | GNNRank: 基于有向图神经网络从两两比较中学习全局排序人脸辨识测试全美16座机场上路 乘客如何保护隐私?从多篇顶会论文看图神经网络黑盒攻击近期进展HIRE——基于异构图神经网络的高阶关系级知识蒸馏方法近万人围观Hinton最新演讲:前向-前向神经网络训练算法,论文已公开酒、茶、水与人生-随想点滴有效融合语言模型、图神经网络,文本图训练框架GLEM实现新SOTA清华、上交等联合发表Nature子刊:「分片线性神经网络」最新综述!一种基于神经网络的策略,可增强量子模拟上海交大副教授五年参禅:神经网络的简单偏好在美国196.自学成才,天赋勤奋晚讯 |研究人员发现基因治疗中枢神经系统疾病新途径汇编语言之母100岁逝世:曾和冯·诺依曼一起研究,退休后还在研究神经网络清华&上交等发表Nature子刊!分片线性神经网络最新综述!中山大学HCP Lab团队:AI解题新突破,神经网络推开数学推理大门百岁汇编语言之母逝世!71岁时她还在和儿子合写神经网络论文
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。