Redian新闻
>
低能耗低时耗,中科院&香港大学团队使用新方法进行多任务学习的可穿戴传感器内储层计算

低能耗低时耗,中科院&香港大学团队使用新方法进行多任务学习的可穿戴传感器内储层计算

公众号新闻
编辑 | 萝卜皮

传感器内多任务学习不仅是生物视觉的关键优点,也是人工智能的主要目标。然而,传统的硅视觉芯片存在大量时间以及能量开销。此外,训练传统的深度学习模型在边缘设备上既不可扩展也不可负担。

在这里,中科院和香港大学的研究团队提出了一种材料算法协同设计来模拟人类视网膜的学习范例,并且低开销。基于具有有效激子解离和贯穿空间电荷传输特性的瓶刷形半导体 p-NDI,开发了一种基于可穿戴晶体管的动态传感器储层计算系统,该系统在不同任务上表现出优异的可分离性、衰减记忆和回波状态特性。

与忆阻有机二极管上的「读出功能」相结合,RC 可识别手写字母和数字,并对各种服装进行分类,准确率分别为 98.04%、88.18% 和 91.76%(高于所有已报告的有机半导体)。

除了二维图像,RC 的时空动态自然地提取基于事件的视频的特征,以 98.62% 的准确率对 3 种类型的手势进行分类。此外,计算成本明显低于传统的人工神经网络。这项工作为经济实惠且高效的光子神经形态系统提供了一种有前途的材料算法协同设计。

该研究以「Wearable in-sensor reservoir computing using optoelectronic polymers with through-space charge-transport characteristics for multi-task learning」为题,于 2023 年 1 月 28 日发布在《Nature Communications》。

人类视网膜不仅可以感知,还可以通过收集丰富的动态信号同时处理光信号,从而加速下游视觉皮层中任务相关的学习。视网膜和视觉皮层的协同作用是大脑高效、紧凑和快速学习多任务处理能力的基础,也是通用人工智能 (AGI) 的基本目标。

相比之下,具有物理分离的感测、处理和存储单元的传统硅视觉芯片会因这些单元之间大量和频繁的数据穿梭而产生大量时间和能量开销,以及顺序模数转换,这是潜在能源效率的基本限制。摩尔定律的放缓进一步加剧了这种情况。此外,传统深度学习模型中的学习,例如时间信号的递归神经网络,在非常具体的任务上采用乏味的训练(例如,通过时间反向传播的梯度下降,BPTT),这在电池接入和外形尺寸有限的边缘设备上既不可扩展也负担不起。

人们付出了巨大的努力来模拟人类视网膜和负担得起的学习范式。材料方面,无机光响应二维半导体,例如具有缺陷和杂质位点的 MoS2、具有与 Sn 和 S 相关的双型缺陷态的 SnS、层状含黑磷的氧化相关缺陷、表现出强光控效应的钙钛矿量子点 、能够捕获和释放电子的 h-BN/WSe2 异质结构和表现出价态变化的 MoOx 是人工视网膜应用最广泛的材料。另外,具有内在生物相容性、可穿戴性和可扩展性的有机半导体,如 PDVT-10、掺杂叶绿素的 PDPP4T 和并五苯/丝和 CDs 双层,以更忠实的方式模拟了生物对应物。

在算法方面,储层计算 (RC) 通过收集固定动态系统的衰落记忆将时间信号非线性地投射到特征空间,被认为是一种有前途的边缘学习解决方案。由于 RC 的学习仅限于长期记忆的读出层,因此与传统的深度学习模型相比,训练成本显著降低。然而,它仍然没有设计出一种配对的材料算法来结合高效的人工视网膜和负担得起的基于 RC 的边缘学习,从而释放仿生神经形态视觉的多任务潜力。

图示:传统半导体和 p-NDI 的光电流响应比较,以及传感器内 RC 系统的详细半导体设计原理。(来源:论文)

在这里,中科院和香港大学的研究人员提出了一种材料算法协同设计,一种具有高效激子解离和全空间电荷传输特性的光响应半导体聚合物 (p-NDI),以构建用于多任务模式分类的传感器内 RC。灵活的神经形态设备基于具有 p-NDI 半导体通道的三端晶体管。由于其出色的光响应行为和非线性衰落记忆,该设备能够同时就地感知、记忆和预处理光学输入(即对比度增强和降噪)。

图示:多任务分类性能。(来源:论文)

此外,聚合物中激子解离/电荷复合动力学、光选通效应和贯穿空间电荷传输特性之间的协同作用使得基于晶体管的动态RC系统在不同任务上表现出优异的可分离性、衰减记忆和回波状态特性。这些基于 RC 的视网膜与在忆阻有机离子凝胶二极管上实现的「读出功能」配对。

所有有机光电材料提供的信号预处理和动态RC的协同功能,在识别手写字母和数字以及对各种服装进行分类方面的准确率,分别达到 98.04%、88.18% 和 91.76%,这意味着服装风格和尺寸的多任务学习。系统的总体准确率为 88.00%,不仅可以正确识别衣服,还可以正确识别衣服的尺码。尽管是 2D 图像,但 RC 的时空动态被用来对左手挥手、右手挥手和拍手手势的基于事件的视频进行分类,准确率为 98.62%。

图示:使用 DVSGesture128 数据集进行基于事件的视频分类。(来源:论文)

不过,这种基于 p-NDI 晶体管的 RC 不含突触有机电化学晶体管中广泛使用的液体电解质,从而增强了可扩展性和可操作性。这项工作为具有多任务学习能力的可穿戴、价格合理且高效的光子神经形态系统提供了一种有前途的材料-算法协同设计策略。

论文链接:https://www.nature.com/articles/s41467-023-36205-9

人工智能 × [ 生物 神经科学 数学 物理 材料 ]

「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展

欢迎注标星,并点击右下角点赞在看

点击读原文,加入专业从业者社区,以获得更多交流合作机会及服务。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
可穿戴装置 可直接将人体热量转化为电能夏日里,看皑皑雪山,望万仞冰川大胆提前预测美国大选:川普必胜 & 普京必胜「中科微感」获千万级人民币天使轮融资,最新一代MEMS基气味传感器已实现量产|36氪首发彭伟@中科院信工所 - IRRGN: 用于对话回复选择任务的隐式图推理网络CVPR 2023 | 结合Transformer和CNN的多任务多模态图像融合方法全球CMOS图像传感器稳步增长【放开你的心】我的心让你牵 & 永恒的舞曲品读彭小玲老师的《生活在英国》一书不仅零能耗,还产能的建筑是如何打造的?欧洲掀起翻新浪潮,助力建筑降低能耗清华可穿戴智能喉登Nature子刊,实测准确率90%+,网友:@李雪健老师一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了AAAI 2023 | 基于T5的两阶段的多任务Text-to-SQL预训练模型MIGAB轮融资5亿,美籍华裔女教授用可穿戴神经刺激设备对抗AD【海外案例】【放开你的心】《茶香夜雨》翻唱:爱晚亭&丽莎 视频来自网络素材。美股SPAC|工业可穿戴技术服务商RealWear, Inc. 将与SPAC通过业务合并上市专注打无人机,土耳其推出GOKER多任务武器系统,使用仿制厄利孔炮《Love Is A Battlefield》给女神节 3/8 & 3/9 活动打 call中国大陆可穿戴腕带市场连续6个季度下滑,华为渐失主场优势港大ICB学员、校友福利 | HKU Family 优惠——香港大学2023年暑期课程「南泥湾计划」孵出的金凤凰:华为可穿戴如何筑城挖河?美国前第一夫人宣布任职哥伦比亚大学公共事务学院!Cell:利用新方法成功纯化和表征人类神经干细胞真情书写人生56 核心,多任务性能提升 120%! 英特尔推出全新至强 W-3400/2400 工作站处理器投稿招募 | 首届多模态可穿戴信号理解AmbientAI Workshop @ ICASSP 2023一本有思想有情趣的好书CVPR 2023 | 模块化MoE将成为视觉多任务学习基础模型J6事件的Law & Order。我的结论:川普和绝大部分人合法,佩罗西等人渎职导致骚乱;和理由如下新规实施!外墙面层计入建筑面积,公摊变大了?赋能智慧养老,传感器产业迎新机遇、新方向、新需求苹果WWDC定档6月/周鸿祎展示「360GPT」/ iPhone 15 Pro系列或采用超低能耗处理器外墙面层计入建筑面积公摊变大了?住建部:是误读香港内推 | 中科院香港AI与Robotics创新中心招聘算法工程师/系统工程师等从「堆叠」到「降本」,智能汽车传感器颠覆性革命即将到来!索尼将在日本再建一家传感器工厂利用氨基酸和肽,中科院团队成功研发可堆肥降解的生物玻璃中科院深圳先进院合成所赵国屏院士课题组诚聘计算生物与机器学习方向-博士后/研究助理/助理工程师一位平凡而伟大的中国母亲
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。