华东师大InfoMat综述: 应用于感存算的类视网膜器件

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

近日，华东师范大学段纯刚教授团队在Infomat（2022 IF: 22.7）上发表名为“Retinomorphic hardware for in-sensor computing”的综述。华东师范大学博士生冯光迪为论文第一作者，田博博教授为论文通讯作者。该文章详细讨论了用于感存算仿生视觉的光电传感器的几种物理机制以及相应类视网膜器件的最新进展。总结了类视网膜器件构建的仿生视觉的潜在应用以及对现阶段面临挑战的可能策略进行了展望。

传统图像传感器和人类视觉系统的区别如图1 所示。图像传感器是一种通过将光学信息转化为包括电压、电流在内的电子信号来感知真实的世界的一种电子元件，这些传感器自被制造来就拥有了固定的形态和性能，能够感知所有照射到元件上的光学信息，但是在很多场景中那些不必要的背景光学信息会造成传感器资源的浪费。这些海量的光学信息会被转换成数字电子格式传递给后续的计算机进行图像的处理和分析，传感器和处理单元之间大量的冗余数据传送导致了延迟和高功耗。这种传统视觉处理系统中，传感、内存和处理单元的物理分离导致了大量的能量耗费、时间延迟和额外的硬件成本。人类视觉系统具有强大的信息处理能力，这种图像处理能力很大程度上依赖于视网膜的感内计算以及和大脑视觉皮层所形成的分层结构，即经视网膜初级处理后的少量高纬信息而不是详尽的未经处理的完整信息传递给大脑视觉皮层进行更高级的信息处理。尽管人类视觉与传统数字技术相比速度和精度不算很高，但是可以轻松地从海量的信息中提取出关键的信息，并且具有更低的能耗。

图1：视觉系统的原理图：(A)一种传统的基于电脑的视觉系统，其中视觉信息被模拟摄像机捕获，转换为数字信号后经由存储单元前往电脑主机进行信息处理; (B)生物视觉系统原理图, 视网膜层的感知和计算大大减少了前往大脑视觉皮层的信息传输。

先进的神经形态工程技术与生物启发传感器的有效结合，可以推进人工智能领域的发展。在介绍针对视觉的感存算一体技术之前，作者首先总结了几种典型的感存一体技术。图2展示了目前可覆盖大部分人体的感知行为的几种仿生电子器件/系统。研究人员研发成功了包括基于铁电、电化学调控的人工视觉感知系统、高透明柔性的垂直晶体管痛觉感知神经元、3.5 nm 超薄的硅晶体管气体感知系统、基于刚性存储装置和可伸缩应变传感器集成的运动感知装置、非易失性电阻存储和渗透性科技结合的温度传感系统以及通过电阻开关记忆装置与电阻压力传感器的集成压力传感系统等等一系列优异的感算一体的神经形态器件。对传感器内记忆设备的设计、制造和应用的研究，对于实现与人类直接交互的智能和人性化系统也至关重要。

图2：总结的部分人体感知行为的仿生电子设备/系统。

在人们的日常生活中80%的外界信息都是通过眼睛探测的，可以说眼睛是人类视觉统最为重要的感觉系统，人的大脑皮层有三分之一的面积都和视觉有关。感光细胞和双极细胞是人眼视网膜中最重要的细胞，当视觉系统检测到光脉冲时，它们会被激发。感光细胞可以将入射光转换为电信号，经过双极细胞对信号进行预处理后，将保留图像的详细特征，他与传统传感器中的瞬态光电响应不同，它可以给出时间耦合的光电响应，帮助视网膜层获得更清晰的图像(图3A)；在光感受器细胞之后，双极细胞可以将光电信号划分为开/关信号（图3B），这被认为与视网膜的运动检测和实现感内计算功能有关，以及视网膜还可以对明暗环境做出自适应反应(图3C)，使得快速的在明暗变化环境中看清图像。

图3 视网膜层的典型光电响应。(A)图像预处理，图像增强。（B）双极性响应（C）对于明暗环境下的自适应响应

作者进一步归纳了类视网膜器件中实现视网膜相应功能的相关物理机制，首先介绍了光致门栅效应(photogating effect)，即光激发的载流子被缺陷或者设定的能量势阱捕获后导致的额外门栅电压对器件的调控效应（图4）。光致门栅效应不仅可以实现光信号刺激的多级状态调控，其强度和极性可以受到电场和光场的调控，进一步实现对器件正负光电响应的调控，这对于器件完成多功能仿生视网膜系统是非常重要的。比如冯光迪等在全透明的垂直ITO沟道的晶体管中，利用光致门栅效应实现了时序耦合和电光协同调控的光电响应，成功构建了类视网膜痛觉感知系统（图5）1。多个研究团队在二维堆叠光电器件中通过在光照的同时施加不同（正负）栅压来调控俘获或者释放的光生载流子类型（空穴/电子），实现了极性相反的光电调控（图6）。华东师范大学段纯刚教授团队通过不同波长的光刺激调控光致门栅效应，实现了全光调制下的正负光电响应，用于模拟兴奋和抑制性突触行为（图7）2。

图4：光致门栅效应的物理机制

 图5：一种基于光致门栅效应调控的感存一体视觉痛觉光电晶体管

图6 基于电场辅助光致门栅效应实现极性相反光电调控的二维材料堆叠结构的类视网膜器件。

图7 一种基于Au/P(VDF-TrFE)/CuPc/ITO结构的全光调制实现双极（正负）光电响应的类视网膜器件

除了光致门栅效应，通过裂栅调控的pn结是一种理想的感存算类视网膜器件（图8A），通过改变裂栅的电压振幅和极性，可以实现不同强度和极性的可编程光伏响应。在裂栅晶体管中进一步引入浮栅（图8C-E）或者铁电栅（图8F-H）3，可以实现非易失的可编程光伏响应。

图8 裂栅双极性晶体管和由压电力显微镜控制的铁电双极性MoTe2器件

铁电材料除了在裂栅结构中赋予器件光伏响应的非易失性之外，由于铁电畴的可编程性和非易失性，铁电局域场可以进一步被用于设计两端结构的可编程光伏响应器件4-6。比如，将铁电半导体Pb(Zr_0.2Ti_0.8)O₃ (PZT)薄膜作为光吸收层的简单金属-铁电-金属(MFM)结构中，通过可逆地改变铁电畴的方向，电容器内部的内建电场（退极化电场）相应可逆地变化，进而实现正负极性和强度均可编程的铁电光伏响应（图9A-D）4。由于铁电半导体的禁带宽度限制，铁电电容器的光伏探测波长被局限在短波范围。最近，复旦大学胡来归/秦亚杰课题组和华东师范大学田博博课题组提出，该探测波长范围的限制问题可以通过铁电/半导体的复合结构解决（图9E-G）5-6。相较于基于场调控光致门栅效应的三端器件和基于裂栅结构的四端器件，基于铁电局域场调控的两端光伏器件在构建高密度、大规模集成类视网膜硬件方面更有优势。

图9 基于铁电局域场调控的两端结构的类视网膜器件

接下来，作者针对类视网膜器件实现的不同仿生功能所对应的应用场景进行了总结。类视网膜器件的时序耦合光电响应不仅可应用于视觉的预处理，包括视觉自适应(图10A)、图像对比增强（图10B和10C）和降噪（图10C）等，还可以应用于一种时序信息处理的感内储备池计算（图11）7，可以实现的功能包括不限于静态图像和动态视频分类以及时序信号预测等。类视网膜器件的双极和多态响应可应用于光学运动信息的直接提取（图12），以及应用于在传感层中构建感内神经网络实现编码、分类（图13）和卷积（图14）等计算任务。

图10 基于类视网膜器件时序耦合光电响应的视觉信息预处理：包括视觉自适应(图 3A)、图像对比增强（图3B）和降噪（图3C）等。

图11基于基于类视网膜器件时序耦合光电响应的感存算一体储备池计算

图12基于类视网膜器件双极和多态响应的光学运动信息直接提取过程

图13基于类视网膜器件的双极和多态响，在传感层中构建感内神经网络实现编码和分类等计算任务

图14 基于类视网膜器件的双极和多态响，在传感层中构建感内神经网络实现卷积计算任务

最后，作者对类视网膜器件的研究现状（图15）和趋势（图16）进行了总结，分析了当前类视网膜器件所面临挑战的潜在解决方案。

1. 大多数类视网膜器件的底层工作机制都是基于光致门栅效应或对光致门栅效应的电/光控制。由于超薄膜更容易受到栅压调控，二维半导体材料的光致门栅效应很强，目前报道的大多数类视网膜器件都是基于二维半导体的堆叠结构。到目前为止，大多数二维器件中使用的机械剥离方法对于晶圆级制造来说是不可取的。因此，有必要进一步发展二维制造技术（即晶圆级二维半导体薄膜、兼容的硅后端线集成）。为了实现具有复杂外围电路的仿生智能视觉系统，通过融合二维类视网膜器件和成熟的硅电路的混合架构是一种短期内更贴近实际的技术途径。
2. 时序的光电耦合响应对传感器内储备池运算起着至关重要的作用，该系统能够高效地处理动态/静态图像。此外，它还可以处理对比度增强和降噪等图像预处理任务。这些预处理可以进一步提高后续任务的处理效率和准确性，如图像识别和分类。时序光电耦合响应可以通过光致门栅效应来实现，这在大多数有缺陷的薄膜光电传感器中比较普遍。但是，利用能带工程特意设计的半导体异质结构，可以将光电导或光伏传感器中的光致门栅效应大大增强和进行定量控制，这有益于实现阵列级类视网膜硬件。
3. 在光电传感器中实现双极或双向自适应的光电响应是一个挑战。大多数报道的此类类视网膜器件都是基于二维半导体传感器，其机制是电场辅助的光致门栅效应，调控的是光电响应的正向或者负向的变化趋势（PPC/NPC）。事实上，要获得真正的正/负光电响应，需要额外的差值计算来从PPC/NPC机制获得正/负变化值。此外，PPC/NPC的实现需要不间断的电压源施加电压，根据所要表达权重的不同，需要多个通路的电压源维持阵列器件的正常工作。从超级复杂的外围电路角度来看，这使得基于PPC/NPC实现大规模类视网膜硬件充满挑战。基于铁电局域场调控的感存算类视网膜器件可以实现非易失的、可编程的双极（正/负）的光电响应。双极特性在人工神经网络中的运动检测和识别/分类和编码的计算任务中，以及在卷积神经网络中通过卷积核处理进行特征提取中发挥着重要作用。因此，基于铁电材料的类视网膜硬件在未来的应用中具有巨大的潜力。特别是，铪基和纤锌矿型铁电材料与CMOS工艺的后处理兼容性允许将基于铁电体的类视网膜硬件集成到CMOS电路系统中。此外，柔性铁电聚合物在可穿戴智能系统和人类友好的神经形态平台方面具有巨大潜力8-9。

图15 类视网膜器件的研究现状总结

图16 类视网膜器件的研究和发展趋势

最后，作者进一步做了总结。虽然感存算一体类视网膜器件的发展取得了很大的进展。寻找兼容光电转换响应、双极信号、突触权重调节等仿生特性的新材料、新结构和新的器件，对促进视网膜启发的智能视觉系统具有重要意义；其次感存算一体设备应该并不仅仅局限于视觉系统，它可以扩展到其他物理输入，如听觉、触觉、热量或嗅觉。这种智能系统的发展，以及5G快速无线网络的到来，将会在不久的未来实现大规模实时边缘（即低延迟）计算；最后，融合多种感存算一体设备，在对感知信息进行简单的预处理的后端，有必要构建一个针对整体的更复杂的信息处理的系统级体系结构，以具有接近实际应用的处理能力。目前，这一领域的研究工作仍处于初步阶段。今后，还需要进一步研究感觉-记忆集成的信息处理架构、任务调度、分工与合作等策略。

该论文得到国家重点研发计划、国家自然科学基金、之江实验室开放研究项目、上海科技创新行动计划和中央高校基本科研业务等项目资助。

点击下方知社人才广场，查看最新学术招聘

扩展阅读

 

Advanced Materials: 偏振视觉适应晶体管

Npj Comput. Mater.: 机器视觉：加速大面积钙钛矿电池优化

Advanced Science：自供电传感内储备池计算的机器视觉

AFM：混合维异质结的“光电视觉适应”

本文系网易新闻·网易号“各有态度”特色内容

媒体转载联系授权请看下方