超越人眼所见，“真黑光”背后的AI技术革新

2023-07-23 04:07

从最初的百万像素手机，到如今几千万甚至过亿像素的单反相机和智能手机，各种成像设备迭代的背后，是人们对完美画质的无尽追求。毕竟在人眼这台像素高达5.76亿的超级相机面前，一切都还是不够真实。

相机的发展始终离不开ISP技术的支撑，对于传统ISP技术而言，夜景和高动态范围一直是非常有挑战性的场景，尤其是夜间动态场景下的噪声大、运动拖影、模糊，以及高光过曝和低光信息丢失等问题，不仅无法满足大众越来越高的影像记录需求，也一直困扰着视频监控、交通管理等行业的发展。

但技术的不断突破总能颠覆我们的想象，当人们仍在挑剔着传统ISP的种种瑕疵时，AI的飞速发展给了我们更多可能。AI-ISP技术的出现，让极低照度环境下的高清全彩成像成为可能，摄像头开始从之前的“看得见”，逐渐走向“看得清”甚至“看得懂”。

“真黑光”时代正式向我们走来。

真黑光，赋能智能IoT

先来说说什么是真黑光，根据夜视效果的不同，我们可以用不同的名称来区分相机的夜景性能，如暗光、星光、超星光、黑光等。这种名称并没有统一标准，但关注点都在于某一个弱光亮度下是否可以保持全彩效果。一般来说，黑光级意味着摄像机可以在0.01lux及以下照度的条件下工作。

传统方式下，要实现黑光效果，基本是通过使用大版面的sensor、低分辨率的sensor（一般低分辨率sensor的单个像素尺寸大）、增大模组光圈、降低视频帧率来增大进光量，从而在夜晚获取更多光照和色彩信息。但使用以上方法后，在极暗场景下色彩饱和度无法实现100%，运动物体还是容易产生透视或鬼影的效果，且提高版面、增大光圈还会造成成本的增加，都不能真正的满足行业需求。

换句话说，在极暗环境下，“鱼和熊掌不可兼得”。

但即便这样，也并非全无办法，爱芯元智自主研发的爱芯智眸®AI-ISP的出现，让黑光全彩成像走进了现实。实测显示，爱芯智眸®AI-ISP加持下的相机能在<0.01Lux的低照度下，无需白光补光或红外补光，即可做到25～30帧的实时色彩还原，色彩饱和度≥100%，并可以保证运动物体无明显拖影、透视或鬼影。爱芯元智也认为，只有同时满足以下6大要素，才能被称为“真黑光”，才能真正帮助用户在极暗场景下实现更好的视频效果。

正是基于“真黑光”的突破，智慧城市、智能IoT有了更丰富的应用场景。在路口、高山、池塘、农田等夜晚极暗的环境下，无需牺牲画质，就能提升视频亮度，让摄像机依旧拍出画面层次感好、颜色还原准确的彩色视频；此外，该技术还可以实现全场景的视频效果，在池塘、农田这一类无法进行补光的地方，同样实现更精准的智能判断。

关键模块AI化，以端侧有限算力

实现AI-ISP最佳效果

爱芯智眸®AI-ISP如何能实现“真黑光”？7月19日，在第五届世界半导体大会“2023年长三角集成电路产业创新发展论坛”上，爱芯元智ISP系统专家张兴就爱芯智眸®AI-ISP的架构创新展开了介绍。

ISP的全称是Image signal processor，即图像信号处理器，它能将图像传感器获取的信号转换为人、机器可以识别和分辨的信息，对图像质量非常重要。形象地来说，ISP相当于人眼成像系统中的大脑，它会把由镜头sensor收集来的影像进行加工、提升和处理，最终得到一个真实甚至更好的成像质量。

传统ISP是将 CIS sensor输出的Raw数据接入后，按照一定pipeline顺序将Raw数据转换成人眼可见的YUV数据，对于图像的处理是基于数学建模和人类对图像的朴素理解而实现。作为近年来新出现的技术概念，AI-ISP则是在传统ISP pipeline基础上，将传统数学建模方法解决不好的问题，利用AI神经网络，通过更丰富的参数模拟人脑，建立更复杂的模型，从而超越传统ISP的天花板，实现更好的图像效果。

目前，爱芯智眸®AI-ISP是通过AI赋能 ISP Pipeline里最关键的四个模块——HDR、3DNR、RLTM和Demosaic，即通过AI 训练的方式不断提升这四大模块的性能，打破传统ISP成像的“天花板”。

之所以选择将关键模块AI化，是因为端侧的算力往往是有限的，考虑到实际落地中的功耗以及成本问题，对整个Pipeline进行AI处理并不现实。可以说，爱芯智眸®AI-ISP更接近于真正的产品化，其通过对重要模块的AI化，将有限的算力集中于最关键、人眼最可知的功能中，实现整个AI-ISP的最佳效果。

因此，在实际应用中，爱芯智眸®AI-ISP 通过迭代视觉模型即可提升性能，快速实现芯片产品画质的升级换代。这意味着，爱芯元智用一颗芯片就能实现对不同场景、不同市场的覆盖，这既能降低AI综合应用成本，也是对生产力的极大提升。

当前，爱芯元智不仅在继续优化和迭代HDR、3DNR、RLTM和Demosaic相关的AI 算法，也在探索将传统ISP pipeline上的其他模块进行AI 化。此外，结合爱芯智眸®AI-ISP的高算力要求，爱芯元智还同步自研了爱芯通元®混合精度NPU，进一步加快AI开发的落地效率。

至于爱芯智眸®AI-ISP与“真黑光”之间的关系，张兴表示，在0.01lux.的黑光时代，仅从镜头和sensor的提升已经不能解决实质问题，而传统ISP已经无法满足黑光的技术提升需求，也因此出现了很多鱼目混珠的情况，比如说降帧，增加补光灯等方法，“爱芯认为，一个合格的黑光全彩相机要保证在0.01lux场景下，不需要通过补光，可以实时（25-30）fps，正确分辨运动物体，并正确还原颜色”。而这，正是爱芯智眸®AI-ISP所具备的差异化优势。

事实上，也恰恰是爱芯智眸®AI-ISP在2020年正式切入市场，从而引领了“黑光全彩相机”这个新品类的快速发展。

今年以来，大模型的火热带领AI发展步入新阶段，爱芯元智认为，基于图像处理的实时性、可靠性的高要求，以及隐私保护的需求，未来AI将从云端逐渐落地到端侧边缘侧，这也将对端侧算力提出更高要求。目前，爱芯元智第三代、第四代芯片所搭载的爱芯通元®混合精度NPU都支持Transformer大模型部署。随着大模型的发展，爱芯元智也在积极探索通过大模型实现更好的AI-ISP效果。

可以看到，伴随着极暗、高动态、光污染等各种极限场景下的更高成像要求，AI-ISP在人工智能视觉成像领域正变得越来越重要。以技术创新解决低照和高动态的行业核心痛点，爱芯智眸®AI-ISP打造的黑光全彩相机等新品类，也正在为人们解锁更多视界，未来或将引领一个全新成像时代的到来。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第3470期内容，欢迎关注。