星空拍照、屏下指纹…你以为的司空见惯，靠的是算法定义传感器 | 甲子光年

“当我们有非常好算法的时候，我们如何用这样的算法匹配最好的传感器？当我们有最好的大脑的时候，如何去匹配最明亮的眼睛，来看到最好的世界？”旷视科技联合创始人、CEO印奇在刚刚结束的2022旷视技术开放日上公开表示。

从智能手机到智能手表，从智能摄像头到智能汽车，智能设备的发展已势不可挡。为了争夺更多的市场份额，各厂商不断推陈出新，市场竞争逐渐趋于白热化。

而随着摩尔定律接近极限，硬件发展的天花板越发明显，各智能设备的市场竞争，也已经从过去的纯硬件竞争，进入到“算法+硬件”竞争的阶段，并且开始向下渗透进了“传感器”领域。

物联网时代，传感器的重要性不言而喻。作为智能设备的核心组成部分之一，获取各类数据和信号的传感器承担着链接物理世界与数字世界的桥梁作用。目前市面上几乎所有智能产品中都能看到各个传感器的身影。

如今，在AI算法的加持下，传感器的作用正在被进一步放大，而相关智能硬件所发挥的效果，也伴随着AI传感器的出现而获得了肉眼可见的提高。

例如很多智能设备常见的影像功能，正是AI传感器的典型应用场景。过去，厂商们只是单纯的比拼镜头像素数据，但现在则更加注重最终的成像品质。这一改变的背后，其实就是各厂商对算法与传感器的调校。

一个业内确定性的共识是，AI传感器正在成为智能手机影像能力的核心。AI软件与CMOS图像传感器的结合，将是未来智能手机影像能力持续提升的关键。

这一判断，与此前旷视科技提出的“算法定义硬件”的理念不谋而合。

作为一家聚焦物联网场景的人工智能公司，一直以来，旷视都是“算法定义硬件”的提出者和践行者。而算法定义传感器，正是算法定义硬件理念的进一步实践落地。

在旷视的观点中，AIoT（AI+IoT+空间）时代下，算法是包括传感器在内的硬件核心，硬件能力需要结合算法才能被进一步放大。例如计算摄影、屏下指纹识别，都是算法定义传感器理念下出现的“应用奇迹”。

也就是说，AIoT开始正式进入算法定义传感器时代。

1.传感器为什么需要算法定义？

尽管传感器是智能设备的重要组成部分之一，但在算法应用到传感器上之前，传感器只是承担着获取各类环境数据或信号的作用，并不像芯片等核心硬件那样被厂商们所重视。 

但随着AI算法、视觉算法等领域的不断发展，以及算法在各行业的普及应用，很快人们发现，传感器与应用系统之间，需要算法作为承上启下的桥梁，才能发挥最大价值。

传感器之所以需要被算法定义，是因为AI算法“明白”应用的需求。随着智能产品技术的不断升级迭代，用户对应用的要求也越来越高，例如更高的灵敏度、更精细化的图像质量等等，这让应用对相应的数据质量也就提出了更高的要求。在这种情况下，经过算法计算后的传感器数据，才能满足真实的用户需求。

“随着应用的不断改变与升级，应用对算法提出了越来越多的需求，同时算法也对传感器提供的信息和输入提出了要求，甚至本质性地改造了传感器的形态以及样式，从而产生了我们所说‘算法定义传感器’的概念。”旷视研究院计算摄影负责人范浩强直言。

也许这种解释略显晦涩，但从技术应用的角度来看，算法与传感器的结合，已经在计算摄影领域被大范围应用。通过算法来优化相机拍摄照片的成像质量，已是现在很多智能手机的基础卖点。

众所周知，光线对摄影的成像质量影响至关重要。早期的影像技术需要依靠专业的设备和补光，并且只能实现“日光级”的拍摄；随着智能手机及相关CMOS传感器工艺的进步，拍照开始进入“灯光级”时代，在自然光下的非专业环境也能够完成较好的拍摄；而在算法引入智能手机之后，“月光级”的夜景拍摄，对于消费者来说也不再遥不可及；进入2022年，如今在AI技术加持之下的智能手机，拍照已经达到了“星光级”水准，在几乎肉眼都难以辨识的环境之下，依靠算法+传感器的能力，拍摄出高质量的照片。

“这个过程并不容易，其中AI算法扮演着非常重要的角色，而且光线传感器部件、镜头防抖、对焦等组件，都需要根据算法需求定制，才能实现影像能力的飞跃。”范浩强表示。

据了解，目前，旷视早已深度参与到了诸多智能产品的影像能力提升过程中，提出“AI画质”的影像技术方案，1080P的软件方案已经广泛应用，同时配合专业硬件辅助的4K级AI画质方案在客户维度量产，并在筹备8K级别的“AI画质”硬件方案的研发与产品化。

此外，实时HDR视频、瞬时相机（也称事件相机Event camera）、手机AI电影等，也都是旷视科技利用AI算法结合传感器在计算摄影领域的典型应用案例。

2.算法定义下的传感器还能做什么？

3.AIoT时代，旷视的核心商业逻辑