手机厂商都在押注的影像技术,如何取得新突破?
如何让手机摄影,能简单到「只需按下快门」,又复杂到能比肩专业的摄影创作?
作者 | Jesse
编辑 | 靖宇
10 月 24 日,vivo 举办了自己的 2022 影像战略发布会。从硬件成像、视觉处理、后期美化等多个角度,为后续影像技术、产品,规划了一幅更完整的「蓝图」。
过去几年,随着智能手机市场竞争日益激烈,产品同质化严重,各家厂商都开始大力投入影像技术研发,希望在拍照摄影功能上有所突破。在此之前,vivo 已多次将影像技术作为发布会分享主题。
大力投入产出了成果。今天智能手机上搭载的相机,已经是一套非常复杂的系统,甚至比很多专业相机更复杂,有更深的技术纵深。
但手机的物理限制依然摆在这里。感光元件的体积、镜头模组的重量,无不限制着手机摄像头的表现。当用户需要「用眼睛收货」时,不少手机的表现都不尽如人意。技术落地到产品后,常与用户需求错位,体验提升有限。甚至有时候,技术迭代了,产品升级了,体验反而倒退。
这不只是 vivo 一家公司正面对的挑战,更需要整个行业上下游,对用户的「摄影需求」,进行一次重新思考,再次出发。
01
难以突破的影像技术
多年以来,摄影圈一直流行着一句话,「底大一级压死人」。
意思很简单,对数码相机来说,底部感光元件的面积,决定了你能捕捉到光线的量,进而决定了成像质量。「底」越大,效果就越好。
根据感光元件的尺寸,数码相机被分为了全画幅、APS-C、1 英寸等不同级别。传感器尺寸决定成像质量,是摄影圈最底层的「定律」。
对手机来说,内部空间寸土寸金,不可能采用类似相机的设计。近年感光元件最大的手机摄像头模组,也不过是达到了「1 英寸底」的级别,在相机领域依然只能说是「小底」。
与此同时,手机要应对的拍照场景却更复杂。普通用户并不会通过人工布光、架三脚架延长曝光时间等方式提升进光量,这加剧了进光量不足的问题,对影像系统提出了更高要求。
为了解决手机拍照的画质问题,工程想出了很多办法,从基本的「硬件堆料」,提升感光元件的像素、面积,对感光子像素进行重新设计;到「计算摄影」,通过多次曝光,减少高感光度下的画面噪点,拉高亮度,针对模糊的物体边缘进行锐化……
特别是近年来各家厂商着重发力的「夜景模式」,很多都是通过机器学习算法,对画面进行「还原」。让手机能在极暗,几乎漆黑的环境下,也能拍出一张像样的照片,亮度比专业相机还高。
大部分手机的夜景模式,都会对将画面提亮到极高的水平|The Verge
但这些改进,也遇到了不小的问题。
硬件上,无论是加大传感器面积,还是提升像素,带来的感光性能提升,其实都比较有限。特别是在暗光场景下,进光量不足的问题很难得到实质性改善。
而靠软件优化,通过「算」提升画质,依然存在问题。不少厂商开发的计算摄影功能,在处理时都过于粗暴,有的会对画面进行过度锐化,凸显出人脸上的瑕疵,有时会过度拉高画面暗部的亮度,让画面显得很平,缺乏明暗对比,被用户批评为「塑料感」。
如果单纯以「明亮」、「清晰」为评价标准,智能手机近几年的影像性能确实有大幅进步,暗光下的成像质量都有大幅提升。但到用户的眼睛里,评价一张照片「好」的标准,显然不只是明亮清晰那么简单。「如何拍出好看的照片」,是一个更复杂的议题。
包括一些特色影像功能,也存在技术与体验错位的问题。人像模式抠图不干净,不自然;电影模式、运动模式、高像素模式的可用度不高……还有不少厂商推出了拍摄 RAW 格式照片的功能,确实能提升照片的画质,给用户更多后期处理的空间。但很多时候由于后期操作过于麻烦,用户反而陷入了「默认难看,RAW 麻烦」的矛盾处境。
这些问题,集中体现在最主流的旗舰手机,iPhone 上。「原相机拍照难看」已经成为了 iPhone 用户普遍的共识,几乎每个 iPhone 用户,都会在手机内安装不只一款拍照软件,有专门用于自拍的,给照片加复古滤镜的,专门修图的……都是在补充原相机的缺陷。
甚至有一些 iPhone 用户,在拍照的时候,会用截屏功能,把 iPhone 的取景器里的预览画面截下来,以此代替快门来自拍。因为取景器里的画面,未经计算摄影流程处理,不会对脸上的瑕疵进行锐化,也不会强行提亮阴影,因此看起来反而更自然。
功能与需求的错位,让厂商在影像技术领域的努力,反而转化为了「负优化」。
02
重塑移动
影像的「标尺」
关于移动影像「好」的标准,原本并不存在什么分歧。
一套好的影像系统,首先要有强大的硬件,提供足够的画面清晰度,覆盖多个焦段,有好的宽容度,HDR 效果,准确的色彩还原能力;其次应当做到体验顺畅,相机软件设计合理,功能易于理解,拍照成片率高;最后要有丰富、智能的后期处理功能,能识别场景,做出合理、自然的计算摄影优化,同时给用户留出后期空间。
但在实践过程中,各种矛盾开始涌现出来。
比如堆硬件会带来手机重量、厚度提升、摄像头过于突出,很多用户不愿意接受;提高像素后,照片文件的体积会成倍增大,拍照后的处理时间也会变长。
又比如上面提到的「自拍难题」。人像拍摄场景下,大部分国产品牌,以及三星,针对亚洲人的需求,会对面部细节进行柔化,加入一定的「磨皮处理」。但这种处理方式却不符合西方人的审美,他们更倾向于展示出面部皮肤的细节,所以 iPhone、Google Pixel 等手机的处理方式就更倾向于「锐化」。
诸多矛盾堆叠在一起,对手机厂商的影像部门提出了更高的要求。各家不仅需要通过自研技术打破限制,更需要对用户需求、喜好建立更深刻的认知。
这一点充分体现在 vivo 的影像技术发展历程里,从镜头光学系统、CMOS 传感器,到 ISP 芯片、计算摄影算法……vivo 几乎将资源注入到了移动影像的每一个环节,在底层技术上推出了与蔡司联合研发的光学系统,也用上了自研的 ISP 芯片 V1。
vivo 在影响战略发布会上发布的下一代自研 ISP 芯片|vivo
这场影像战略发布会上,vivo 公布了一系列底层技术的进展。包括能将传感器感光能力提升 77% 的 CMOS、进一步利用机器学习性能,提升图像处理速度的 AI-ISP,以及与蔡司联合开发的下一代小型化镜头模组。移动影响的核心目标从未改变:在模组体积有限的情况下,尽可能提升进光量,增加算力。
除了努力,选择其实也很重要。过去几年,vivo 大力投入底层影像技术的同时,并没有选择过分拉高参数。在像素数、变焦倍数等参数上,都采取了相对保守的配置。与此同时,vivo 选择做了一系列能体现自己「独特理解」的技术。
比如「微云台」,着力增强防抖功能,提升进光量的同时,也能优化用户的拍照体验,提高成片率。又比如与蔡司联合研发的镜头镀膜,解决了困扰不少厂商的,光线反射过程中的鬼影问题。
近年帮助 vivo 取得市场亲睐的微云台技术|vivo
这些选择也得到了市场的回应与认可。根据市场调研机构 Counterpoint 的数据,2021 年,vivo 成为中国智能手机销量第一的品牌,市占率达到 22%。今年二季度,vivo 在国内高端智能手机市场的市占率也实现突破,成为第二,仅次于苹果。
过去几年,在技术不一定能转化为用户体验的行业困境中,vivo 实现了数次成功的「方向探索」,刷新了自己对移动影像的理解,重塑了这根标尺。
今年的影响战略发布会上,vivo 宣布,将从 CMOS、超分算法、下一代 AI-ISP 和计算摄影多个维度,打造面向未来的「影像技术矩阵」,进一步前进。
03
用「一颗快门」
赋能普通人
手机影像发展早期,数码爱好者圈子里曾兴起过一个讨论:手机拍照,是应该尽量提亮画面,让用户更容易拍到想拍的东西;还是应该准确曝光,尽量保证画面纯净度,拍得更好看?
这场「要亮度还是观感」的讨论,为之后近十年移动影像的发展,埋下了伏笔。
对手机用户来说,拍照似乎特别简单,对准物体、按下快门就行了。但实际上,专业摄影远没有这么简单,从拍摄前的器材选择,场景布置,到拍摄中的构图、调节曝光,到拍摄后的调色、修图,每个环节都是一门专业学科。
所以对手机厂商来说,移动影像技术的最大难题,就在于如何将这些专业性、复杂度极强的环节,浓缩成一颗简单的「快门按钮」。这个过程中,存在着大量与「要亮度还是观感」类似的矛盾。
这也是为什么,vivo 在自己的影像战略中,提出了「三个比肩」,要将移动影像的技术水平、产品体验,带到能比肩专业影像设备、比肩专业摄影团队、比肩专业后期能力的水平。
发布会上,vivo 邀请了专业摄影艺术家,来解读 vivo 处理图像的理念和方式。
其中最独特的,也是其他厂商很少提及的,就是「影调」的重要性。今天大部分手机拍照,在大光比场景下,都会调用 HDR 功能,把暗部的亮度拉高,高光部分压低,呈现出尽可能多的画面细节。
但人眼观察世界的方式并不是这样的,人们看到的世界是「光影的结合」,有亮有暗,才能体现出画面的立体感、层次感。所以 vivo 采用光学感知系统,加上对环境的识别,在自己的计算摄影管道里,加入了「光影重建」这一流程,能更准确还原画面的影调,既保证曝光的准确,又让画面不会只是「傻亮」,显得没有层次。
要实现这一点,首先需要有强大硬件作为基础,有宽容度足够的 CMOS、算力足够的 ISP 进行场景识别,同时也要对用户的拍摄需求有深刻的理解,最后还要利用专业的摄影作品,作为训练集,增强影像系统的「审美能力」。
通过这一系列的过程,最后落到功能上,成为了 X80 系列手机上的「智能白加黑减」功能。而这个功能,只是 vivo 对全场景智能优化的冰山一角。除了影调,他们还真对色彩、夜景、人像、视频等场景,都展开了针对性的优化。
此次的发布会上,vivo 特别展示了它在多个算法领域的最新突破。
其中包括用于提升画面的解析力的「光学超分算法」,可以在 5X 以上的超长焦端下,大幅提升画面清晰度,使超长焦不再「鸡肋」。还包括「超感人像系统」,能对人像信息进行理解,再进行细节优化,不是粗暴的「磨皮涂抹」,保留细节的同时又不会凸显瑕疵,营造出自然、独特的人像氛围。
最后的一个「大招」,是能控制暗光噪点和色彩还原的「VCS 放生光谱技术」,vivo 表示,它能将图像信噪比提升 20%,还原提升 15%。用这套技术加成后的「苍穹夜景系统」,能基于感光能力更强的 CMOS,加上 AI 算法,使夜景感光能力提升 100%,实现「手持拍摄星空」。
从自研芯片、算法,到联合蔡司研发光学系统、镜头,到下一代的 CMOS……今天,想要打造一套优秀的移动影像系统,不只是要在单个技术点投入资源突破,更需要从整个技术矩阵出发,全局前进。因为矩阵里的任何一块短板,可能都会拖体验的后腿。
而这一切,都是为了让手机摄影,能简单到只需要按下快门,又复杂到能比肩专业的摄影创作。在 vivo 提出的口号里,他们将「持续为消费者提供人性化的专业影像体验」。
他们确实在某种程度上做到了。2021 年,第二届 vivo VISION+ 手机摄影大赛上,他们征集了超过 38 万幅摄影作品,传递了无数个普通人,用快门记录下的,他们的情感和力量。
这正是移动摄影最初的意义所在。
本文为极客公园原创文章,转载请联系极客君微信 geekparkGO
极客一问
你如何看待移动摄影的内卷?
微信扫码关注该文公众号作者