Redian新闻
>
手机厂商都在押注的影像技术,如何取得新突破?

手机厂商都在押注的影像技术,如何取得新突破?

科技


如何让手机摄影,能简单到「只需按下快门」,又复杂到能比肩专业的摄影创作?


作者 | Jesse
编辑 | 靖宇


10 月 24 日,vivo 举办了自己的 2022 影像战略发布会。从硬件成像、视觉处理、后期美化等多个角度,为后续影像技术、产品,规划了一幅更完整的「蓝图」。

过去几年,随着智能手机市场竞争日益激烈,产品同质化严重,各家厂商都开始大力投入影像技术研发,希望在拍照摄影功能上有所突破。在此之前,vivo 已多次将影像技术作为发布会分享主题。

大力投入产出了成果。今天智能手机上搭载的相机,已经是一套非常复杂的系统,甚至比很多专业相机更复杂,有更深的技术纵深。



但手机的物理限制依然摆在这里。感光元件的体积、镜头模组的重量,无不限制着手机摄像头的表现。当用户需要「用眼睛收货」时,不少手机的表现都不尽如人意。技术落地到产品后,常与用户需求错位,体验提升有限。甚至有时候,技术迭代了,产品升级了,体验反而倒退。

这不只是 vivo 一家公司正面对的挑战,更需要整个行业上下游,对用户的「摄影需求」,进行一次重新思考,再次出发。


01

难以突破的影像技术



多年以来,摄影圈一直流行着一句话,「底大一级压死人」。

意思很简单,对数码相机来说,底部感光元件的面积,决定了你能捕捉到光线的量,进而决定了成像质量。「底」越大,效果就越好。

根据感光元件的尺寸,数码相机被分为了全画幅、APS-C、1 英寸等不同级别。传感器尺寸决定成像质量,是摄影圈最底层的「定律」。

对手机来说,内部空间寸土寸金,不可能采用类似相机的设计。近年感光元件最大的手机摄像头模组,也不过是达到了「1 英寸底」的级别,在相机领域依然只能说是「小底」。

与此同时,手机要应对的拍照场景却更复杂。普通用户并不会通过人工布光、架三脚架延长曝光时间等方式提升进光量,这加剧了进光量不足的问题,对影像系统提出了更高要求。

为了解决手机拍照的画质问题,工程想出了很多办法,从基本的「硬件堆料」,提升感光元件的像素、面积,对感光子像素进行重新设计;到「计算摄影」,通过多次曝光,减少高感光度下的画面噪点,拉高亮度,针对模糊的物体边缘进行锐化……

特别是近年来各家厂商着重发力的「夜景模式」,很多都是通过机器学习算法,对画面进行「还原」。让手机能在极暗,几乎漆黑的环境下,也能拍出一张像样的照片,亮度比专业相机还高。


大部分手机的夜景模式,都会对将画面提亮到极高的水平|The Verge


但这些改进,也遇到了不小的问题。

硬件上,无论是加大传感器面积,还是提升像素,带来的感光性能提升,其实都比较有限。特别是在暗光场景下,进光量不足的问题很难得到实质性改善。

而靠软件优化,通过「算」提升画质,依然存在问题。不少厂商开发的计算摄影功能,在处理时都过于粗暴,有的会对画面进行过度锐化,凸显出人脸上的瑕疵,有时会过度拉高画面暗部的亮度,让画面显得很平,缺乏明暗对比,被用户批评为「塑料感」。

如果单纯以「明亮」、「清晰」为评价标准,智能手机近几年的影像性能确实有大幅进步,暗光下的成像质量都有大幅提升。但到用户的眼睛里,评价一张照片「好」的标准,显然不只是明亮清晰那么简单。「如何拍出好看的照片」,是一个更复杂的议题。

包括一些特色影像功能,也存在技术与体验错位的问题。人像模式抠图不干净,不自然;电影模式、运动模式、高像素模式的可用度不高……还有不少厂商推出了拍摄 RAW 格式照片的功能,确实能提升照片的画质,给用户更多后期处理的空间。但很多时候由于后期操作过于麻烦,用户反而陷入了「默认难看,RAW 麻烦」的矛盾处境。



这些问题,集中体现在最主流的旗舰手机,iPhone 上。「原相机拍照难看」已经成为了 iPhone 用户普遍的共识,几乎每个 iPhone 用户,都会在手机内安装不只一款拍照软件,有专门用于自拍的,给照片加复古滤镜的,专门修图的……都是在补充原相机的缺陷。

甚至有一些 iPhone 用户,在拍照的时候,会用截屏功能,把 iPhone 的取景器里的预览画面截下来,以此代替快门来自拍。因为取景器里的画面,未经计算摄影流程处理,不会对脸上的瑕疵进行锐化,也不会强行提亮阴影,因此看起来反而更自然。

功能与需求的错位,让厂商在影像技术领域的努力,反而转化为了「负优化」。


02

重塑移动

影像的「标尺」



关于移动影像「好」的标准,原本并不存在什么分歧。

一套好的影像系统,首先要有强大的硬件,提供足够的画面清晰度,覆盖多个焦段,有好的宽容度,HDR 效果,准确的色彩还原能力;其次应当做到体验顺畅,相机软件设计合理,功能易于理解,拍照成片率高;最后要有丰富、智能的后期处理功能,能识别场景,做出合理、自然的计算摄影优化,同时给用户留出后期空间。

但在实践过程中,各种矛盾开始涌现出来。

比如堆硬件会带来手机重量、厚度提升、摄像头过于突出,很多用户不愿意接受;提高像素后,照片文件的体积会成倍增大,拍照后的处理时间也会变长。

又比如上面提到的「自拍难题」。人像拍摄场景下,大部分国产品牌,以及三星,针对亚洲人的需求,会对面部细节进行柔化,加入一定的「磨皮处理」。但这种处理方式却不符合西方人的审美,他们更倾向于展示出面部皮肤的细节,所以 iPhone、Google Pixel 等手机的处理方式就更倾向于「锐化」。

诸多矛盾堆叠在一起,对手机厂商的影像部门提出了更高的要求。各家不仅需要通过自研技术打破限制,更需要对用户需求、喜好建立更深刻的认知。

这一点充分体现在 vivo 的影像技术发展历程里,从镜头光学系统、CMOS 传感器,到 ISP 芯片、计算摄影算法……vivo 几乎将资源注入到了移动影像的每一个环节,在底层技术上推出了与蔡司联合研发的光学系统,也用上了自研的 ISP 芯片 V1。


vivo 在影响战略发布会上发布的下一代自研 ISP 芯片|vivo


这场影像战略发布会上,vivo 公布了一系列底层技术的进展。包括能将传感器感光能力提升 77% 的 CMOS、进一步利用机器学习性能,提升图像处理速度的 AI-ISP,以及与蔡司联合开发的下一代小型化镜头模组。移动影响的核心目标从未改变:在模组体积有限的情况下,尽可能提升进光量,增加算力。

除了努力,选择其实也很重要。过去几年,vivo 大力投入底层影像技术的同时,并没有选择过分拉高参数。在像素数、变焦倍数等参数上,都采取了相对保守的配置。与此同时,vivo 选择做了一系列能体现自己「独特理解」的技术。

比如「微云台」,着力增强防抖功能,提升进光量的同时,也能优化用户的拍照体验,提高成片率。又比如与蔡司联合研发的镜头镀膜,解决了困扰不少厂商的,光线反射过程中的鬼影问题。


近年帮助 vivo 取得市场亲睐的微云台技术|vivo


这些选择也得到了市场的回应与认可。根据市场调研机构 Counterpoint 的数据,2021 年,vivo 成为中国智能手机销量第一的品牌,市占率达到 22%。今年二季度,vivo 在国内高端智能手机市场的市占率也实现突破,成为第二,仅次于苹果。

过去几年,在技术不一定能转化为用户体验的行业困境中,vivo 实现了数次成功的「方向探索」,刷新了自己对移动影像的理解,重塑了这根标尺。

今年的影响战略发布会上,vivo 宣布,将从 CMOS、超分算法、下一代 AI-ISP 和计算摄影多个维度,打造面向未来的「影像技术矩阵」,进一步前进。


03

用「一颗快门」

赋能普通人



手机影像发展早期,数码爱好者圈子里曾兴起过一个讨论:手机拍照,是应该尽量提亮画面,让用户更容易拍到想拍的东西;还是应该准确曝光,尽量保证画面纯净度,拍得更好看?

这场「要亮度还是观感」的讨论,为之后近十年移动影像的发展,埋下了伏笔。

对手机用户来说,拍照似乎特别简单,对准物体、按下快门就行了。但实际上,专业摄影远没有这么简单,从拍摄前的器材选择,场景布置,到拍摄中的构图、调节曝光,到拍摄后的调色、修图,每个环节都是一门专业学科。

所以对手机厂商来说,移动影像技术的最大难题,就在于如何将这些专业性、复杂度极强的环节,浓缩成一颗简单的「快门按钮」。这个过程中,存在着大量与「要亮度还是观感」类似的矛盾。

这也是为什么,vivo 在自己的影像战略中,提出了「三个比肩」,要将移动影像的技术水平、产品体验,带到能比肩专业影像设备、比肩专业摄影团队、比肩专业后期能力的水平。



发布会上,vivo 邀请了专业摄影艺术家,来解读 vivo 处理图像的理念和方式。

其中最独特的,也是其他厂商很少提及的,就是「影调」的重要性。今天大部分手机拍照,在大光比场景下,都会调用 HDR 功能,把暗部的亮度拉高,高光部分压低,呈现出尽可能多的画面细节。

但人眼观察世界的方式并不是这样的,人们看到的世界是「光影的结合」,有亮有暗,才能体现出画面的立体感、层次感。所以 vivo 采用光学感知系统,加上对环境的识别,在自己的计算摄影管道里,加入了「光影重建」这一流程,能更准确还原画面的影调,既保证曝光的准确,又让画面不会只是「傻亮」,显得没有层次。

要实现这一点,首先需要有强大硬件作为基础,有宽容度足够的 CMOS、算力足够的 ISP 进行场景识别,同时也要对用户的拍摄需求有深刻的理解,最后还要利用专业的摄影作品,作为训练集,增强影像系统的「审美能力」。

通过这一系列的过程,最后落到功能上,成为了 X80 系列手机上的「智能白加黑减」功能。而这个功能,只是 vivo 对全场景智能优化的冰山一角。除了影调,他们还真对色彩、夜景、人像、视频等场景,都展开了针对性的优化。



此次的发布会上,vivo 特别展示了它在多个算法领域的最新突破。

其中包括用于提升画面的解析力的「光学超分算法」,可以在 5X 以上的超长焦端下,大幅提升画面清晰度,使超长焦不再「鸡肋」。还包括「超感人像系统」,能对人像信息进行理解,再进行细节优化,不是粗暴的「磨皮涂抹」,保留细节的同时又不会凸显瑕疵,营造出自然、独特的人像氛围。

最后的一个「大招」,是能控制暗光噪点和色彩还原的「VCS 放生光谱技术」,vivo 表示,它能将图像信噪比提升 20%,还原提升 15%。用这套技术加成后的「苍穹夜景系统」,能基于感光能力更强的 CMOS,加上 AI 算法,使夜景感光能力提升 100%,实现「手持拍摄星空」。

从自研芯片、算法,到联合蔡司研发光学系统、镜头,到下一代的 CMOS……今天,想要打造一套优秀的移动影像系统,不只是要在单个技术点投入资源突破,更需要从整个技术矩阵出发,全局前进。因为矩阵里的任何一块短板,可能都会拖体验的后腿。

而这一切,都是为了让手机摄影,能简单到只需要按下快门,又复杂到能比肩专业的摄影创作。在 vivo 提出的口号里,他们将「持续为消费者提供人性化的专业影像体验」。

他们确实在某种程度上做到了。2021 年,第二届 vivo VISION+ 手机摄影大赛上,他们征集了超过 38 万幅摄影作品,传递了无数个普通人,用快门记录下的,他们的情感和力量。

这正是移动摄影最初的意义所在。



本文为极客公园原创文章,转载请联系极客君微信 geekparkGO



极客一问

你如何看待移动摄影的内卷










微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
邓伟侨教授团队在新冠检测领域研究取得新进展普惠级癌症早筛:灵敏度≥90%,"染色体开放区间"技术取得泛癌筛查新突破2022留学生出国几乎必得新冠,症状如何?如何治疗?如何预防?不造车的 OPPO,还在押注更好的手机红杉重金押注的蓝海赛道,新一代玩家搅局,一家老牌药企悄然布局!手机厂商「压力肥」呼叫夏圆圆,圆食滚滚来“浅浅折痕”拦住折叠屏手机厂商?苹果正式宣布:手机厂下一个内卷方向是「上天」市场红利!这家公司4D成像雷达取得重大技术突破!俄乌交换在押人员,110名俄公民回国研究一个泥人中国mRNA疫苗研发取得新突破JCI Insight:中山大学苏文如教授团队在眼免疫性疾病的炎症控制和临床靶向防治领域取得新进展国产氧化镓研究,取得新进展【易方达指数通】一指通未来 | 突破关键核心技术,投资中国"芯"基因改造的最新突破如何“拯救世界”?搞技术,如何写好技术文档?在美国211.太苛刻,签吗?单细胞技术最新进展丨技术突破使得相关研究频发顶刊,带来临床科研的多项突破拍摄时,该如何选择你的影像基调?那年火车上的故事 (上集)(十二)情债苹果、小米、字节纷纷押注的XR,正在批量诞生独角兽再获6700万美元融资,软银押注的「AI+真菌」初创欲加速真菌天然产物发现美国宣布核聚变技术取得突破,商业化仍需数十年英特尔这项技术,如何融入千行百业“真书法老师”和“假书法老师”的区别Chiplet技术新突破,降低芯片设计门槛安稳和自由,如何取舍?| 人间日签信息量太大!刚刚,国家解释一切:为何取消次密接、中风险!是否逐步取消集中隔离?不久将来是否全面放开?成立整治“层层加码”专班!海鲜细胞培养公司接连突破细胞系与细胞「自行生长」技术,后者或降低75%成本美股SPAC|中国全息影像技术公司盟云全息,成功借壳SPAC在美国纳斯达克挂牌上市搭建第三方医学影像软件产品和增值服务创新平台,赛吉普兰如何赋能医学影像软件行业服务升级?中美监管合作取得新进展,赴美上市更近一步?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。