Redian新闻
>
ISP的新方向!!

ISP的新方向!!

科技

图像信号处理(Image Signal Processor,ISP)传统上是多媒体市场的重要芯片支柱。从数字照相机到智能手机,ISP在一切需要拍摄图像的领域都扮演着重要的作用。而随着社会生活智能化的进一步提升,ISP也在进入许多新的市场应用领域,而这些新的智能场景对于ISP提出了新的需求。

首先是自动驾驶/辅助驾驶领域。机器视觉是自动驾驶/辅助驾驶的支柱技术,如果没有机器视觉那么这些新的智能驾驶技术恐怕都很难成功。在自动驾驶/辅助驾驶领域,ISP扮演着重要的角色。ISP负责把原始影像(RAW Image)作相应处理,使之成为能够更好地被机器视觉模型处理的图像。在这个过程中,为了确保自动驾驶/辅助驾驶技术的可靠性,需要确保在低光照等情况下机器视觉模型也能正确工作,这就需要ISP能对于图像做夜视和降噪处理。传统上可以通过提高曝光时间来降低噪声的影响,然而对于自动驾驶/辅助驾驶这类对于延迟非常敏感的场景,提高曝光时间并非一个有用的选项,这就需要ISP能够使用下一代降噪和夜视技术来满足相应的需求。


在自动驾驶/辅助驾驶之外,安防也是对于ISP技术有新需求的新智能场景。安防场景中,也需要处理各种低光照等场景,为了确保成像质量不受影响,也需要ISP能很好地处理这些场景,从而确保安防监控能真正在所有时间段和所有场景下都能提供保护。


最后,在多媒体场景下(如手机等),拍摄也在越来越智能化,用户对于拍摄成像质量的需求也在逐渐提升,除了和前述相似的夜景拍摄之外,还有各种智能化的需求,包括自动场景识别(从而能够根据场景自动调用最佳的传感器设定),自动人脸检测(从而确保自动曝光和对焦等算法的准确性),超分辨(从而实现更好的远距离拍摄)等等。这些都要么需要对原有的ISP功能做改进,要么就是需要ISP引入新的功能,从而确保用户体验。

人工智能能解决ISP的技术挑战

在前述的智能化应用中,事实上使用新一代的人工智能神经网络往往是夜视、场景识别、人脸检测、超分辨等的最佳解决方案。


从夜视降噪来说,目前的最优解决方案就是使用神经网络来完成降噪。由于噪声是一个随机过程,因此很难有解析的公式来完成降噪;而是用神经网络则可以通过收集大量的同一个场景的低光照/高光照照片对来实现训练,确保神经网络能在训练数据集上能够将低光照照片拟合到高光照照片上,这样当训练数据量足够大的时候,该神经网络就能够有很好的泛化能力,从而在所有的场景下都能够完成夜视降噪。如下图所示,右边使用人工智能神经网络的解决方案效果远远好于传统ISP的夜视降噪方案。



除了夜视降噪之外,超分辨是人工智能另一个有显著优势的场景。超分辨和夜视降噪一样,很难对于整个问题做数学上的建模,但是通过大量数据的学习,神经网络可以实现非常好的超分辨效果,其效果远远超过普通的数字变焦,从而可以以较低的硬件成本(无需高倍镜头)就能实现很好的用户体验。



最后,对于场景识别、人脸检测等功能来说,本来人工智能就已经在这类场景得到大量的广泛应用,因此把相关的模型使用到ISP相关的领域,让ISP来根据模型的输出来做相关的拍摄参数调整,也是自然不过的选择。值得注意的是,场景识别和人脸检测使用神经网络的准确度会比使用其他传统方法高许多(判断错误的概率甚至可以低一个数量级),因此未来使用人工智能也是自然的方向。

人工智能与ISP的整合

回到芯片设计的角度,为了在ISP中加入人工智能的元素,就需要对于ISP做相应的调整,来和人工智能做整合。


众所周知,这一代的基于神经网络的人工智能的一个重要特点是神经网络参数多,计算量大,因此为了满足ISP的相关需求,需要能有一个能高效处理人工智能计算的相应模块(AI引擎)来满足ISP的需求。同时需要注意的是,由于ISP对于延迟和功耗都有需求,因此AI引擎也必须考虑这两方面的因素。


为此,有两种不同的ISP整合人工智能解决方案。第一种方案是把ISP和AI引擎整合到一起,在同一个IP模块里面。这样做的好处在于ISP和AI引擎耦合度较高,因此能够通过ISP和AI引擎的协同优化来实现较高的延迟和功耗。举例来说,ISP往往是一个流水线,处理像素的时候也是分批处理(而不会一直是等到所有像素都传到之后再处理);另一方面,基于卷积神经网络的AI模型也可以利用类似的流水线特性,将像素分批处理。通过将ISP和AI引擎深度整合在一起,就可以协同设计这样的流水线,从而实现更好的延迟。另外,神经网络和ISP事实上对于DRAM访问都有很高的需求,如果能够将ISP和AI引擎通过深度整合来协同优化内存访问的调度,从而确保两者不会同时大量访问内存,将会大大减少对于DRAM带宽的压力。然而,这样设计的问题在于AI引擎只能被ISP调用,因此如果ISP不工作的时候,AI引擎事实上就不会被打开,从而就有了dark silicon(芯片面积浪费)的问题;另外ISP和AI引擎的协同设计很多时候是假设AI引擎会跑几个固定的模型,如果想要更新模型的话类似的硬件上固化的设计就不再是最优的了。


除了深度整合之后,另一种设计思路是将ISP和AI引擎分开,但是确保ISP可以AI引擎之间有顺畅的数据通路,同时确保ISP有高优先级调用AI引擎。这样的好处是AI引擎不会被浪费,就是ISP不启动的时候也可以给其他应用调用;另外可以灵活配置使用在AI引擎中的模型,从而让ISP中使用的神经网络模型可以使用软件控制。当然,由于ISP和AI引擎耦合度较低,这样也较难深度地为ISP和AI引擎做协同优化,从而在延迟和能效比方面将会有一定成本。


我们认为,在这两种整合模式中,如果目标产品本身就是一块ISP芯片,那么显然第一种整合方式是最合理的,因为ISP芯片的首要目标就是高性能高能效比,而且其AI引擎本来就不会被系统中的其它模块所调用。另一方面,如果目标产品是ISP IP的话,那么两种整合方式都有其合理性,对于追求性能的高端ISP IP,我们认为更有可能会在ISP中集成一个较为强力的AI引擎,确保高性能高能效比;对于中端的ISP IP,未来的方向可能是在ISP IP中整合进一个较为基本的AI引擎,来确保基本的相关模型可以运行,同时也会在ISP上留够接口,使得ISP能通过片内互联的方式来访问SoC上的其他AI引擎,从而如果需要运行较大的模型时候可以使用其他的AI引擎实现。

AI ISP在芯片业界已经渐成主流

AI ISP事实上已经得到了半导体业界的重视,相关的产品已经渐渐问世。


去年年底,海思就宣布推出了下一代用于安放场景的越影ISP芯片,其主要的亮点就是通过与AI引擎的深度整合,实现夜视降噪的高效处理。同样是在去年,Oppo发布了自研的马里亚纳ISP芯片,其主要特点也是通过整合高达18TOPS算力的AI引擎,从而实现4K影像的实时夜视降噪,从而为手机用户带来全新的用户体验。


在今年,也有越来越多的厂商推出了AI ISP。今年年初,安霸在CES上发布了AISP,该产品充分利用了安霸在图像和AI领域的积累,从而实现高效的下一代ISP;上个月,芯原也推出了AI-ISP的IP,同样是针对夜视降噪场景;爱芯元智的爱芯智眸AI-ISP也正式发布,通过将ISP中的几个关键硬件模块抽离并用AI算法取而代之,实现整个AI ISP的最佳效果。


如前所述,随着自动驾驶/辅助驾驶、安防、消费电子的进一步智能化,相应的对于ISP的需求正在推动ISP和人工智能做整合,而上述公司的新产品也恰好是针对了这些重要的应用场景。我们认为,随着智能化的进一步加深,AI将会成为ISP中越来越重要的一个环节,未来ISP芯片和IP中也会看到AI引擎的进一步整合。

*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。


今天是《半导体行业观察》为您分享的第3201内容,欢迎关注。

推荐阅读


夹缝求生的芯片公司

市值暴跌的半导体设备巨头

半导体巨头的钱,从哪里挣的?


半导体行业观察

半导体第一垂直媒体

实时 专业 原创 深度


识别二维码,回复下方关键词,阅读更多

晶圆|集成电路|设备|汽车芯片|存储|台积电|AI|封装

回复 投稿,看《如何成为“半导体行业观察”的一员 》

回复 搜索,还能轻松找到其他你感兴趣的文章!

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
英国未来新发展方向!苏纳克宣布大搞ESG,留英党的新机会来了MVP的极简做法,适用于从0到1的初创公司或大厂孵化的新业务美股SPAC|中国SPAC Horizo​​n Space Acquisition I申请6000万美元IPO,目标新兴成长公司知名车企|蔚来 2023 校园招聘正式批已启动!26个方向!3次投递机会!科研选题没灵感?2 个方向!发文 50 多篇的临床医生教你选题发射成功!向着太阳的方向!推荐一个好发论文的研究方向!找准方向!顶尖大学里极具潜力的小众专业,不水也不卷!四大之一|安永 2023校招补录进行中!三大方向!22-23届均可投!取消次密接、取消中风险、取消熔断...防疫20条“新方向”划重点【财富大餐】 中报落幕,寻找新方向?糯米网宣布关停,百度本地生活却找到新方向?完了!法拉盛领跑全市!!!!!!跟随强国路径,把握投资方向!| 银华基金《一茶一席谈》第八谈旧瓶装新酒!这个月最新5+铁死亡套路!告诉你单细胞signature新方向!老海归和白卷英雄英美双申新方向| A-level学生如何申请美国本科?厕哢佗洛基,试释屎诗事哈佛、斯坦福申请季“放大招”!新学院、新专业都围绕这个方向!继ADC之后,PDC能成为靶向治疗的新方向吗?最新!英国政府透露未来经济发展的两大方向!我就看谁敢下班!!!!!!麻醉治疗学——学科发展新方向对话 Spring 大神:Spring 生态系统的新时代来了!募资人说,“个人LP的钱比机构LP的钱好融太多了”曙光将至!跨年行情预期升温,公募:重点布局这三大方向!明年港股大概率好于A股比奥数还“卷”的信息奥赛,正在成为“推娃”新方向?不妨先算清楚这笔账女副教授的浅浅诗赋能智慧养老,传感器产业迎新机遇、新方向、新需求闲话人生(206)老关庙小学和首义路小学从央企违规责任追究,看中央企业合规管理新方向公布!大量澳洲毕业生均分不高,申上藤校G5港新等名校!背景全公开,看澳本申研新方向?【万歌诗词】卷四、自由诗乐高爱好者必去的天堂!!!只有2天!!现在买还有Early Bird优惠!!未来十年,三个关键词|新时代新方向
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。