VPU的春天

随着5G、移动端视频、云游戏、云桌面、VR/AR、元宇宙等行业的高速扩张，市场对专用视频处理芯片的需求呈现爆发式增长。近日，腾讯宣布自研的视频编解码芯片“沧海”已经量产并投用数万片。AMD则宣布推出采用5 纳米工艺的视频处理单元，以应对机器视觉识别时代的到来。还有消息称，英特尔将在新推出的第14代酷睿处理器中集成VPU(Video Processing Unit，视频处理单元）。在以机器视觉为基础的人工智能时代，经典计算结构中的CPU+GPU体系越来越无法满足海量视频业务处理的需求，专用视频处理芯片VPU将蓬勃发展。

众多公司投注视频处理芯片

互联网内容不断更新迭代，直播、点播、短视频等视频应用正在“侵蚀”各个年龄层。据估算，视频流媒体内容将占到互联网流量的80%。与此同时，用户对超高清视频的追求也越来越高。这些变化带来了对编解码算力的更多需求。

“传统上，视频流媒体业务主要由CPU和软件提供支持。因为传统的直播活动主要采取一对多的模式，视频流数量比较少，时延相对可控，因而采用传统方式是可以支持直播服务的。”AMD视频战略与市场开发主管Sean Gardner表示，“但随着时代的发展，越来越多的直播场景开始采用多对多模式，即每个人都是主播，他们既是数据源，也是接收器，衍生出连线观赏、直播购物、在线拍卖和社交流媒体等复杂多样的应用场景。繁复的应用场景要求数据的处理更加贴近用户，原先的视频处理方式已经难以满足需求，要求专用的视频处理单元、更强的算力支持，以适应新的变化。”

已经有越来越多的公司将目光投到视频处理芯片VPU之上。近日，腾讯宣布其在2022年3月顺利点亮的视频编解码芯片“沧海”已经量产并投用数万片，应用于云游戏、直点播等场景中。通过将视频预分析计算单元卸载到硬件中，沧海芯片可以大幅减少高密度转码场景下任务对CPU的依赖，进一步提升转码性能。

英特尔也对视频处理与机器视觉业务非常重视，去年进入独立显卡市场，推出高性能GPU。近日则有消息称，在今年下半年推出的第14代酷睿Meteor Lake上，英特尔会首次使用多芯片整合封装，同时增加一颗新的视觉计算单元VPU，以大幅提升视觉处理与AI性能，降低功耗。

AMD也于日前推出一款面向大规模直播互动流媒体的加速器Alveo MA35D，集成两颗VPU，采用5纳米工艺，可支持32路1080p60的转码密度。此外，谷歌、百度、腾讯等互联网大厂均投身视频处理芯片的自研。

对此，安谋科技（中国）有限公司VPU产品经理董峰表示：“视频应用越来越多，使得VPU的市场规模也不断增长。目前除去部分传感器与通用MCU之外，几乎多数处理器芯片都具有视频处理的功能。”另据市调机构Yole预计，到2025年VPU市场规模将达18.5亿美元。

人工智能与VPU将深度融合

ChatGPT正在全球范围内引发新一波的AI热潮，然而大语言模型能够直接驱动的算力增长实际上相对有限，未来70%～80%的AI计算任务将发生在机器视觉与多模态领域。这就使得专用的视频处理单元与AI运算能力相结合成为发展的主要方向。

“我们在Alveo MA35D开发过程中引入了人工智能分析视频的内容，能够更好地理解视频特点，比如视频的复杂程度如何、类型如何，是合成的电脑游戏，还是真实内容。有了人工智能获得的洞见，人们能以更高的效率把这些动态内容传导给编码器。这样的方式可以降低带宽和存储要求，提高效率。”Sean Gardner说。

那么，现实当中应该如何实现AI与VPU两种不同芯片技术的结合呢？根据董峰的介绍，业界通行的作法有两个：一是集成专用的神经网络加速单元，另一种是将AI处理功能融入VPU当中。

“对于互联网公司来说，芯片成本往往不是其关注的重点，重点多是放在降低码率上面。因而互联网公司一般会选择在开发VPU时融入AI能力。如果是面向终端企业开发，AI能力融在VPU当中，这部分AI能力就不能被其他业务场景用到了，因而会更加倾向于单独设计AI单元。”董峰表示。

Sean Gardner则提醒，人工智能和机器学习将扮演重要的角色，但互操作性导致对VPU的开发在短期内不会全面转向AI。同时AI的成本很高（是当前技术的5倍），因此还需要谨慎部署。

汽车市场成新增长点

目前，视频业务场景大致可划分为云端与终端两个方向。由于VPU的应用领域与关联场景密切联系，因此VPU也基于云端与终端两个应用场景发展。

具体来看，近年来，云端视频的应用越来越普及，仅从实况直播市场来看，无论营收还是基础设施的部署，增长都非常迅速，目前全球视频市场超70%的份额由直播内容主导。与此同时，终端对视频处理能力的需求也在迅速爆发，越来越多的短视频制作开始在终端设备上完成，智能手机越来越多地扮演内容生产者的角色。这些均对视频处理能力提出了新的需求。董峰表示：“一方面，在云端VPU越来越成为数据中心的一部分，以应对海量视频数据的加速需求；另一方面，在终端VPU与手机、安防监控、AR/VR设备相结合，目的是提高设备的视频编解码性能，降低视频处理所需功耗与时延。”

对于互联网厂商来说，必须适配不同的终端设备，以提供相对统一的用户体验。因为在直播场景中，人们希望看到的是具有相对统一的清晰度、分辨率和时延的画面。高端手机与低端手机的解码能力有差别。这就要求互联网厂商能够基于不同手机进行适配。对于终端设备厂商来说，要求能够适应多种互联网格式，VPU要具有更强的兼容性，更强调解码能力，低成本、低功耗与小尺寸等。总之，视频内容越来越多样化，不同场景、不同内容对VPU的要求各不相同。这对VPU开发者来说是一个挑战。

除上述云端与终端两大市场之外，汽车端的应用需求正在迅速增长。汽车被认为是继智能终端、AIoT、安防监控之后，VPU最具潜力的终端应用场景。以自动驾驶技术为例，障碍物检测、障碍物跟踪、交通信号灯检测、车道线检测、可驾驶区域分割、特征跟踪、行人行为预测都需要对视频内容进行处理，仅凭传统PC/手机处理器已无法满足机器视觉、深度学习的算力需求，需要专用VPU进行处理。此外，智能座舱的需求潜力也不容忽视，无论是座舱视觉DMS，还是息娱乐系统（IVI）、行车记录仪DVR，都有着巨大的发展潜力。

从产品开发角度来看，车载VPU在性能上没有太大的差别，但是其更加强调安全性。“如果是安装在汽车上，必须符合各种车规芯片的检测要求。”董峰强调。