柯维新：为超低延时编解码技术夯实“芯”基础

随着电视行业进入存量市场，超高清视频显示产业面向5G时代的低延时、强交互需求，寻求新的产品形态与新的应用场景。这也意味着，视频编解码技术作为超高清视频传输与存储的基础性技术，需要同时满足超高清与超低延时的需求。3月21日，记者走进广州柯维新数码科技有限公司（以下简称“柯维新”）。作为柯维新的总经理，曾志华在2022年12月举办的“AVS二十周年年会”上，凭借“率领柯维新研发出第一台AVS+和AVS2广播级专业编码器并成功应用于央视直播等示范工程”的成果，入选“AVS二十周年二十人”。围绕超高清、超低时延编码技术衍生的新业态，以及该技术的芯片化、产业化进展，曾志华向记者分享了他的观点。

算力与显示分离 超低延时引领显示新业态

在柯维新的会议室里，记者看到了三块播放同样内容的电视大屏，虽然屏幕顶端标着精确到毫秒的时间码，但用肉眼很难比对三块屏幕的时间和质量差异。据曾志华介绍，三块大屏与信号传输设备构成了两套超高清、超低延时演示系统。

基于柯维新超高清超低延时编解码技术的无线分体电视演示系统

其中，两台通过线缆与信源主机连接的电视，是有线超高清、超低延时应用。信源主机播放的4K 60fps视频通过HDMI分配器发送到一台电视上，嵌上毫秒级精度的时间码。另外一路信号经过超低延时编码器，再通过网络交换机传输到第二台电视上，在这种模式下，两台电视之间的延时小于一帧，可以达到2ms以内。

而独立放在会议室另一端的电视，是一台4K120fps的无线分体电视。信源主机的视频经编码后通过毫米波发射模组发送到无线分体电视的接收模块，经过解码后传输到电视屏幕上。在没有任何线缆与信源主机连接的情况下，与其他电视的延时同样在一帧之内，实现了主机与屏幕的分离。

主机与屏幕的分离，意味着算力与显示的分离。曾志华向记者表示，传统电视形态的市场容量已经趋向饱和，需要新的形态或者新的应用。比如无线分体电视将音响、主板集成到一台主机上，屏幕只需要集成接收解码芯片，就可以做成超薄形态。由于不需要用线缆与主机连接，屏幕悬挂的位置也更加灵活，能够适应游戏投屏、广告和业务展示，以及办公、教育、医疗等各种应用场景。

而超高清、超低延时编解码技术，也顺应了超高清视频显示产业在5G时代的发展需求。2018年，具有我国自主知识产权的第二代音视频国家标准AVS2被全球超高清联盟采纳，柯维新等企业的广播级AVS2超高清实时编码器逐步推向市场。据曾志华回忆，在完成AVS2超高清实时编码器之后，5G时代来临，超低延时、强交互的应用，成为超高清视频显示产业的新风向。柯维新团队决定，开展超高清、超低延时编解码技术的研发，并与鹏城实验室在该方向展开了合作。

柯维新AVS2 4K编码器在央视机房应用

“超高清、超低延时编解码能够发挥5G的低延时优势，最大程度降低超高清视频编解码环节产生的延时，为超高清成为5G时代的杀手级应用夯实基础。”曾志华说。

同时，超高清、超低延时的编解码技术也是解决元宇宙落地最后10米的关键。现阶段，元宇宙应用的主要接入方式为VR头显，但难以达到视网膜级别的沉浸式显示效果，一方面是由于一体机形态的头显算力不足，另一方面是因为分立的头显缺乏有效的超高清、超低延时无线链接方案。面对VR头显的无线化、轻量化需求与元宇宙沉浸式体验的大算力需求难以兼顾的问题，超高清、超低延时的编解码技术或将提供解决思路。

“基于超高清、超低延时编解码这项基础性技术，算力可以与显示分开构建无线显示方案，未来桌面、玻璃窗，甚至衣服都能变成屏幕，而手机、电脑、游戏机，电视主机等都可以成为灵活连接的算力端。”曾志华说。

ASIC芯片降低成本 提升产业参与度

2020年起柯维新采用FPGA进行超高清、超低延时编解码技术的芯片化研发，利用FPGA可编程的优势进行方案设计、技术验证和可行性研究。2021年，柯维新推出了第一版FPGA原型，并于2022年迭代了第二版。后续相关技术的量产，计划采用生产成本、能耗更低的ASIC芯片，以更好地推动该技术的产业化，预计在今年年底流片。

“我们将FPGA换成ASIC之后，成本大约是之前的1/10，功耗是1/8。除了芯片本身的成本，功耗也会影响厂商后续的产品设计和方案成本，比如是否需要加装风扇等。”曾志华说，“有了芯片之后，相关企业可以直接购买芯片进行研发，也可以购买模组或者板卡进行集成，这样能参与进来的企业就更多了。”

对于具备产业链整合能力，希望在主控芯片中集成超高清、超低时延编解码技术的企业，柯维新推出了相应的IP，可以集成到电视机、VR头显的主控芯片或者游戏主机的显卡上。“比如电视主芯片集成了我们的IP，就可以直接发送超低延时内容，再把负责接收解码的ASIC芯片放在屏幕上就可以了。也就是通过IP授权模式解决发射端的问题，再用ASIC解决终端各种屏幕的接收解码。对于需要拼接组合的大屏应用，则可以编码端用ASIC，解码端用IP授权的模式融合到厂商的大屏处理模块中”曾志华表示。

接下来，柯维新会向集成度更高、方案成本更低的方向，推动ASIC的迭代。

“再迭代的话，主要是做接口的优化。我们第一颗ASIC会做通用的接口，以广泛支持各种应用场景。接下来我们会陆续把HDMI、MIPI等特定的接口，MCU和无线通信等模块集成进去，形成针对特定应用的SoC，进一步降低成本。”曾志华说。

在超高清、超低时延编解码技术芯片化的过程中，柯维新也面临着技术目标难以平衡、下游企业参与度有待提升等挑战。曾志华表示，超高清、超低时延、低成本和高质量的目标“互相牵制”，在平衡这些目标的过程中，需要在算法上不断优化，在技术路径和工具上不断尝试。

目前，已经有国际企业推出了超高清无线分体电视，这也让曾志华感受到了超高清、超低时延技术产品化的紧迫性。他认为，当技术和产品进入无人区，没有成熟的参照目标，但发展趋势和技术前景比较明晰时，希望下游领军企业有率先导入并引领市场的意识，在开拓中把握产业发展的主动权。