【专题速递】感知无损压缩、LCEVC、RTE中的AV1、PPA优化以及Tencent266编码器

2023-07-18 00:07

从H.265到AV1再到各家自研编解码标准，编解码一直是音视频行业里的“当红炸子鸡”。这次的专场更是八仙过海，各显神通。7月29日LiveVideoStackCon2023上海站AI与视频编解码长专题专场，集齐当下最热门的编解码话题，与您共享。

AI与视频编解码

从跟跑到领跑，中国超高清视频编解码技术已走过20个年头。从开始制定不同的视频编解码标准，如H.264/265、AV1、VVC，再到基于AI的视频编码技术，在看似简单的对视频数据大幅压缩编码、传输、解码还原清晰度的过程中，每一次小小的提升，都是一次大大的进步。面临越来越复杂的算法，新视频标准对算力的需求指数级增长，对GPU、ASIC等硬件的依赖度也与日俱增。

TOPIC1 《AVS感知无损压缩标准概述》

杨海涛上海海思视频领域技术专家

感知无损压缩PLC（Perceptual Lossless Compression）标准是AVS工作组在视觉无损质量等级视频图像压缩领域的第一次尝试，针对8K超高清视频信号高速传输制定的“超低延时、硬件友好、主观无损”轻量级图像压缩标准。2023年5月标准技术方案定稿，发布FCD 1.0文本。本次演讲将介绍PLC标准技术与应用。

TOPIC2 《系统芯片（SoC）实现低复杂度增强视频编码(LCEVC)》

Rick Clucas V-Nova 创新与技术高级副总裁

低复杂度增强视频编码(LCEVC)是MPEG组织最新定义的一种视频编码格式。V-Nova已经实现了几种创新的LCEVC硬解码，通过利用终端平台提供的硬件模块和处理资源实现了安全有效的驱动层解码，这种方案能帮助终端设备制造商在现有设备上实现LCEVC解码，以便给流媒体服务运营商部署这种能大幅度减少传输成本的新MPEG标准。

本文会介绍LCEVC技术梗概以及两种V-Nova实现的基于现有SoC的LCEVC硬件解码方案。

TOPIC3 《支持 AI 视频处理的高容量流媒体加速卡方案》

谢旻 AMD AECG 系统方案架构师

主要介绍 AMD Alveo™ MA35D 视频加速卡的基本架构和功能，以及基于 MA35D 转码卡在各个领域的视频解决方案中的应用。

TOPIC4 《深度神经网络压缩技术及应用》

胡浩基浙江大学副教授

深度神经网络通常会导致大量计算和存储资源的消耗，阻碍其在移动和嵌入式设备上的部署。因此，降低深度神经网络的计算和存储资源消耗，成为深度学习落地应用的重要问题之一。

本次演讲中，我们将首先回顾深度神经网络压缩和加速领域的经典工作，然后介绍我们实验室在这一领域的研究工作，包括：（1）卷积神经网络的剪枝；(2) 压缩特定任务的神经网络，例如人脸识别、风格迁移和超分辨率网络等；(3) Transformer网络的压缩；（4）Transformer与CNN的协同知识蒸馏。在大模型时代，深度神经网络压缩和加速领域的机遇和挑战在哪里？我们也会对以上问题进行启发式的探讨。

TOPIC5 《基于CPU服务器的全链路智能化编码》

谢义英特尔高级软件架构师

随着直播及短视频业务的飞速发展，对高质量、个性化的需求日益增加。近些年AI技术在视频前处理得到了广泛的应用，大有代替传统数值方法的趋势。由于AI视频前处理对算力消耗巨大，已经超过了传统的编解码部分，正成为业内研究的热点。为了解决AI前处理算力的瓶颈，一个独立的GPU集群往往被用来作为一个单独的模块做AI推理，但由于通常做AI前处理的GPU和编码的CPU不在同一个集群中，对业务调度以及延迟都带来了很大的挑战。

第四代英特尔® 至强® 可扩展处理器内置高级矩阵扩展指令（AMX），其BF16/INT8算力达到了单颗CPU过百TOPS的能力，这就使得将整个前处理+编解码流程在CPU上得以实现，在降低了成本的同时也降低了运维成本。除此之外，英特尔还提供了性能优化丰富的工具链，让视频编解码优化变得更加直观和容易。

TOPIC6 《RTE中AV1的前景和优化》

戴伟声网视频编解码器负责人

随着RTC的不断发展，高清甚至是超高清的视频逐渐成为实时互动中的刚需。RTC中最开始支持的VP8、VP9以及H.264，对这一类的视频的支持能力都有所欠缺。为了提升高清以及超高清的主观体验，RTC开始支持AV1以及H.265两个更高一代的编码标准，其中，AV1以其免专利费、在RTC的框架中支持度更友好等特点，得到了众多开发者的关注。

本次的分享会先从AV1的特点以及其在RTC的发展历史进行介绍，进一步结合AV1在落地实施通讯过程中的难点与痛点，分析AV1在RTC领域中的优势和未来。

TOPIC7 《面向互联网视频的硬件视频编码器优化策略》

范益波复旦大学博士生导师

传统的硬件视频编码器主要应用于终端，比如安防IPC、手机、相机等设备，这些领域的硬件编码器更看重PPA（Power Performance Area）优化，而对压缩率优化放在次要位置，因此这些硬件编码器很难直接应用于互联网视频。互联网视频更强调压缩率优化，需要极致的压缩率达到节省带宽的目的，通常采用软件编码方案会达到更优的结果。而随着互联网视频对分辨率、延迟、计算密集度的需求提升，传统的软件编码方案越来越难以满足需求，硬件编码器PPA优势逐渐提升，国内外的芯片厂商也逐渐开启了面向互联网视频的硬件编码器–VPU芯片研发。本次分享主要分为三个部分：1）面向互联网视频的编码器技术特点；2）硬件编码器架构优化策略；3）XK265 VPU测试版发布（基于U250 FPGA）。

TOPIC8 《腾讯自研VVC编解码器Tencent266》

唐敏豪腾讯多媒体实验室专家研究员

VVC是最新一代视频编解码标准，也是当前压缩能力最强的视频编解码标准，随着各大厂商的大力投入，VVC标准已经逐渐进入落地阶段。
本次分享将分为三个部分，第一部分介绍VVC标准的特点以及腾讯在VVC标准中的一些工作；第二部分介绍腾讯自研Tencent266解码器；第三部分介绍腾讯自研Tencent266编码器。

▲扫描图中二维码或点击“阅读原文” ▲

查看更多LiveVideoStackCon 2023上海站精彩话题

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章