2023年视频软件编码最新技术与趋势
▲扫描图中二维码或点击阅读原文▲
了解音视频技术大会更多信息
编者按：本文来自Zoe Liu对OTTVerse的投稿，详解2023年及未来的全球视频编码领域的趋势。感谢Zoe Liu对中文版的审校。
文 / Zoe Liu
译 / 核子可乐
在这篇评论文章中，微帧科技(Visionular)公司联合创始人兼CTO Zoe Liu分享了她对于2023年及之后编码领域的发展态势预测，具体包括低能耗视频转码、HEVC与AV1的发展前景、实时转码、AI在转码中的作用等议题。
高能效视频转码
预计在2023年，HEVC/H.265等软件编码解决方案的能效优化将成为新的关注重点。
除了传统的BD-Rate性能标准（主要侧重于以较低码率提供更高视觉质量）之外，“能效”指标在软件转码技术选型中的意义也将愈发凸显。
这主要归结于以下两类视频内容的快速增长：
UGC（用户生成内容）；
PUGC（专业UGC），例如Vimeo平台托管的视频内容。
印度社交平台ShareChat公布的数据显示，该平台每月内容上传量已达惊人的7500万次！
如此庞大的视频上传量，必然带来更高的转码成本（对应算力资源与能耗）。因此，能效的提升有望显著降低计算成本，同时仍保持良好的转码效率。
可行方案之一是升级到新一代标准下的编解码器。然而，新一代视频编码标准采用了比上一代更复杂的编码算法，反而拉低了转码的能效。
于是我们再次陷入经典的两难取舍：
如果新的编解码器能效不高，那视频解决方案供应商就不会轻易使用。
但如果供应商继续使用旧有标准的编解码器，就会错失最新编码工具及算法带来的可能收益，而继续消耗高昂的网络带宽成本，尤其对于UGC及PUGC这样巨大体量的视频场景，将产生巨额分发成本。
面对市场需求，新的编码工具需要考虑能效优化，力求在以下多个编码器优化指标之间获取理想的平衡点：
视觉质量
码率消耗
CPU使用率
编码速度
处理延迟
H.264/AVC仍主导 HEVC和AV1将继续增长
H.264/AVC
如今，H.264/AVC继续获取各类平台的一致支持，因此我们预计在新的一年，H.264/AVC将继续占据主导地位，不过它的市场份额应该也会呈现萎缩趋势。
H.265/HEVC
我们预计H.265/HEVC的部署将呈现持续增长态势，尤其是应对HDR及UHD（2K/4K/8K）视频的应用场景。
近年来，我们观察到了HEVC/H.265在全球范围内的迅猛增长。对于底层部署有HEVC硬件解码的设备，最近Chrome浏览器又悄悄全面打开了对HEVC播放的支持 [1]，进一步加速了这种增长态势。
我们收到市场明确反馈，一部分云体育分析及流媒体平台，清晰看到了将HEVC推广到全用户、全平台的巨大潜力。采用新版Chrome浏览器，这些平台超过65%的用户群体，不做任何设备更新，都将可以在Chrome中观看HEVC视频流。
AV1
我们预计AV1的部署也将呈现增长。AV1是由AOMedia – 开放媒体联盟推出的开源、免版税的视频编码标准。
到目前为止，YouTube、Vimeo（俩家全球头部视频共享平台）、Meta/Facebook（全球最大社交媒体平台）和Netflix（领先的流媒体平台）都已推出了AV1格式的视频内容。
最近，高通也宣布将从第二代骁龙8芯片起支持AV1的硬件解码，考虑高通骁龙芯片在安卓手机中举足轻重的地位，可以想见 AV1的市场份额有望进一步扩大。
我们预计苹果将在2023年，会将宣布对AV1在其iOS/MacOS/Safari中的全生态支持。在苹果已发布的AVFoundation框架代码中，已包含有支持AV1的最新 API选项。
AV1在RTC（实时通信）中的应用
RTC对于延迟有着非常严苛的要求，而AV1则提供一系列能够有效压缩屏幕内容的特殊编码工具。从供需两方面来看，AV1在屏幕内容编码（SCC）领域将大有可为。
处于领先位置的RTC平台Webex，已将AV1格式引入生产环境。Webex还与NASA以及一些其他科技机构合作，将AV1实时视频编码应用于Artemis I登月任务，实现在地球与月球之间极地带宽下的高质量视频通话。
其他编解码器
2023年，其他编解码器在市场上仍可占据一片天地。我们预计除H.264、HEVC、AV1、VP8/VP9、AVS2/AVS3之外，EVC和VVC等其他一些编码标准解决方案，将在市场中同时共存。
除RTC外，流媒体点、直播应用，也将对低延迟、高并发、高处理速度的编码方案，提出更多的需求。
这些指标也将成为2023年各编码器的主攻方向。
架构支持：x86、ARM与M1
我们认为软件与硬件编解码器方案将继续共存，凭借各自优势应用于不同的使用场景。一般来说，软件编解码器能提供更好的编码效率，即：在实现更佳视觉质量的同时将码率压得更低（节约传输带宽）。
另外，软件编解码器也更加灵活，可以在多种平台和设备上灵活部署。
软件编解码器需要考虑同时支持x86和ARM架构。随着苹果M1设备、边缘计算、移动设备和ARM架构服务器的广泛采用，对ARM处理器的支持需求将同步激增。
ARM处理器（例如Amazon EC2提供的AWS Graviton处理器）的功耗和定价，明显优于x86架构的同类处理器。
我们初步评估，Graviton 2 ARM处理器的性能可能比x86同类处理器低30%，但明显具备价格优势。
新一代编解码器和改进方向
预计新一代视频编码标准将继续发展，具体包括：
由AOMedia开发的AV2，将提供超越AV1的新的编码工具。
通过ITU-T和MPEG之间的协同努力，新开发的编码工具已经在增强压缩模型（ECM）中体现出了对VVC在压缩性能上的显著超越。
对AI在视频编解码器中应用的进一步探索，打破传统2D变换+运动补偿框架的约束。
除了转码之外，新技术还有望将视频处理和编码更加有效的结合起来。举例来讲，采用超分辨率技术实现更加有效的视频传输，已在工业界获取了更多认可。
Per-title ABR技术，仍持续它的领先地位，继续支持多种网络条件下的多分辨率、多码率视频的共享和分发。
AI在转码中的应用
我们与全球多所大学合作，共同撰写了题为《基于深度神经网络的视频压缩系统研究进展:综述与案例研究》（Advances in Video Compression System Using Deep Neural Network: A Review and Case Studies）的论文，已发表在2021年9月的《PROCEEDINGS OF THE IEEE》期刊论文集中。这也是最早的在此期刊中发表的关于AI技术在视频转码中应用的综述性论文之一。
另外值得一提的是，2023年的WACV（IEEE/CVF计算机视觉应用冬季大会，IEEE/CVF Winter Conference on Applications of Computer Vision）将最佳算法论文奖，授予了一篇探讨AI在转码中应用的论文[2]。
AI确实展示出了广阔的应用前景，但仍须持续研发行之有效的实现方法，才能最终在视频编解码真实场景中落地。
参考文献
[1] Dandan Ding, Zhan Ma, Di Chen, Qingshuang Chen, Zoe Liu及Fengqing Zhu, 《基于深度神经网络的视频压缩系统研究进展:综述与案例研究》，“Advances in Video Compression System Using Deep Neural Network: A Review and Case Studies,” IEEE论文集第109期第9篇，2021年9月，第1494至1520页。[arXiv.org Online]
[2] Zhihao Duan, Ming Lu, Zhan Ma及Fengqing Zhu, 《使用量化分层VAE进行有损图像压缩》，“Lossy Image Compression with Quantized Hierarchical VAEs”。[WACV 2023获奖论文] [arxiv.org online link]
微信扫码关注该文公众号作者