Redian新闻
>
未来已来,视频编码还“卷”得动吗?

未来已来,视频编码还“卷”得动吗?

科技

我们在追求怎样的编码未来?



Cloud 

Imagine



无处不在的视频渗透、井喷式的流量增长、多元的场景技术需求、用户对视频体验的“不将就”……音视频行业的快速发展却伴随着“编码标准升级速度缓慢”、“硬件红利见底”、“编码复杂度带来的成本问题”等众多挑战。

视频编码还“卷”得动吗?

究竟怎样的视频编码技术,才能满足既要又要的体验与成本平衡?

面向机器视觉的视频编码、虚拟现实视频、智能化应用视频......前浪翻滚而来,视频编码的“未来式”如何展开?

本文由IMMENSE、「阿里云视频云」视频编码服务端负责人陈高星和LiveVideoStack策划、采访而成。



需求很多,矛盾更多


技术迭代速度凝固了吗?摩尔定律走到尽头了吗?


视频编解码技术约10年提升50%压缩率,但这“十年磨一剑”的升级速度,早就跟不上视频信息量膨胀的速度。

新编码标准带来的编码复杂度增加,远高于CPU处理能力的增强,随之面临编码技术难以“普惠”的难题。

随着视频在更多应用场景的扩展探索,单一编码标准已难覆盖多种视频应用需求……

显然,一边是AR、VR时代的到来,以及4K、8K的高分辨率,60-120fps高帧率,10-12bit宽色域,让视频本身的信息量数倍膨胀;一边,是资源堆叠置换压缩效率,和“摩尔定律”的进步已经走到了“尽头”。加之,视频的“超低延时”对编码速度的要求,这一切,让视频体验、带宽、计算成本、编码速度之间的“矛盾”越发明显。

于是,我们始终面临更高清、更实时、更高效的编码需求,也面临技术与需求之间的诸多“矛盾”。

在这些似乎难以平衡的“矛盾”背景下,也衍生出许多值得进一步探讨的问题:


➤ 现有的编码标准在哪些方面关注不够?

➤ 如何先用好现有的编码标准?

➤ 现有的视频编码技术覆盖不到的维度有哪些?

➤ 除了码率和质量,视频编码是否需要关注更多的目标?

➤ 如何打破资源堆叠置换视频压缩效率提升的技术思维惯性?

……


从需求、矛盾、问题中,可引出深一层的认知:编码优化的目标不再仅仅考虑传统的主客观质量、复杂度、时延等维度,还有与AI处理能力的友好性、多平台下性能的适配性等。

问题的提出总是伴随着解题思路和技术方向的选择。

于是,推动着编解码架构从传统向更智能、更兼容的方向演进。




终极目标,有些偏倚


在优化编解码时,我们究竟需要追求什么?


当2015年阿里云视频云向业界提出了“窄带高清”的概念,并在2016年正式推出窄带高清技术品牌并产品化,这种既“降低码率”又“提高清晰度”的兼顾之方,几乎成为了业界的通用解法。

但是,不断演化之下到当前,业内开始流行一种“内卷”,即,过度追求"某客观指标数据"的优化。

然而,以“人”为中心的视频化视角,在最终的用户体验上,视频都应是更关注主观体验的。相反的是,在实际研发过程中,特别是编码器的优化上,通常都是依赖如:PSNR、SSIM、VMAF-NEG这样的“有源客观指标”。

诚然,在大部分情况下,客观质量的提升都能一定程度反映到主观质量的提升上,特别是当样本数足够大,且客观质量提升较大时,客观指标和主观感受能呈现一致性。

不过在窄带高清的优化实践中,也存在一些主客观优化“不一致”的情况。

比如:H.265标准中的SAO工具,用于改善振铃效应,但随之会降低VMAF和VMAF-NEG分数;

X265编码器里的PSY工具,在主观质量上能增加高频细节,但是对于客观指标都是不友好的;

又比如:JND和ROI技术,在挖掘视觉失真冗余的过程中,也不可避免地会造成有源客观指标的下降;

阿里云自研的码控算法,会对容易出现“块效应”等主观问题的区域分配更多码率以保护主观质量,但这也会导致客观质量下降;

还有,前处理增强中的各种修复生成技术,会直接对源进行修改,这类技术对于旨在评价“与源差异大小”的有源客观指标,都是不太友好的。

此外,针对单一客观指标的“过度优化”,也有可能造成单一客观指标与主观体验相悖的情况......

因此,单项客观指标的数值或高或低,都不应是视频编码优化追求的“终极目标”。




细微之处,方见视界


我们的编解码视界里,可以有哪些精妙解法?


在上述技术理念和智能编码架构的支撑下,“窄带高清2.0”从人眼视觉模型出发,将编码器的优化目标从“保真度更高”调整为“主观体验更好”。

这可以从视觉编码和细节修复两个视角来看。

在视觉编码维度,“窄带高清2.0”采用基于场景和内容的帧类型决策和块级码率分配,模式决策采用面向主观友好的算法。

在内容自适应编码部分,考虑到人眼感知的视频空间域的亮度、对比度以及时域失真是不连续的,通过基于恰可察觉失真(JND)自适应编码技术,丢弃视觉冗余信息,在主观质量不发生明显降低的情况下,可以大幅节省带宽;同时,通过ROI码控技术调整码率分配策略,进一步提升人眼感兴趣区域的清晰度。

在细节修复维度,“窄带高清2.0”采用基于生成对抗网络(GAN)的细节修复生成技术,在修复因编码压缩引起的马赛克效应和边缘毛刺的同时,“脑补”生成一些自然的纹理细节,使得画面纹理细节更丰富、更自然、更有质感。

更关键的是,应对垂直细分场景,我们的模型会对场景特征会实现更为智能的纹理生成

比如:对于演唱会场景,曾为百视TV专属打造了Idol人像定制模版,针对优化人像区域的细节修复生成效果,将Idol的“怼脸直拍”,通过直播清晰还原送到观众屏幕前。

再比如:在NBA篮球比赛场景,AI修复模型加强了篮球场地板纹理、球员近景特写、球场边界线、地面广告字母、球衣上数字、篮球网等篮球体育赛事特有元素的修复生成,大大提升画面清晰度和整体视觉生动力表现。

也正是,唯有细微之处,方能见技术之极。




绕不开的“成本、成本、成本”


成本和体验的“非零和博弈”,  编解码怎么摆平?


正如“清晰度”和“带宽”是“窄带高清”需要平衡的天平两端,在当前“降本增效”的大环境之下,“体验”和“成本”的“非零和博弈”,一定是绕不开的话题。

成本(计算复杂度),体验(质量),这两者虽然是“trade-off”的权衡关系,但在某种程度上,也可以单方面优化提升。

比如,通过算法优化,在复杂度不变的情况下,将编码器的R-D曲线朝着更有性价比的方向优化;同时,通过高性价比的自适应快速算法的设计,也可以将质量的提升转化为成本的收益;又或者,通过底层优化并与计算平台的充分结合,挖掘异构编码的潜力,可以进一步在质量不变的情况下降低计算成本。

当然,在“让高压缩率算法和AI真正普惠”的路上,阿里云视频云所做的不仅于此。

与视频编码类似,在视频处理领域,深度学习从效果上已经远超传统方法,同时还在不断地快速进化,但深度学习对计算资源的高消耗,成为阻碍其在实际应用中广泛使用的主要原因。

阿里云视频云深度自研编码内核,包括s264、s265,落地100+算法,支持直播、点播、RTC场景,相对于开源,全场景20%+压缩率领先

同时,我们引入AI辅助的编码决策,在码率分配和模式决策上提升内容自适应能力,极致挖掘视觉冗余,同等主观下,码率节省50%


软硬结合,是破解编码天花板之技吗?


在算法层面和软件层面塑造的有限差异之上,要想塑造成本优势,必须将软件、算法与操作系统、硬件、乃至芯片,全线联动。

此基础上,基于自研倚天710芯片,视频云与倚天团队联合投入ARM视频编码优化,深度重构了视频编码数据结构、并行框架,重新调优了快速算法策略,从软件、汇编、硬件层面跨层深度优化,塑造极致性能。

同时,我们与平头哥深度合作,共建“软硬结合”自研芯片竞争力,通过算法、加速库、驱动、固件一体化设计,不断探索创新音视频技术,加强在更多视频应用、更多终端设备上的普适性,从而带来更节省、更低耗、更高清、更实时的硬核编码力,赋能千行百业的视频化需求。




没有想象,就没有进化


苹果的VisonPro,透射出编码的未来吗?


回顾文章开头的“矛盾”与问题,面对激增的海量视频数据、多元的视频内容形式,以及加速扩大的行业应用范围,视频编码如何“进化”的答案,也隐藏在行业的急速迭代之中。

如何实现更高压缩效率并匹配多样的细分场景?AI codec能实现比传统压缩标准更高的压缩效率,并能够在一些垂直场景有落地的机会,例如:业界已有基于深度学习的图像压缩,落地于卫星图像的压缩传输;

面对未来视频数据的消费场景不再单纯局限于人眼视觉,服务于机器视觉的视频编码也将迎来巨大应用市场。阿里云视频云团队已与高校深度合作,布局“面向人-机视觉的全新编码范例:高层语义与低层信号相结合的图像编码方案”;

而对于近期大热的苹果VisionPro的推出,作为视频行业工作者,十分乐见VR生态能在苹果的带领下,真正打出一片市场。因此,一些相关的沉浸式编码标准如MIV,点云编码,动态网格编码等技术,也将逐步投入研究……


未来已来,

智能编码架构的“进化”,将会带来怎样的“新生”?


敬请关注7月28日
LiveVideoStackCon2023上海站
阿里云视频云专场
阿里云智能高级算法专家带来演讲
《“多”维演进:智能化编码架构的研究与实践》
共探“智能”编码技术的深度进化








⬆️ 扫描上方二维码 免费报名专场






点击阅读原文立即报名专场

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
雅思6.5能进G5?IGCSE同学有必要提前“卷”雅思吗?大众点评的生意,小红书抢得动吗?国内教育“卷”,国外就不“卷”了吗?当AI大模型在手机上运行,AI未来已来?户外防晒第一股,周杰伦带得动吗?量化变局:“卷”数据、“卷”算力、“卷”人才编码器-解码器 | 基于 Transformers 的编码器-解码器模型科技交互未来,未来已成现在“哈舅” 以及青岛的朋友们“全球沸腾”时代已来,我们准备好了吗?未来已来,谁将终结人脸识别未来已来,全力出击奈飞还“飞”得起来吗?这么热的天,还能运动吗?想「夏练三伏」,你需要的一切都在这里了陆铭:工业化时代“未来已来”牛奶藤校“内卷”超乎想象:普林斯顿20%本科生读计算机,半数学生“卷”在工程和经济!直降10cent就今天!安省高昂的油价每升直降10cent你还不心动吗?!中国最“卷”城市,“卷”出110个世界第一空间智能化浪潮已来,华为开启了一场链式反应碳酸锂价格报复性反弹,新能源汽车还涨得动吗?数字新潮 未来已来——2023年中国奢侈品市场数字化趋势洞察收割人类 III 之第十七章 黑洞记忆(2)心动吗?加拿大人可移民到这些地方,生活补贴多达12万!《花信风之立夏》英华号周播报来了!AI潮起,未来已来!MSU世界视频编码器大赛放榜,腾讯包揽全场冠军未来已来,AIGC开启服务贸易新时代2023 年最佳 Linux 视频编辑软件 | Linux 中国加州 7 个邮政编码跻身美国最昂贵的 10 个邮政编码之列专访腾讯技术专家张贤国:十余年视频编码老兵,对技术仍保有敬畏之心IB毕业后回到上海国际高中当助教,我被学生们“卷”得目瞪口呆……把被颠倒的事实逻辑颠倒回来,不存在经络实体的大量明证心动吗?新西兰人去澳洲上班,收入立马翻番!上两周休两周,但不适合所有人...三年不涨价,一涨近三成!片仔癀还“涨得动”吗?都是谁在消费?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。