编者按： 随着群雄并起，流媒体行业已然走上了内卷的快车道。如何通过更好的贴合用户需求以增加用户规模是各大企业当前面临的重要课题。Tiledmedia认为在元宇宙等概念兴起的趋势下，“创多窗”和“解压平”是其中的关键答案。LiveVideoStackCon 2023 上海站邀请了来自Tiledmedia的马高阳，为大家介绍“创多窗”和“解压平”的含义以及一些落地的技术实例。
大家好，我今天的分享主题为“创多窗”和“解压平”，它们体现了下一代流媒体多视角和全景化两大发展方向，接下来我将具体解释它们的含义。
“筚路蓝缕，以启山林”高度总结了Tiledmedia的创业历程。自2017年在荷兰成立以来，我们克服种种困难最终实现了商业版图的扩张。在认识到中国流媒体市场的广阔前景后，我们来到中国以谋求进一步发展。本次分享分为以下几部分：一是介绍流媒体行业现状，二是预展未来，三是介绍“创多窗”，四是介绍“解压平”，五是介绍央视频和移动云VR的8K VR案例，最后进行简要总结。
首先我将从企业和消费者两个不同角度来介绍流媒体行业现状。从企业方面来看，一是随着流媒体市场群雄并起，行业已经开始了内卷，各大企业试图通过追加投入，引入独家优质内容来维持付费用户粘度；二是各平台在提高流媒体服务的质量和稳定性上还面临很多的技术挑战，如规模化、传输带宽、编解码等等方面；三是AI、元宇宙和大数据等概念为流媒体行业发展带来了全新可能。从消费者角度看，用户的核心需求是流媒体服务的个性化，他们希望成为自己的导播，自主决定观看的视频内容；其次是需要多样化的付费机制支持，如付费订阅免广告或是可免费观看，但需接受插播广告等形式；最后是在观看体验上更倾向于与视频内容以及其他观众发生互动。
考虑到上述行业现状和发展趋势，我们对未来进行了展望。Tiledmedia多视角方案可助力用户获得高度个性化的流媒体服务，它支持多流同屏播放，自定义分屏布局和各视窗的位置、大小，以及不同视窗流之间的流畅切换。
从消费者的角度看，该方案使用户获得了个性化、布局定制化的互动式观看体验，同时借助技术手段可以进一步实现多视角实时同步播放以及丰富社交功能。同时该方案还引申出一种新的少干扰的广告插入方式，流媒体平台可将广告以画中画形式与视频内容同步播放，减少广告插播对用户的干扰和打断。
从流媒体企业的角度看，该方案带来的个性化、互动化服务有利于吸引用户。考虑到提高成本效益，企业也较为重视跨设备、易集成等方面的能力。
目前市场上已经有多个流媒体供应商（如YouTube、Apple TV等）提出了自己的流媒体多视角解决方案，但它们还存在一些问题。
多视角流媒体面临的技术挑战较多。首先，传统方案受限于单块屏幕有限的视窗数量，实现大数量视频流同时上传难度较大；第二是直播的可扩展性有限，多路高清拉流对用户端带宽造成了很大压力；第三是传统多视角流媒体方案一般仅支持固定布局的分屏模式，灵活性有限，不能满足用户的个性化需求；第四是在放大切换视频流时会出现速度慢不流畅的问题。
总体来看，多视角流媒体面临的最大困难在于带宽和解码。以多路高清视频下行为例，单路1080P流的平均下行带宽为5Mbit/s，如果传输方案不经优化，同时传输6路就将超出普通WIFI或5G网络的承载能力，势必对用户体验造成不良影响。其次，多数设备使用的4K解码器只能同时解码4个4K流，超出4路将导致视频无法同时播放。
我们将市场现有的几种传统多视角方案与Tiledmedia 多视角方案进行了对比，综合来看，我们基于视频切片分布的多视角解决方案拥有全方面的良好表现。
我们的多视角解决方案支持无限数量的视频流传输，首先它在云端平台将接收的多路视频流转码为高中低三挡不同分辨率的版本，然后将所有流封包为统一内容项目推到CDN源站。客户端SDK可以依据当前的视窗分布智能分配各视窗的播放分辨率。并仅向CDN请求当前视窗需播放的对应分辨率的个别流，这极大降低了下行带宽。该方案中技术相对复杂的视频转码处理部分由我们的云端平台完成，仅需客户集成我们提供的SDK即可实现。
上图展示了Tiledmedia多视角方案多流下行的具体架构。可以看到，我们的解决方案无需同时解码多路高清流，极大解放了解码器能力，使超多流同屏播放得到实现。
Tiledmedia多视角方案可被无缝整合到客户现有的业务流程中，我们的Tiledmedia Cloud负责接收、转码客户上传的视频内容，客户可提供CDN网络便于视频流的分发，并自行集成Tiledmedia Player SDK面向用户提供多视角流媒体服务。
接下来介绍一个具体案例，我们的多视角方案被用于VR头显，用户可以在头显建立的VR180度虚拟场景中同步观看体育赛事的多视角巨幕画面，并能借助手柄自由切换视角。
接下来介绍一些可应用多视角方案的其他场景。如在赛车实况转播中可借助多视窗同时关注不同的驾驶员。
多视角方案可以进一步提升EPG菜单的使用体验，用户可以同时浏览目前正在播放的视频节目并自行组织观看内容。
在电竞直播场景，可借助多视窗从不同选手角度观看赛事实况，便于掌握全局动态。
接下来介绍“解压平”的概念。它指代将2D视频3D化的过程，与元宇宙“3D版互联网”的概念高度贴合。
我们认为具备全景化、沉浸式体验的VR直播是解压平的一个良好落地场景。但VR直播当前还面临一些技术挑战，首先是下行VR视频的质量可能不佳；其次是传输高清VR视频对网络带宽的压力较大，规模化难度高；第三是传统方案的用户端的社交能力不够强，体验的用户互动度不高。针对以上问题，我们提出了Tiledmedia ClearVR FOV解决方案。考虑到人眼在观看全景VR视频时实际只能接收到视场角（FOV）范围内的画面，我们将VR视频的整体画面切片为不同的“神瓦”后进行转码，由Tiledmedia SDK判断用户当前FOV范围内应该播放的神瓦。仅对FOV范围内的画面以高清分辨率传输，对FOV范围外的画面只传输低分辨率的背景，如果用户的视角转变过快，模糊的背景可以先作为过渡。该方案极大降低了VR视频的下行带宽。
当用户视角发生变化时，Tiledmedia SDK可以智能判断所需的新神瓦，并请求对应的高清画面。
Tiledmedia ClearVR FOV解决方案解放了VR视频下行带宽，降低了用户端的码率，同时变相提升了用户端的视频清晰度，使超高清8K VR直播、16K VR点播得以实现。
目前Tiledmedia SDK支持同时播放VR FOV和多视窗流媒体内容，构建了进化的流媒体体验。
类似于多视角方案，ClearVR FOV解决方案同样拥有部署简单便捷的优势。
接下来分享两个ClearVR FOV解决方案具体的落地案例。一是在2022年北京冬奥会，我们的Clear VR SDK被集成到央视频VR APP中，用户可使用Pico Neo 3和手机观看六类冰雪赛事合计100多小时的VR视频内容。这些VR视频都使用了鱼眼镜头摄像机进行录制，视频角度达到180度，清晰度达到8K 60fps，质量属行业首创水准。除了央视频，我们也和国外平台达成了冬奥会高清直播的业务合作。
在冬奥会的直播业务中，ClearVR FOV方案仅部署了一套转码器，有效控制了成本。为了优化体验我们还采用了ABR技术，针对网络环境选用适合的码率传输，提升观看体验。最后，VR直播作为一种新的观赛途径，本次收获了很多用户和他们的好评。
第二个案例是我们与移动云VR达成合作，助力咪咕公司打造高清8K VR体育和娱乐直播体验。借助ClearVR FOV 技术，移动云VR在实现篮球、乒乓球、UFC等多IP 8K清晰度直播的同时降低了大约75%的带宽。咪咕公司成熟的机位设置经验也为用户带来了最佳临场感。
移动云VR将高质量的VR直播服务作为自身的盈利点，并已准备提供进一步的12K ClearVR FOV点播服务。针对篮球等赛事场景，为了增强临场感还会进一步优化UI，借助180度沉浸视频营造真实的3D环境。在设备支持方面，除了目前的PICO 4、NEO 3头显外，未来还将引入手机、Nolo和YVR头显等更多种类的拓展。
接下来进行一个简单总结，为了满足消费者个性化和便利化需求，“创多窗”和“解压平”是当前行业发展的两大趋势，而Tiledmedia技术目前已经可以帮助其他流媒体企业实现它们的落地。最后的关键只是他们成为主流的时间问题。
▲扫描图中二维码或点击“阅读原文” ▲
直通LiveVideoStackCon 2023深圳站 9折购票通道
