对话腾讯李志成：云端渲染将从2B、游戏扩展到XR
两年多前，LiveVideoStack策划过一个关于云游戏的选题，采访了腾讯云视频云技术负责人李志成，他强调云游戏行业还在探索中前行，云游戏的体验和原生游戏有差距。根据5G云游戏产业联盟的预测，预计到2026年中国云游戏用户规模将达到11亿，市场规模达到1900亿元，不可谓发展不快。但云游戏依然面临体验欠佳、内容丰富度不足等问题。两年多过去了，李志成依然认为云游戏无法改变与原生游戏体验存在差距的现实。
在现阶段，李志成的团队把重点却放在了2B市场上，“云游戏不得不考虑高昂的GPU成本，2B客户有更高的付费意愿使用云端渲染服务。”李志成举了一个在线教育培训客户 "Maya培训"课程的例子，学员并不需要购买高性能的电脑和专业的软件只需要打开浏览器使用实时云渲染应用桌面就可以完成培训。在韩国的线上博物馆项目也很成功。此外，在北美、欧洲也有不少云渲染客户。“海外客户为云计算付费的习惯很成熟，转化率很高”，李志成说，“但也会面临强大的对手，AWS的AppStream以及微软的RDS都是值得尊敬的。”
目前云渲染的业务场景主要在数字孪生、云桌面、虚拟主播等，虚拟发布会等等，这些业务对渲染算力、RTC时延、带宽等要求并没有云端运行3A游戏要求那么高，客户付费意愿高，因此是非常好的切入市场的方式。“随着基础网络以及专用的云端渲染算力设备、相关计算、推理、编码ASIC卡生态慢慢完善以后，云游戏以及基于云渲染云原生开发平台的真正云游戏会慢慢多起来”，李志成表示，“最终，云端渲染和超低延时传输会让XR生态繁荣起来。”
在采访的最后，李志成强调说，腾讯云渲染产品目标是希望建立一个面向开发者友好、成本低廉的云端渲染池和端云协助的开发平台，开发者不用担心应用的算力消耗、网络传输以及终端交互展示，只用关注应用本身的交互体验和创新就好，腾讯云音视频基础的IaaS资源和PaaS平台做全真互联的技术底坐。
李志成 腾讯云音视频副总经理 专家工程师
李志成，腾讯云音视频副总经理，专家工程师。负责腾讯视频云直播、媒体处理、云渲染等相关产品的技术研究、开发和团队管理工作。
Dialogue with Li Zhicheng
LiveVideoStack：李志成你好，两年前我们曾经采访过您。能否和LiveVideoStack的同学更新下您的信息，以及最近的工作内容。
李志成：我目前是腾讯音视频云技术负责人，主要负责腾讯音视频云直播(标准直播、低延时快直播、虚拟直播、赛事直播)、媒体处理(编码内核、媒体处理开发框架、转码、录制、音视频前后处理增强、智能编辑、导播台等）、云渲染(云游戏、实时云应用渲染、微端、云桌面等）等，最近主要工作内容在低延时直播、虚拟直播、Codec性能工程优化以及端到端实时云渲染平台技术和产品差异化以及行业竞争力提升。
LiveVideoStack：您为什么看好云渲染？其关键价值什么？哪些场景和业务是刚需？
李志成：音视频技术是全真互联的技术底座，云渲染是综合音视频在编解码、实时渲染、媒体处理框架、RTC、低延时直播以及云原生技术的端云协同的开发平台，编解码、媒体处理框架、RTC、云原生现阶段都有相对比较成熟的解决方案，低延时传输5G网络也能看到在快速普及，云端实时渲染这块现在整个行业无论是从硬件生态、算力成本还是端云协同开发框架都不完善，这块可以发展和想像的空间很大，腾讯云渲染希望综合腾讯云在音视频低延时直播、媒体处理、RTC、IM以及云原生基础建设平台上的技术优势搭建端云协同的实时云渲染开发平台，真正为用户解决渲染算力弹性扩缩容难题，让用户和开发者更多精力去关注产品应用的创新和用户体验提升，云渲染业务场景现阶段主要在离线渲染(影视大片、3D动画、渲染农场等)、实时云应用渲染(数字孪生、虚拟会议、虚拟发布会像国外的touchcast做得挺好的，虚拟主播等)、云桌面、云游戏、微端以及CloudXR应用渲染等这些场景都是云渲染的刚需场景需求，相关应用和用户接受认可度也在快速成长起来。
LiveVideoStack：在2B市场方向，云端渲染的主力业务是什么？为什么？
李志成：现阶段2B市场云渲染主要的业务场景还是在偏实时云应用渲染场景比如数字孪生应用(比如云展厅、元宇宙概念的应用营销、云展会等）、云桌面、虚拟主播、虚拟会议、虚拟发布会、互动云小游戏前期主要在这类场景，这类场景对于传输延时和画面操作灵敏度不像3A以及FPS游戏要求那么高，后面随着基础网络以及专用的云端渲染算力设备、相关计算、推理、编码ASIC卡生态慢慢完善以后，云游戏以及基于云渲染云原生开发平台的真正云游戏会慢慢多起来，比如在手机端云游戏玩云端渲染的3A大作体验相对比玩手机版游戏APP体验要好，另一方面云游戏不管是视频流还是指令流架构对终端算力的要求和游戏APP的不同终端适配开发测试工作大幅降低，开发团队不用再去消耗大量开发和测试人力去开发各个终端版本，也不用花费太量人力去开发和测试做各类终端适配。再后期相关的CloudXR应用会慢慢多起来，解决好XR应用的云端渲染和超低延时传输不管是对于XR应用生态还是XR设备的春天才会真的到来。
LiveVideoStack：远程桌面的市场您怎么看？这其中有不少渲染算力的需求吧？
李志成：远程桌面是实时云渲染一种场景，主要应用在移动办公、安全开发、教育实训、在线设计等场景需求，办公类场景占主流，云桌面通过瘦客机终端设备通过网络便可以访问云端的桌面，实现上网、办公等需求，这块对于安全、外设设备驱动支持以及SVC/SCC的桌面编码压缩要求比较高，算力这块相对实时GPU云渲染以及低延时传输要求要低，但在数据安全、IO访问稳定性以及视频流压缩和指令传输稳定性要求比较高。
LiveVideoStack：云端渲染还需要与哪些多媒体能力配合（比如RTC、视频编码、直播、AI等），使之发挥更大的价值？
李志成：实时RTC低延时传输、媒体处理框架、音视频编解码、大规模低延时直播分发平台及网络、音视频AI应用比如无参考画质评估、数字水印、终端超分、插帧、HDR等、WebRTC、WebAssembly、WebGL、StreamVR以及IaaS云原生基础平台等等。新技术比如针对全真互联网现在比较缺的用户体验比如嗅觉、触觉这块相信在不欠的未来都会有比较有创意的技术和产品解决方案。
LiveVideoStack：您是否看好边缘节点在云渲染场景下的价值？为什么？未来是否考虑在边缘节点加入云渲染的能力？有哪些计划在路上了？
李志成：腾讯云渲染现网运行架构就是DC中心结点+边缘计算节点的组网架构，边缘节点在传输延时、机房外设以及带宽成本、安全管理等都有明显的优势，中心节点在算力弹性扩缩容、组网以及设备编排上灵活性更好。腾讯云渲染利用腾讯云在全球的CDN边缘加速和计算节点根据用户接入需求灵活组网和调度，为用户提供端到端低延时实时云渲染服务。
LiveVideoStack：在建立GPU集群后，还需要准备哪些技术栈和框架才能实现图形渲染的云化服务？还有哪些技术难点？
李志成：
IaaS 的 GPU 虚拟化、容器QEMU、云硬盘CBS、资源编排调度以及热迁移等
单实例多开，沙盒方案，Windows RDS
渲染画面的采集、帧画面后处理、编码(CPU/GPU/FPGA/ASIC方案）、DMA以及IO加速等
音视频流低延迟传输，WebRTC、BWE、Pacing、NCC、MTP 等
低延迟的多种外设输入的交互操作和驱动支持，包括鼠标、键盘、手柄、触摸等
大规模的软件内容自动化管理、 版本管理、更新以及分发
云渲染算力设备算力隔离、系统安全
端到端全终端SDK、终端低延时解码及渲染、键盘映射、视图操作、小程序支持等等
AR/VR云端渲染、低延时交互
微端热更新
云渲染终端帐号安全登陆、虚拟资产、支付等
云端应用全球加速
*封面图来自Unsplash by Sara Kurig
▼扫描下图二维码或点击阅读原文▼
报名腾讯云音视频专场活动
微信扫码关注该文公众号作者