绿幕拍摄也能在现场实时出片？神器 NVIDIA Omniverse™ 带来影视制作流程的全面升级！
绿幕拍摄是一种十分常用的影视制作技术，通过在拍摄现场使用绿色的背景幕布，可以在后期制作中轻松地将演员从背景中分离出来，并将其放置在任何所需的虚拟背景中。绿幕拍摄具备环境高度可控、布景成本低、后期灵活性高等多个优点，但在传统绿幕拍摄中，无法快速看到成片效果也对演员表现调整和拍摄效率带来了挑战。
随着 AI 和软硬件技术的不断迭代，影视团队也在尝试绿幕拍摄的新可能性。近日，赋欣科技帮助影视团队共同尝试使用了 NVIDIA Omniverse™ ——一个允许实时渲染与实时协作的 3D 软件平台，来探索绿幕拍摄的更多可能。下面的视频是经过处理的绿幕拍摄现场的监视器实时画面，和传统绿幕拍摄不同，它既能展现演员的表演，也能实时显示背景画面，接下来为大家一一解析“影视制作神器” NVIDIA Omniverse 可以如何应用至绿幕拍摄中来提升影视制作效率。
NVIDIA Omniverse 赋能的绿幕拍摄
Part.
1
3D 艺术家共处同一虚拟空间来进行前期数字布景
在绿幕拍摄开始前的场景制作阶段，所有的创作者和艺术家都能够使用 NVIDIA Omniverse 来协作制作场景，并实时看到彼此的修改：
· 通过 OpenUSD 连接常用的 3D 软件，无需频繁导入/导出/下载/转换格式
NVIDIA Omniverse 采用了基于 USD 的工作流，可以让许多业界主流 3D 工具实现无缝互通，使用户在各种工具和流程中高效地工作，每个艺术家都可以使用自己所偏好的 3D 软件，将其接入 NVIDIA Omniverse ，并在 NVIDIA Omniverse 中与其他团队成员共享创作成果，这能在不打破现有工作方式的基础上，帮助建立统一的素材工作流程，在数据和工具集之间实现互操作性。
NVIDIA Omniverse 中的 USD 工作流
OpenUSD 的高效引用和分层功能使团队能够对项目进行实时无损编辑，并保留所有源内容，实现协作工作流程的迭代。OpenUSD 专为处理包含数百万资产和复杂数据集的大型场景设计，非常适合开发者构建支持虚拟世界的应用。
· 艺术家、渲染专家等可以协作进行 3D 场景修改
OpenUSD 由皮克斯动画工作室创建，是一种高性能的 3D 场景描述技术，可实现工具、数据和工作流之间的强大互操作性。
在软件数据格式互通的基础上，NVIDIA Omniverse 允许多个身处各地、使用不同设备和不同软件的用户在平台中进行协作。模型修改、光照调整、渲染效果调整等都能在 NVIDIA Omniverse 中实时呈现给团队中的每个人，这免去了团队间繁复的信息同步工作，无论 3D 场景搭建到了哪一步，每个人都能看到最新的视觉效果。
OpenUSD 以其卓越能力而为人所知，它能够助力实现多种艺术形式中的协作，并优化电影内容制作，其强大的功能和灵活性使其成为能够满足新行业和新应用需求的理想内容平台。
· 3D 资产互通，快速搭建拍摄背景
OpenUSD 格式所连接的多种软件的资产，可以大幅扩充资产库，而 NVIDIA Omniverse 本身也自带许多可用资产，这让场景艺术家可以快速完成场景的部署，而无需在现场耗费大量人力物力与时间反复搭建拍摄所用的实景。同时，数字场景可以随时调用，如果有需要修改或补拍的情况出现，也不会造成额外返工。
NVIDIA Omniverse 中的数字资产内容
Part.
2
实时渲染和物理级精确功能，让拍摄和后期环节融为一体
传统绿幕拍摄流程中，在正式开始拍摄后，监视器中的画面中只会显示演员在绿幕背景下的表演，但在 NVIDIA Omniverse 和 NVIDIA RTX™ 的助力下，3D 背景如今也能同演员一起出现在监视器中。
· RTX 加速实现逼真、高效的渲染
利用 NVIDIA Omniverse 平台内置的 RTX 渲染器，可以实现实时光线追踪和路径追踪，让 3D 背景能以逼真的光线与空间结构，实时显示在现场的监视器中。配合拍摄现场经过推敲的灯光布置，演员的打光与 3D 环境可以融为一体，实现接近于实景拍摄的效果。
绿幕拍摄实景与处理后的监视器显示画面对比
演员打光与 3D 场景中的烛光相对应
· 通过物理引擎呈现超逼真光影
3D 场景可以在 NVIDIA Omniverse 中由 NVIDIA PhysX™ 高级仿真技术套件提供支持，能够呈现逼真的物理效果。
画面中的火焰十分逼真，周边的雕塑与墙面对烛光进行了符合物理学的光线反射
除了这个视频中可以看到的火苗和复杂的光线反射外，NVIDIA Omniverse 还能够逼真模拟颗粒、烟雾、液体等具有复杂变化的物体，无论是何种场景都能确保其真实性。
· 众多参考工具和 AI 应用，助力多种特效的快速呈现
举例来说，在 NVIDIA Omniverse 中调用 AI 降噪功能，能够大幅提升渲染速度，在生成式 AI 的热潮中，NVIDIA Omniverse 也借势拔高了自身生态，可通过 API 连接多种生成式 AI 工具，甚至可以使用由 LLM 提供支持的 OpenUSD 开发方法，这在拍摄探索阶段也将大幅提高场景设计的优化效率。
Part.
3
优化影视制作全流程
在拍摄完成后，如果需要对场景进行再次调整，也可以在 NVIDIA Omniverse 中根据既有成片的效果而进行修改，这不但保留了传统绿幕拍摄的灵活性，也可以让绿幕拍摄和实景拍摄一样，变得更加直观。
对于影视项目而言，这将帮助作品周期的缩短，而这也意味着所投入资金能够更快回笼，为影视制作的全流程带来利好。
Part.
4
NVIDIA 生态让 Omniverse 能轻松调用尖端图形技术
· NVIDIA Omniverse Kit
NVIDIA Omniverse 为开发者提供了 Kit 开发接口，本次虚拟拍摄当中，开发人员为相机和 SDI 视频采集卡专门开发了相应的 Extension （扩展程序），以实时进行相机的联动，处理渲染场景的实时合成和阴影。
1）FreeD 相机实时联动
同时，Omniverse Composer 支持通过插件的方式接入实时摄像机定位系统，通过 FreeD 协议，支持涵盖红外定位方案，双目视觉定位方案，机械臂定位方案等市面主流定位系统。为导演指导项目预演，虚拟拍摄实时更新准确摄影机 6 轴运动提供协助。
在 NVIDIA Omniverse 中进行实时相机联动
2）SDI Compose Framework
基于 Kit 开发的 Omniverse Compose Framework 组件可以将摄影机拍摄的 SDI 视频信号输入引擎，以完成实时渲染与合成。通过此方法，可以在实时输出图像的基础之上，实现抠像角色与场景的正确遮挡关系与光影一致性，来确保高合成真实度。
Compose Framework 中查看并修改抠像角色和场景内环境光照的交互
· NVIDIA Omniverse Connector
通过在 NVIDIA Omniverse 中构建 Connector （连接器），可以连接至许多主流 3D 软件，这打通了多种 DCC 软件资产间的连接桥梁。
美术团队在项目当中可以始终保持原有工作流，使用自己擅长的工具来建模、制作材质等，再最终通过 NVIDIA Omniverse 来进行渲染输出。
将主流 3D 软件连接至 NVIDIA Omniverse
· NVIDIA DLSS 技术
NVIDIA DLSS 利用了 AI 技术，可以实时增益渲染的效率。当开启 DLSS 3.5 当中的 Frame Generation （帧生成）功能时，相对于不开启该功能的情况，画面 FPS 有了近1倍的提升。
未使用 Frame Generation 与使用 Frame Generation 的效果对比
· 多 GPU 渲染技术
实时光线追踪和对于 4K/8K 超高清画质的追求，对算力的要求非常高，单 GPU 已无法完全满足如今的仿真和渲染需求。
NVIDIA Omniverse 可支持多 GPU 实时渲染，调用丰富的计算资源以帮助影视团队满足观众日益增长的期待。
单 GPU 和多 GPU 渲染对比
· NVIDIA Omniverse Kit Extension
NVIDIA Omniverse 支持在 Kit 中以 Python 的方式编写插件与组件。只需要在菜单栏点击 “Window-Extensions” ，并点击弹出窗口的左上角“+”符号，即可从模板创建插件， 通过 Visual Studio Code 等开发 IDE 进行插件的编写。
NVIDIA Omniverse Kit Extension
· RTX Realtime Raytracing ——实时光线追踪
区别于其他光栅化渲染引擎， NVIDIA Omniverse 采用全光追渲染引擎，可以对光影效果进行即时呈现和反馈。
导演能够根据实时合成的画面，来即时更改场景中的光影细节，而无需像传统光栅化一样需要长时间等待烘焙光照贴图操作。
NVIDIA Omniverse 中的实时光线追踪
关于赋欣科技
上海赋欣科技有限公司创始团队有 22 年显卡从业经验，是 NVIDIA 专业可视化 GPU 产品 -- Elite 级别的增值代理合作伙伴 ，其专注于 NVIDIA GPU 的 AI、数据科学、边缘计算、云计算及视觉设计方案，开展超融合文件存储、网络等业务，赋欣科技的服务范围涵盖 HPC、智能汽车、工业视觉、金融量化、建筑信息模型、医疗影像、云游戏等，是一家综合性方案提供商。
微信扫码关注该文公众号作者