生成式AI浪潮，将革新哪些产业的创造力与生产力？ | NVIDIA 初创加速计划 X 榕汇

NVIDIA正在打造Omniverse成为LLM（大规模语言模型）和生成式AI的第一生态和计算平台，并探索更多的生成式AI功能。例如通过Omniverse的text-to-materials扩展程序，用户输入文本prompt即可自动生成高质量的材质素材。开发者也可以将基于ChatGPT等的AI生成结果，作为数据导入到Omniverse中。生成式AI功能的引入，能够进一步降低技术门槛，包括让更多非专业人士可以利用工具将脑海中的场景设计出来。

作为NVIDIA 25年来在图形学、加速计算、模拟和AI技术领域的结晶，Omniverse从数字世界跨越到物理世界，不断在更多应用场景中落地。

在数字工业孪生应用场景，Omniverse可赋能制造企业以完全虚拟的方式来规划和优化价值数10亿美元的工厂项目，以使工厂能够更快投入生产并更有效率地运作、缩短产品上市时间，同时提高工厂的数字化程度与可持续性。今年GTC上，宝马集团与NVIDIA揭幕了由NVIDIA Omniverse驱动的首座宝马虚拟工厂。

围绕数字人，Omniverse也推出Audio2Face、Audio2Emotion等打造即时3D角色动画的生成式AI工具。Audio2Face可基于音频文件自动生成逼真面部表情；Audio2Emotion可以生成从快乐和兴奋到悲伤和遗憾的逼真情绪。

扩展现实（XR）是虚拟现实（VR）、增强现实（AR）、混合现实（MR）的统称。从1838年立体成像被发明，XR发展至今已经有近200年的历史，直到去年元宇宙Metaverse概念大火。但我们认为只有XR加上AI才能真正解锁Metaverse。

NVIDIA的XR平台包含NVIDIA VR Ready GPU、创新型XR工具和开发软件，有助于开发出色的VR体验。2019年11月，NVIDIA CloudXR 1.0发布，这是基于NVIDIA RTX技术的XR云渲染方案。XR设备包括头盔、手机、平板等算力都是有限的，通过CloudXR可以从数据中心、云端或边缘等传输沉浸式XR体验。今年CloudXR已升级至4.0版本，提供了广泛的API接口选项，允许开发者使用Unity插件创建自定义用户画面，也能改善在5G网络下允许云端和边缘计算应用的体验。

XR也是连接虚拟世界Omniverse和真实世界的“星际之门”——AR是AI从Omniverse进入真实世界的方式，而VR是我们用来进入Omniverse的“虫洞”。

Omniverse XR是NVIDIA打造的首个全保真、全光线追踪VR技术，可以生成包含完整RTX光追功能的3D世界，允许用户通过VR设备或平板实时感受Omniverse场景，并支持在VR中进行导航和操作；也能通过CloudXR平台体验AR流式传输。

XR也正推动专业工作流程的变革，例如在虚拟环境中模拟复杂的外科手术过程，汽车企业利用XR技术为工厂工人提供模拟培训、进行汽车外观的设计和评审等。以汽车设计和评审这一场景为例，基于多人协同、VR设计、沉浸式展示和MR交互，能够让协作更为高效，大大缩短工作流。

围绕生成式AI浪潮，NVIDIA也推出AI Foundations，这是基于云的生成式AI服务，旨在帮助企业创建和运行自定义大型语言模型和生成式AI模型，这些模型专为企业所在领域的特定任务而创建，并且在专有数据上训练。

目前主要提供三种模型：NeMo、Picasso和BioNeMo。NeMo帮助开发者通过定义重点领域、添加特定领域知识等方式，构建出更加适合企业的大语言模型；Picasso帮助开发者构建和部署生成式AI驱动的图像、视频和3D应用，这些应用能够实现文生图、文生视频以及文本转3D；BioNeMo则重点面向生命科学领域（用于药物研发）。

机器人有助于为制造、物流等行业提升效率并提升人们的生活质量，NVIDIA Isaac致力于提供一个端到端的机器人开发平台。从模型训练，到在虚拟环境中模拟，再到现实环境的开发，最终进行大规模集群式的机器人部署和机器人编队管理，都可以通过Isaac平台来实现。

目前有超过100万机器人开发者活跃在NVIDIA平台上；全球有超6000家客户利用NVIDIA的软硬件进行机器人的量产和落地，这些客户分布在递送、零售、ARM、农业、服务、制造、医疗等行业；此外我们也联合了超过150家合作伙伴共同帮助客户实现应用落地，包括传感器、AI模型框架、机器人操作系统、参考设计平台等。

Isaac Sim是NVIDIA的机器人仿真平台，提供数字孪生级别的机器人仿真。为何仿真如此重要？“万物移动终将是自主的”，为了实现完全的自主化，一个数字孪生级别的仿真环境是非常必要的。在开发机器人时，如果要增加一个功能或者删减一个传感器，直接在硬件上做开发，成本、时间和风险代价是非常高的；在仿真环境可以快速进行产品验证。

Isaac Sim以Omniverse为基石，即在Omniverse基础上搭建了机器人开发的应用层，重点可以实现：1）合成数据集生成，让机器人在虚拟环境下生成标注好的数据集，加速模型训练；2）仿真，让机器人在仿真环境中进行整机测试；3）人机交互。

为了便于机器人开发者进行环境建模，Omniverse也打通了机器人3D建模的第三方主流软件与格式，包括通用的URDF，支持双足或四足机器人的MJCF等。例如Isaac Sim支持和机器人仿真软件Gazebo打通，当在Gazebo里对机器人的关节节点进行控制时，Isaac Sim可以做到实时响应。

Isaac Sim也正推动云上的服务，目前还比较早期，未来我们希望机器人开发者可以方便和低成本地访问平台，乃至共享仿真数据集。

服装行业是依赖大量“上新”带动消费的产业，对创造力和效率有极致追求。创意浓度高、能够接受多样性，也让服装相对其他行业对AI有更高的容错率，适用于AIGC去落地和探索。

与此同时，服装行业的产业链分工与环节，决定了AI生成的内容想要真正创造价值，需要满足以下特性：1）输出的内容和元素需要是多模态的，不同环节生成的不同类型内容需要结构化相关联；2）生成内容必须和实物商品相对应起来，完全支持直连生产；3）生成的内容不能是一次性的，比如版型和设计内容可以沉淀为数据资源并支持复用。

因此从Style3D探索AIGC伊始，我们就意识到：需要基于我们积累的大量垂直行业数据和素材库，去训练垂直领域的产业模型“Style3D AI产业模型”，且拥有完整的适用于服装行业的prompt。

目前Style3D已上线一批AIGC功能，包括AI款式分析、AI生成图案、AI生成版片、AI生成材质以及快速生成电商上新图等。（点击阅读：Style3D如何利用AI赋能服装产业链关键环节）

泽森科工打造的三维内容生成软件ZENO，是一款使用可视化节点编辑提供辅助的高性能、全流程三维内容生成软件，在程序化几何、程序化材质、物理仿真、生物仿真、实时渲染等方面已展现出明显的性能优势。

在内容制作领域，小到一株植物，大到一整座城市，都可以通过程序化生成（Programmatic generation）的方式来实现。尤其当需要制作大量内容资产时，程序化生成可以极大减少对人力的依赖、解放生产力。例如前期完成了对一座城市的程序化生成逻辑和节点编排，后续艺术家只需要调整参数，就可以高效将一整座城市完全自动化建模出来。

物理仿真方面，影视、动画、游戏制作都有赖于高质量物理仿真。ZENO对大规模流体的解算速度是传统速度的3-4倍，高性能的GPU多物理耦合解算也让虚拟世界的仿真达到高效和实时。

生物仿真涉及多个维度，包括肌肉形变、皮肤仿真，以及数字角色的高逼真渲染等。ZENO是国内首款拥有肌肉解算并且能直接对接游戏工作流程的系统，独有的生物仿真系统让虚拟生物更加真实自然生动，皮肤与毛发更具生物特性。

基于高性能GPU的实时渲染也很关键，能够让艺术家以一种交互式的方式，去调整和获得想要构建的画面效果，实现“所见即所得”。例如在ZENO中对海水进行超逼真渲染，对于拥有7亿粒子的仿真，基于单个NVIDIA GeForce RTX 3090显卡，可以做到30秒时间内实现4K分辨率的渲染，基本可以交互响应用户鼠标的移动。

泽森曾参与电影《流浪地球2》的视效制作，独立制作了泰晤士河被陨石摧毁、悉尼歌剧院被炸毁场景中的4个视效镜头。不仅通过程序化方式自动生成了伦敦这一城市级场景，帮助制作团队节省了大量人力；ZENO提供的流体仿真、烟雾仿真系统也极大提高超特大场景的仿真计算效率，让艺术家快速迭代和调整。根据统计，ZENO的控制工具和辅助功能为相关制作画面最终视觉效果的版本迭代节省了超100小时的时间。

随着AIGC深入越来越多场景，泽森也提出（AI+P）GC概念，并提倡方向更加可控、数据更加严谨的内容生成。

以地形生成为例，利用泽森的程序化生成，艺术家可以快速生成山峰，并调整日照、降水等参数，自动形成地形腐蚀的效果。而且程序化生成的内容带有高质量的数据标注，AI模型基于这些数据能够快速生成高质量的、近乎CG渲染效果的画面。

我们相信，未来程序化生成加上AIGC，对艺术家的内容制作和预览加速有极大的增强作用。近期我们还尝试利用AIGC，根据音乐的节拍和节律，自动化生成随音律舞动的曲线动画。

在高榕资本副总裁陈玥雯的主持下，NVIDIA中国Omniverse业务负责人何展也与泽森科工、中铁五院、设序科技等前沿企业，一同探讨生成式AI为产业带来的机遇及现实挑战。

数字内容 | 未来三维软件多能使用Chat模式操作

张心欣 泽森科工创始人、CEO

影视、动画、游戏行业确实是AIGC首当其冲的主战场。AIGC带来的冲击是多维度的，对于行业结构带来了摧枯拉朽式的改变，尤其是偏向前期的工种（如原画师等）未来可能被AIGC取代。

但我们也看到，无论是主流的图形工具，还有很多创业公司，都在思考如何利用AIGC更快速、大量、自动化生成三维内容。我们可以预见在不久的将来，行业主流三维软件大多都能够使用Chat这种模式去操作。

至于产品壁垒，除了相对稀缺的自研技术以外，也需要我们对客户本质需求有更深度的理解，例如在制作复杂数据内容时，如何保证节能增效和高迭代性。

汽车 | 工程领域AIGC需要满足功能性需求

杨庆保 设序科技AIGE产品负责人

设序科技的愿景是让设计、制造简单有序，致力于通过AI技术、云技术和几何图形技术，打造智能设计、制造软件，目前重点聚焦的场景是汽车焊装领域，提供设计、仿真、虚拟调试以及制造等的整体解决方案。我们提出AIGE（Artificial Intelligence Generated Engineering）的理念，这源于我们在汽车行业落地AI服务时发现的若干真实需求：1）汽车行业本身积累了很多数据，客户希望这些数据能够真正发挥价值，为生产设计提高效率；2）汽车行业从设计到制造的交付周期越来越短，因此对于产线设计效率的提高有巨大需求；3）行业客户也期待AI能够在设计环节帮助纠错。

当然，在工程领域AI生成的内容要满足功能性需求，例如可安装、可制造；而且不同汽车厂家有自己的设计标准或偏好，需要能够适配。数据方面，我们需要结构化、多模态的数据，且对于这些数据在不同阶段关注的侧重点不同。例如设计阶段关注设计过程，仿真阶段关注渲染状态，制造阶段则关注出图效果和二维结构化的标注。除了依赖过往积累的通用数据、内部对数据进行清洗标注，目前设序也和客户合作拿到有业务标签的数据（通过联邦学习等方式加密）。

勘察设计 | 加强数据结构化积累与数据安全

刘洋 中铁第五勘察设计院集团有限公司 数智化研究院 院长

中铁五院是中国铁建旗下的勘察设计企业。基于人工智能、数字孪生、云计算、大数据等技术，我们正持续推进数字化转型，并围绕三大目标——推进数字化生产，加快大数据辅助管理，深化数字化业务发展。

其中利用数字孪生技术打造数字化生产线，有几大重点工作：1）制定数字化设计标准，通过提供工具、资源和流程，提升设计效率和产品的标准型，也通过云计算，为团队提供桌面云、设计云等高端设计工具和资源；2）通过数字孪生技术将工程建设各参与方协作在通用数据环境中，提高团队沟通效率；3）通过数字化技术进行工程全生命周期的项目管理，涵盖投资规划、设计、施工、运营维护等多个阶段。

AIGC也正展现出在设计勘察领域的应用潜力。例如在工程初期，AI生成概念设计（Conceptual Design）；在交付阶段，AI可以辅助生成施工图（Constructive Documents）。

对于数据问题，我们也正着手推进将过往工程积累的大量文档、工程图纸、模型，进行结构化的存储，让机器可学习，形成数据资产，同时打造了数据仓库，并融合网络安全和数据安全技术。

着眼未来，AIGC势必会在每个行业渗透，带来产业变革；但“从0到1、无中生有”始终是人类的优势，AIGC提升生产力离不开对产业的理解、积累的独特数据、深入有价值的工作流，以及结合反馈不断进化。