神经渲染与AI生成框架结合，5倍提升游戏速度，英伟达是这样做的
作者：MATTHEW S. SMITH
机器之心编译
编辑：袁铭怿
假如摩尔定律失去动力，神经渲染不失为一种较好的替补方法，它提供了一种在不增加晶体管数量的情况下还能继续提供巨大收益的方案。
此前，在一场直播活动中，英伟达 CEO 黄仁勋宣布推出 DLSS 3。DLSS 全名为 Deep Learning Super Sampling，它是英伟达发布的深度学习超级采样技术，其拥有开创性的光学多帧生成功能，其为游戏提供了不可或缺的三要素：提高帧率、最大限度地提升响应速度和改善图像质量。
在一系列游戏和引擎中，与传统渲染相比，DLSS 3 有助于将 GeForce RTX 40 系列的性能翻倍提高：
与此同时，英伟达副总裁 Bryan Catanzaro 也曾在 Twitter 上宣称：「神经渲染在 Ada 架构的 DLSS 3.0 加持下迈出了非常重要的一步！除了 DL 驱动的超分辨率，它还使用光流、运动矢量和 DL 来生成整个帧。DLSS 3 渲染的 8 个像素中有 7 个是来自神经渲染的。」这足以将渲染速度提高 5 倍。
尽管这项了不起的技术目前仅限用于几十款 3D 游戏，但神经渲染很快就会带来收益。这项技术将释放日常消费电子产品的新潜力。
在多数情况下，DLSS 3 在 4K 分辨率下比传统渲染技术性能提高两到三倍。虽然英伟达目前处于领先地位，但它也有竞争对手，比如英特尔 AI 驱动的高端软件 XeSS (Xe Super Sampling)，以及 AMD 的 RDNA 3 图形架构。
游戏引领了神经渲染的浪潮，因为它们非常适合使用机器学习技术。谷歌高级研究员 Jon Barron 表示：「只看图像的小 patch，试图猜出图像缺失了什么，这非常适合机器来学习。机器善于识别帧之间的相似性，包括那些帧率高到足以掩盖运动中的微小错误。」
不过 DLSS 3 也存在不完美的地方，其在场景转换方面存在缺陷。但是 Barron 和 Catanzaro 认为在神经渲染模型中通过添加训练数据可以弥补这一缺陷。
英特尔图形研究副总裁 Anton Kaplanyan 认为，未来神经渲染技术会让 3D 内容创作变得更加触手可及。不难看出，现在的社交网络已经逐渐商品化了，人们只需点击一个按钮，拍一张照片，就可与亲朋好友分享。如果我们想把这种体验提升到 3D，我们就需要吸引那些不懂专业工具的人成为内容创造者。
2023 年，3D 神经渲染的改进速度关乎其未来的发展。但与传统渲染相比，研究者缺少更多的经验。Barron 指出：「计算机图形学很神奇，它的工作效果非常好，我们有很多方法来解决问题，而这些方法可能永远适用。」
接下来的问题是，图形行业会在何时接受 3D 神经渲染作为一种替代方案。这种过渡可能是令人担忧的，因为押注错误技术或错误架构的代价可不小。
尽管如此，Catanzaro 相信 3D 神经渲染已经势不可挡。他说：「我们将会看到许多更加不同凡响的神经渲染技术。这些技术有的能够做阴影、折射和反射，将来我们会考虑那些比 DLSS 更强的神经渲染方法，我认为未来的图形领域将会是多种方法并行的。」
神经渲染最大的好处是效率
神经渲染的魅力不仅在于它潜在的性能，还在于它潜在的效率。DLSS 3 通过 RTX 在 Portal 游戏中提供的 530% 增益可以提高帧速率——或者通过将帧速率限制在一个目标内来降低功耗。如此一来，DLSS 3 可以减少呈现每一帧的成本。
英伟达 DLSS 3
这可不容小觑，因为消费电子领域面临着一个重要问题，即摩尔定律大势已去，就算没有，也只是苟延残喘罢了。Catanzaro 说道：「正如你所知道的，摩尔定律已经失去了势头，我个人认为后摩尔图像就是神经图像。对于英伟达来说，神经渲染已然成为一种具有代表性的方法，它不需要成倍增加晶体管数量就可以为公司带来巨大收益。」
然而，英特尔的 Kaplanyan 并不认为摩尔定律会消亡，但他也赞同神经渲染可以提高效率。他说：「芯片的大小可以解决，我同意我们有着大好的机会，可以通过机器学习算法，更有效地利用这种能量和这一领域，产生新的视觉效果。」
AMD、英伟达和英特尔这三家公司都与设备制造商合作，来设计新的消费笔记本电脑和平板电脑，于是效率便成为了三家公司的必争之地。对于设备制造商来说，效率提高带来了更薄、更轻、电池续航时间更长的设备，同时也提升了用户使用设备的功能。
显然，2023 年将是消费设备中神经渲染的奠基年。支持 DLSS 3 的英伟达 RTX 40 系列将推出多种台式电脑和笔记本电脑；英特尔预计将扩展其 Arc 图形线与即将到来的 Battlemage 架构；AMD 将推出更多使用 RDNA 3 架构的变体产品。
这些产品的发布为图形革命奠定了基础。当然，这不是一蹴而就的，需要花些功夫——但随着消费者对视觉效果和内容创造的要求越来越高，通过更小、更薄的创新，神经渲染可能是最好的交付方式。
原文链接：https://spectrum.ieee.org/ai-graphics-neural-rendering
基于 Amazon SageMaker JumpStart 的 AIGC 解决方案
Stability AI 推出的火爆 AIGC 领域的 Stable Diffusion 模型从开源之初便深受开发者欢迎。该公司于11月24日正式推出了 Stable Diffusion 的2.0版本，并在刚刚结束的亚马逊云科技 re:Invent 2022 大会上宣布其已选择亚马逊作为其首选云提供商，以帮助其开发和部署用于图像、语言、音频、视频和 3D 内容生成的新人工智能模型。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]
微信扫码关注该文公众号作者