Sora 使用中的真相：进步令人难以置信，但离不开大量人工

2024-05-08 10:05

Sora 的第一批使用者，详细讲述了自己使用其生成完整视频的制作过程。

作者 | 连冉
编辑 | 郑玄

2 月初，OpenAI 发布的 Sora 惊艳了全世界，它在文生视频上的革命性突破，一度被视为吹向好莱坞的一场大风暴。

Sora 是一种扩散模型，与以往的 AI 视频生成器相比，Sora 能够依据提示词生成长达一分钟的视频内容，保持视觉质量和一致性，并且实现镜头的切换和构图调整，它还能使视频与背景相关的主题细节准确符合，生成的视频更加逼真，仿佛是现实世界的延伸。

当时，OpenAI 还发布了技术说明，表明它未来可以将生成的视频延长或无缝混合两个视频。

3 月起，Sora 对一些艺术家开放了使用权限，月末，OpenAI 在官网发布了几位艺术家使用 Sora 生成的超现实视频作品。近日，这些作品之一《气球人》背后的艺术家团队 Shy Kids 全揭秘了使用 Sora 的制作过程。

整体看下来，真正投入到影视制作中的 Sora 并没有当初那么惊艳，但它已经足够令人震撼——能让一个仅有三人的团队，在大约 1.5 至 2 周的时间内便制作出了一部精彩短片。

在该团队看来，当前形态的 Sora 在特定的图像生成方面取得了令人难以置信的进步；但对于相对复杂的项目，可能还需要一段时间的进化才能满足导演的具体需求。除了 Sora 的使用，这部《Air Head》依然使用了大量的编辑和人为指导才制作完成。团队表示，「将 Sora 融入创作流程是一种很真实的工作方式，但如果不这么干，好像也没什么关系。」

以下为 fxguide 与 Shy Kids

就 Sora 目前的工作原理

进行讨论的内容整理：

作为获得了 Sora 的有限访问权限的制作团队之一，Shy Kids 团队制作了 Sora 短片《Air Head》。Shy Kids 是一家加拿大制作公司，以其多样化和创新的媒体制作方法而闻名。

Sora 目前正在开发中，并通过像 Shy Kids 这样的团队的反馈积极改进。重要的是要认识到：Sora 尚处于非常早期的发展时期，几乎可以称之为前阿尔法阶段。

Shy Kids 中负责后期制作的帕特里克评论道，使用 Sora 是很有趣的过程，Sora 是一个非常强大的工具，「我们已经在梦想着它可以如何融入我们现有的流程。但我认为对于任何生成性 AI 工具来说；控制力仍然是最令人向往的，也是目前最难捉摸的东西。」

用户界面和交互：

为提升一致性，仅支持文本输入

Sora 的用户界面设计简洁，它允许艺术家通过输入文本提示来启动视频片段的生成过程。

艺术家输入想要的场景描述后，OpenAI 的 ChatGPT 技术会将其转换成更长的字符串，这一步骤是触发 Sora 生成视频片段的关键。

目前，Sora 仅支持文本输入，尚未整合多模态输入方式，也就是说，除了文本描述外，用户无法通过其他形式如图像或声音来提供输入。

这种设计的重要性在于，尽管 Sora 在保持视频镜头内对象的一致性方面做得非常出色，但系统目前还无法确保第一个镜头中的内容与随后的镜头完全匹配。

换句话说，即使是使用相同的文本提示，Sora 在不同时间生成的视频片段也可能存在差异。为了尽可能保持一致性，用户需要在文本提示中尽可能详细地描述场景，包括角色的服装和道具的类型等。然而，即便如此，Sora 在镜头之间的一致性控制方面仍然存在局限，因为它尚未具备完整的功能集来实现完全的控制。

「我们能做的最接近的事情就是在我们的提示中加入更详细地描述，」帕特里克解释道。「解释角色的服装，以及气球的类型，是我们实现一致性的方式，因为目前还没有完整的功能集来完全控制镜头到镜头的一致性。」

Sora 生成的每个独立片段，就其所代表的技术而言，都是令人惊叹的。然而，如何有效利用这些片段，取决于用户对 Sora 隐式或显式镜头生成方式的理解。

例如，如果你要求 Sora 生成一个在厨房里长距离跟踪的镜头，并且镜头中包含一个放在桌上的香蕉，Sora 将依赖于其对「香蕉」这一概念的隐式理解来生成一个显示香蕉的视频。

通过训练数据，Sora 已经学习了香蕉性的隐式特性：例如「黄色」、「弯曲」、「末端有深色」等。但它没有香蕉的实际记录图像，也没有「香蕉库存库」数据库；它有一个更小的压缩隐藏或「潜在空间」来代表香蕉的概念。因此，每次生成的运行都会展示出这个潜在空间的不同解释，这意味着用户输入的提示必须基于对这些隐式特征的理解。

角色 Sonny 的一致性：

团队试图在不同镜头中保持黄色气球头 Sonny 的一致性，但 Sora 无法确保每个镜头中的气球颜色和样式完全相同。有时气球的颜色或样式与提示不符，甚至出现意外的脸部图案。

Sora 输出的并不需要出现的面部图案｜图片来源：fxguide

分辨率和图像处理：

《Air Head》使用了 Sora 生成的镜头，但其中很多都被分级、处理和稳定化了，所有镜头都被放大或提升了分辨率。团队处理的片段都是以较低分辨率生成的，然后使用 Sora 或 OpenAI 之外的 AI 工具进行了放大。「我们所有的《Air Head》都是以 480 的速度制作的，然后使用 Topaz 进行校正。」

时间控制的不精确性：

Shy Kids 使用的是最早的原型（Sora 仍在不断改进中），尽管可以在时间线上对关键帧进行调整，但对于动作发生的确切时间点控制并不精确，结果具有一定的不确定性。

宽高比的选择：

Sora 允许用户选择不同的宽高比，如肖像或风景模式，这一功能对于特定的镜头设计至关重要。尽管 Sora 提供了灵活性，但它在原生渲染某些复杂镜头动作方面存在限制。例如，当需要从角色 Sonny 的牛仔裤向上摇摄到他的气球头时，Sora 无法直接生成这样的镜头。为了解决这一限制，团队先以肖像模式渲染了镜头，然后通过后期裁剪手动创建了后期的全景。

Sora 生成的镜头需要后期手动裁剪｜图片来源：fxguide

相机方向的提示：

Sora 在理解和执行相机运动指令方面还不够成熟。尽管用户可以输入如「相机平移」的提示，但 Sora 并不总是能够准确执行。

渲染时长：

根据不同的云使用需求和时间，渲染一个片段可能需要 10 到 20 分钟。团队倾向于渲染更长的片段，以便在后期制作中有更多编辑和调整的空间。

旋转：

虽然所有的图像都是在 Sora 中生成的，但气球仍然需要大量的后期工作。除了隔离气球以便重新上色外，还需要移除一些不应该出现的面部图案或其他痕迹。

Sora 的原始输出｜图片来源：fxguide

后期成品页面｜图片来源：fxguide

素材与成品比例：

帕特里克估计，最终影片中一分半钟的镜头，是基于「数百次生成，每次 10 到 20 秒」的素材制作的，大约是 300:1 的源材料与最终成品比例。

拍摄合成和重新定时：

在《Air Head》中，大多数镜头是一次性生成的，没有将多次拍摄合成在一起。

许多由 Sora 生成的视频片段似乎被自动处理成了慢动作，速度只有正常速度的 50% 到 75%。团队需要重新定时，以让它们看起来像是实时拍摄的。

版权：

Sora 不允许生成会构成侵犯版权或看起来像是模仿特定作品的内容。

例如输入以下提示词：「在一艘未来主义的太空船中，使用 35mm 胶片拍摄，一个男人手持光剑向前走」，Sora 将不允许生成片段，因为这样的内容太接近《星球大战》。

Shy Kids 在早期测试中也遇到了这个问题。帕特里克回忆说，「我输入了『阿罗诺夫斯基式的镜头』，结果收到了无法执行的反馈。」他还提到，「希区柯克式变焦」也是一个会被 Sora 拒绝的提示。

小结

去年，大模型的快速发展引起了一场好莱坞大编剧罢工，电影行业对于这项技术的担忧开始增多。今年 2 月，OpenAI 推出的 Sora 被视为硅谷再次对好莱坞发起冲击的信号。3 月初，更是有计划了 4 年，资金规模约 8 亿美元，场地面积高达 330 英亩的 12 个摄影棚的设计和建造等一系列的影视工作室扩建计划，因为 Sora 的出现被迅速搁浅。一时间，似乎好莱坞人人自危。

但当使用 Sora 制作了短片的 Shy Kids 对这一技术进行了全揭秘，人工后期被大量使用，Sora 还不能完成一些高级的复杂需求，这些似乎又都给了好莱坞更多缓冲的时间——毕竟 Sora 目前尚处于非常早期的阶段，还远远不能在电影工业的各个环节替代人工。

但值得注意的是：人工智能正在以比过去摩尔定律更快的速度提升智能，这点在以 GPT 为代表的大语言模型已经得到了验证。今天 Sora 的出现意味着视频生成模型已经来到了拐点，或许用不了多久我们就能看到可以用于视频产业甚至电影工业的视频大模型。

*头图来源：fxguide

本文为极客公园原创文章，转载请联系极客君微信 geekparkGO

直播预告