AI可以跟着比赛视频学打网球了！Nvidia最新论文展现AI的视频学习能力。

最近一篇来自nvidia和论文《Learning Physically Simulated Tennis Skills from Broadcast Videos》引起了大家的关注。

LLM展现了AI从人类文字知识中学习的超强能力，而这篇论文的研究让我们看到，AI正在染指另外一个人类学习的重要来源：视频。

在这篇文章里，作者们讲了一个很酷的系统，它可以从电视上的网球比赛视频里学会打网球。这个系统有两个部分，一个是学会模仿打网球的动作，另一个是学会怎么计划运动。

当这个系统观看了很多很多的网球比赛视频，它可以学会很多复杂的打网球技巧，还能把这些技巧连起来，让角色在游戏里打出很长的回合。系统用一种特殊的方法来解决从视频里学到的动作不够好的问题，它会纠正这些动作，让它们更像真正的网球运动员。

这个系统可以让电脑里的网球运动员用各种不同的方法来打网球，像发球、正手、反手等等。最后，这个系统可以让两个虚拟的运动员在游戏里打一场真实的网球比赛。

这个系统分为四个阶段。首先，从电视上的网球比赛视频中，提取出运动员的动作。然后，让电脑模仿这些动作，控制虚拟人物的动作，并修正动作的错误。接下来，用一种技术让电脑学会如何模拟人类的网球动作。最后，训练一个控制器，让电脑可以控制虚拟人物完成各种网球动作。

这个系统的结果是，电脑里的虚拟人物可以学会用各种网球技巧来击打接连的网球。这个系统可以让两个虚拟人物在电脑里进行网球比赛。

他们收集了13个美国公开赛视频，包括费德勒、纳达尔和德约科维奇三位选手的比赛。然后，使用电脑技术追踪运动员并提取他们的动作。同时，人工标注运动员的身份和击球时间。

通过这些方法，他们收集了费德勒80分钟、德约科维奇96分钟和纳达尔103分钟的动作数据。这些数据可以帮助电脑学会模拟他们在网球场上的动作。

因为从视频中提取的动作数据可能有问题，所以要训练一个模型来控制虚拟角色，使其更符合现实的物理规律。这个模型可以根据动作数据来模拟运动员在比赛中的动作。

模型的训练分为两个阶段。第一个阶段是学习模仿一般动作。第二个阶段是根据网球运动员的动作数据来调整模型，使其更适合模拟网球比赛中的动作。训练完成后，可以用这个模型修正原始的动作数据，得到更接近现实的动作表现。

研究人员使用了一种叫做动作嵌入的技术，它可以从当前的姿势预测出下一个姿势。为了使运动更符合网球比赛的规律，研究人员还在全局场地坐标中表示位置和方向。此外，他们还预测了运动的阶段，这有助于简化高层策略的奖励函数设计。

学者们通过训练一个高级别的运动规划策略，使角色能够模拟出各种各样的网球动作。该策略通过选择运动嵌入的潜变量来生成类似人类行为的运动轨迹。但是，由于物理校正、遮挡和运动模糊等因素，角色的手腕运动估计可能存在较大误差，这会影响高级策略的准确性。为了解决这一问题，研究人员采用了一种混合控制方法，使角色的全身运动由运动变分自编码器（MVAE）生成的参考轨迹控制，而手腕运动则由高级策略直接控制。通过强化学习，研究人员优化了高级策略，并使用了针对网球运动的课程设置。

在训练过程中，为了提高效率，研究人员采用了逐步增加任务难度的课程学习方法。此外，他们还使用了一些简单的运动约束来解决角色眼睛无法追踪球和非主导手无法紧握球拍等问题。这些约束通过启发式方法进行了调整，使角色的运动更加真实。

网球拍被建模成两个与现实网球拍相似的实心圆柱，网球拍头是一个有弹性和摩擦力的平面圆柱。为简化握拍方式，直接将球拍柄的末端连接到角色的手腕关节，并通过修改球拍相对于手掌的方向来模拟不同的握拍方式。网球被模拟成一个与真实网球相同半径和质量的刚性球体。为模拟空气阻力和旋转效果，研究者们在模拟中加入了外部空气阻力和马格努斯力。这些力量会影响网球的运动。

未来已来！