「人与场景交互生成」新突破！天大、清华发布Narrator：文本驱动，自然可控｜ICCV 2023

自然可控的人与场景交互（Human Scene Interaction, HSI）生成在虚拟现实/增强现实（VR/AR）内容创作和以人为中心的人工智能等多个领域发挥着重要作用。

然而，现有方法的可控能力有限、交互种类有限、生成结果不自然，严重限制了其在现实中的应用场景。

针对这一问题，天津大学团队联合清华大学在ICCV 2023的工作中提出Narrator，将重点放在一项具有挑战性的任务上，即从文本描述中自然可控地生成逼真且多样的人与场景交互。

项目主页：http://cic.tju.edu.cn/faculty/likun/projects/Narrator

代码：https://github.com/HaibiaoXuan/Narrator

从人类认知角度来看，理想的生成模型应能正确推理空间关系并探索交互的自由度。

因此，作者提出了一个基于关系推理的生成模型，通过场景图分别对场景和描述中的空间关系进行建模，并引入一种将交互动作表示为原子身体部位状态的部位级交互机制。

特别是，受益于关系推理，作者进一步提出了一种简单但有效的多人生成策略，这是当时对可控的多人场景交互生成的首次探索。

最后，作者进行了大量实验和用户调研，证明了Narrator能够可控地生成多样化的交互，其效果明显优于现有工作。

现有的人与场景交互生成方法大多关注在交互的物理几何关系，但缺乏对生成的语义控制，也局限于单人生成。

因此，作者着眼于一项具有挑战性的任务，即从自然语言描述中可控生成真实且多样的人与场景交互。作者观察到人类通常会通过空间感知和动作识别来自然描述在不同地点进行各种互动的人。

图1 Narrator可以自然可控地生成语义一致且物理合理的人与场景交互，适用于以下各种情况：（a）由空间关系引导的交互，（b）由多动作引导的交互，（c）多人场景交互，以及（d）结合上述交互类型的人与场景交互。

具体来说，空间关系可以表示为场景或局部区域中不同物体之间的相互关系，而交互动作则由原子身体部位状态指定，如人的脚踩地、躯干靠着、右手轻拍和低着头等。

以此为出发点，作者采用场景图来表示空间关系，提出了联合全局和局部场景图 (Joint Global and Local Scene Graph, JGLSG) 机制，为随后的生成提供了全局位置感知。

同时，考虑到身体部位状态是模拟符合文本的逼真交互的关键，作者引入了部位级动作（Part-Level Action, PLA）机制来建立人体部位与动作之间的对应关系。

受益于有效的观察认知以及所提出的关系推理的灵活性和复用性，作者进一步提出一种简单而有效的多人生成策略，这是当时第一个自然可控且用户友好的多人场景交互（Multi-Human Scene Interaction, MHSI）生成方案。

Narrator框架总览

Narrator的目的是自然可控地生成人与场景交互，这种交互在语义上与文本描述一致且在物理上与三维场景匹配。

图2 Narrator框架总览

如图2所示，该方法采用基于Transformer的条件变分自编码器 (cVAE)，主要包括：

1）与孤立考虑场景或物体的现有研究相比，设计了一种联合全局和局部场景图机制，来推理复杂空间关系和实现全局定位感知；

2）针对人们会同时通过不同的身体部位完成交互动作的观察，引入了部件级动作机制，以实现逼真和多样化的交互；

3）在场景感知优化过程中额外引入了交互二分面损失，以便获得更好的生成结果；

4）进一步扩展到多人交互生成，并最终促进了多人场景交互的第一步。

联合全局和局部场景图机制

空间关系的推理可以为模型提供特定场景的线索，对于实现人与场景交互的自然可控性具有重要作用。

因此，作者设计了一种全局和局部场景图联合机制，通过以下三个步骤来实现：

1. 全局场景图生成：给定场景，用预训练好的场景图模型生成全局场景图，即 ，其中，是带有类别标签的对象，是和之间的关系，n是物体数量，m是关系数量；

2. 局部场景图生成：采用语义解析工具来识别描述的句式结构并提取生成局部场景，其中定义了主语-谓语-对象的三元组；

3. 场景图匹配：模型根据相同的对象语义标签将全局与局部场景图中的节点对应起来，并通过扩展边关系来自动增加一个虚拟人节点以提供位置信息。

部件级动作（PLA）机制

场景中人的交互是由原子身体部位状态组成的，因此作者提出了一种细粒度部位级动作机制，使得模型能从给定交互中注意重要部位而忽略无关部位。

具体来说，作者探索了丰富且多样的交互动作，并将这些可能的动作对应到人体的五个主要部位：头部、躯干、左/右臂、左/右手和左/右下半身。

同时，分别使用独热编码（One-Hot）代表这些动作和身体部位，并根据对应关系将它们连接起来以便后续编码。

对于多动作的交互生成，作者采用注意力机制来学习身体结构的不同部位状态。

在给定的交互动作组合中，每个动作对应的身体部位与所有其他动作之间的注意力都会被自动屏蔽。

以「一个人使用柜子蹲在地上」为例，蹲下对应的是下半身状态，因此其他部位标记的注意力将被屏蔽为零。

场景感知优化

作者利用几何和物理约束进行场景感知优化，以改善生成结果。在整个优化过程中，该方法确保生成的姿势不会出现偏差，同时鼓励与场景接触，并约束身体以避免与场景相互穿透。

给定三维场景S和生成的SMPL-X参数后，优化损失为：

其中，鼓励身体顶点与场景接触；是基于符号距离的碰撞项；是相比现有工作额外引入的交互二分面（IBS）损失，其为取样于场景和人体之间的等距点集合；是一个正则因子，用于惩罚偏离初始化的参数。

多人场景交互（MHSI）

在现实世界的场景中，很多情况下并非只有一个人与场景交互，而是多人以独立或关联的方式进行交互。

然而，由于缺乏MHSI数据集，现有方法通常需要额外的人工努力，无法以可控和自动的方式处理这项任务。

为此，作者仅利用现有的单人数据集，为多人生成方向提出了一种简单而有效的策略。

给定多人相关的文本描述后，作者首先将其解析为多个局部场景图和交互动作，并定义候选集为，其中l为人数。

对于候选集中的每一项，首先将其与场景和对应全局场景图一起输入Narrator，然后执行优化过程。

为了处理人与人之间的碰撞，在优化过程中额外引入了损失，其中为人与人符号距离。

然后，当优化损失低于根据实验经验确定的阈值时，接受这一生成结果，同时通过添加人类节点更新；否则认为生成结果不可信，并通过屏蔽对应的物体节点来更新。

值得注意的是，这种更新方式建立了每一代结果与前一代结果之间的关系，避免了一定程度的拥挤，并且与简单的多次生成相比空间分布更合理和交互更逼真。

以上过程可以表述为：

由于目前现存的方法无法直接从文本描述中自然可控地生成人与场景交互，作者将PiGraph [1]、POSA [2]、COINS [3] 合理扩展为适用于文本描述的方式，并使用相同的数据集训练它们的官方模型，修改后的方法定义为PiGraph-Text、POSA-Text和COINS-Text。