©PaperWeekly 原创 · 作者 | 徐晨鑫
单位 | 上海交通大学 & 新加坡国立大学
研究方向 | 多智能体轨迹预测，图神经网络
▲ 图1. 多场景下的轨迹的等变性和交互关系的不变性示例 预测网络能否对外部欧式变换有理论鲁棒性，并且能实现精准，通用和轻量化的预测？来自上海交通大学，新加坡国际大学以及上海人工智能实验室的研究者提出了一种多智能体轨迹预测网络 EqMotion，通过网络结构设计，首次实现了理论等变性的轨迹预测，同时网络能够进行智能体间的关系推理，并且推理的关系理论上满足不变性。
这种理论上的等变/不变性能够使得网络能够对于各类欧式变换理论鲁棒，同时网络结构嵌入了更多的通用的约束信息，使得网络更加的紧凑，降低了网络的学习难度最终能够实现更准确的预测。 在四个不同的轨迹预测场景下验证了 EqMotion，分别为物理粒子轨迹，化学分子轨迹，基于骨架的 3D 人体轨迹，以及行人轨迹，均取得了 SOTA 的预测性能，降低了 24.0/30.1/8.6/9.2% 的预测误差。同时 EqMotion 有着更少的模型参数，只有前人模型不到 30% 的参数量，以及更高效的数据利用能力，仅需 30% 的数据就可以媲美用全数据的前人模型！
EqMotion: Equivariant Multi-agent Motion Prediction with Invariant Interaction Reasoning 论文链接：
https://arxiv.org/abs/2303.10876 项目地址：
https://github.com/MediaBrain-SJTU/EqMotion
如何准确的预测未来一直是人类梦寐以求的能力和技术。作为预测未来的技术之一，多智能体轨迹预测是根据多个相互影响的智能体的历史轨迹，推理预测他们的未来轨迹，在物理仿真，自动驾驶，人机交互等领域均有着广泛的应用。在过去几年中，涌现了许许多多的多智能体轨迹预测方法。 然而，现有的方法存在着欧式变换方面的问题，即对观测轨迹进行了欧式变换后（平移，旋转，对称），预测的结果可能和先前的完全不同，存在着不一致性。这种不一致性导致参考坐标系的变化或者摄像头位姿的变化可能就会导致模型的预测结果变差，造成鲁棒性问题。 虽然用欧式变换进行数据增广一定程度上可以解决此类问题，但是仍然不能保证网络对欧式变换稳定和鲁棒，并且增加了网络的学习负担。那么，是不是可以设计一个方法，将欧式变换的准则“先天性”地加入到模型网络中，而不是通过“后天性”的训练来得到呢？
因此，针对上述问题，本工作提出了 EqMotion， 首次 将轨迹等变性/交互关系不变性设计嵌入到网络结构中，使得模型理论上满足轨迹的等变性和交互关系的不变性，得到一个有着“先天优势”的模型，降低了学习的难度，最终有着更优异的预测性能。
轨迹的等变性 ，指观测轨迹进行了欧式变换（平移、旋转、对称）后，预测的轨迹需要严格地进行对应的欧式变换；交互关系的不变性 ，指智能体交互的模式不会随着观测轨迹的欧式变换而改变。图 1 给出了多场景下等变性/不变性的示例，例如，在物理粒子轨迹中，粒子未来轨迹会随着观测轨迹的欧式变换而相应的发生变换，而粒子之间的连接关系，弹簧和轻杆，并不会随着欧式变换而改变。
方法概览
EqMotion 的核心思想是对于每个智能体采用两种特征：几何特征和模式特征，并且通过几何特征学习和模式特征学习保证几何特征的等变性和模式特征的不变性, 同时建模时空关联来增强特征的表达能力。如图 2 所示，EqMotion 网络主要由五个模块组成：1）特征初始化；2）不变性关系推理；3）等变几何特征学习；4）不变模式特征学习；5）等变预测输出。
其中，特征初始化（1）使用特征初始化层得到初始的几何特征和初始的模式特征。不变性关系推理（2）根据初始的几何特征和初始的模式特征推理得到任意两两智能体间的交互关系类别。等变几何特征学习（3）使用等变的几何特征学习层，用推理得到的交互关系以及现有的几何特征和模式特征对几何特征进行更新学习。 不变模式特征学习（4）使用不变的模式特征学习层用现有的几何特征和模式特征对模式特征进行更新学习。步骤（3）和步骤（4）会迭代 特征初始化 ： 不同于通常的轨迹预测方法只计算一种特征，我们对每个智能体轨迹引入了两种不同的特征：几何特征和模式特征。其中，对于智能体 i，几何特征 由 个坐标点组成，这使得它可以被欧式变换操作，为等变性的结构设计提供了前提。 模式特征 是一个 D 维的向量。我们用线性层进行几何特征的初始化，保证其对欧式变换的等变性。同时采用轨迹的速度值以及速度间的相对夹角进行模式特征的初始化，保证其对欧式变换的不变性。几何特征记录了对欧式变换敏感的轨迹信息，如绝对空间位置等，模式特征记录了欧式变换无关的轨迹信息，如速度大小等。 不变关系推理 ： 在许多场景中，智能体间的关系是隐式的并且难以获得，因此我们需要推理智能体间的关系，从而能够获得更加精准的预测。我们采用了不变的类信息传递（message-passing）机制，将每个智能体视为点（node），智能体的交互视作边（edge），将初始特征进行交互，由边的特征通过 softmax 函数得到智能体交互类别 ， 近似于种类分布，K 为交互类别的数量。 等变几何特征学习 ： 等变几何特征学习旨在挖掘智能体的时空关联性，得到更加丰富和有表达力的几何特征，进行更好的预测。等变几何特征学习含有 3 个等变的操作，分别是：i）等变的智能体内部 attention，用于建模智能体的时间关联；ii）等变的智能体间 aggregation，用于建模智能体间的空间关联；和 iii）等变的非线性函数。由于前两步均为线性的操作，等变非线性函数引入了非线性操作，进一步加强网络的表达能力和学习能力。
不变模式特征学习 ： 不变几何特征学习旨在获得更具有表达力的模式特征，从而更好的辅助几何特征学习。类似于不变关系推理，我们采用了不变的消息传递机制对模式特征进行更新。
等变预测输出 ： 等变的预测输出将最终的几何特征转换为预测轨迹，我们使用了线性操作作为等变输出层。
我们将设计的操作进行了理论分析，最终我们得到整体轨迹预测网络 EqMotion 满足等变性：轨迹预测网络预测的轨迹
4.1 轨迹预测结果：在四个完全不同的任务上均取得sota表现！ 我们在四个完全不同的场景中进行了实验验证：物理粒子轨迹（N-body），化学分子轨迹（MD17），基于骨架的 3D 人体轨迹（Human3.6M），以及行人轨迹（ETH-UCY），结果发现，我们的方法均能取得了最优的预测效果，同时我们的方法无需针对不同场景添加复杂的设计和先验，例如我们不需要使用 3D 人体的骨架信息，也无需针对骨架进行专门的额外设计，就能超越先前为该任务特殊设计的模型，具有非常高的通用性！
在此，我们展示基于骨架的 3D 人体轨迹预测以及行人轨迹预测的实验结果。其中，我们在 Human3.6M 数据集上进行了基于骨架的 3D 人体轨迹预测实验，在短期和长期的预测中取得了 SOTA 的性能，并且有着大幅的性能提升，降低了 8.6% 的误差！
我们在 ETH-UCY 数据集上进行了行人轨迹预测实验，在决定式和随机式的预测中均取得了 SOTA 的性能, 同样有着显著的性能提升，降低了 9.2% 的误差！
4.2 关系推理结果：100%一致性的关系推理！
对于关系推理，我们在物理粒子轨迹数据集上进行了关系推理的实验验证。数据集含有两种场景：弹簧以及电荷。弹簧场景中，粒子间随机地进行了弹簧链接，电荷场景中，粒子随机地带电荷或不带电，关系推理旨在根据粒子的动态轨迹判断粒子间是否有弹簧链接或者电荷作用力。
实验结果如下所示，我们的方法获得了最高的准确率，甚至接近在训练中引入粒子关系类别进行有监督地进行训练的方式！同时，也实现了对于欧式变换的关系推理结果的稳定性，对于任何的欧式变换，达到 100% consistency 的稳定关系推理！
4 .3 模型分析：更少的模型参数和更高效的数据效率！ 我们在基于骨架的 3D 人体轨迹预测任务上进行了模型的参数量分析以及数据高效性分析。首先，EqMotion 同时有着轻量级的模型参数量以及优异的预测性能, 至少减少了 70% 的参数量，实现了性能和轻量级的“我全都要”！
同时，EqMotion 也有着高效的数据效率，得益与等变性和不变性的约束设计，使得 EqMotion 天然拥有着更多的“预测知识”，在实验中，EqMotion 仅用 30% 的训练数据便可以匹敌先前的 SOTA 模型！甚至仅用 5% 的数据便可匹敌 Traj-GCN 和 MSR-GCN 的 baseline!
总结与展望
本工作提出了首个利用网络结构设计实现理论等变性的轨迹预测和不变性的关系推理方法 EqMotion。EqMotion 在各类不同场景中均有着通用性以及高效性。同时，EqMotion 有着轻量级的模型参数以及高效的数据利用能力。我们希望这种理论等变性的引入对轨迹预测领域有所启发，同时也期待更多，更通用，更高效的的等变性/不变性的方法设计，进一步增加预测准确性。 如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读 ，也可以是学术热点剖析 、科研心得 或竞赛经验讲解 等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品 ，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬 ，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱： [email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02 ）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」 也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」 订阅我们的专栏吧
