Redian新闻
>
Meta用头显实现全身动作追踪!没有腿部信息,也可准确估计姿态

Meta用头显实现全身动作追踪!没有腿部信息,也可准确估计姿态

公众号新闻
西风 发自 凹非寺
量子位 | 公众号 QbitAI

Meta用头显整新活了!

这不,就在最新被SIGGRAPH 2023顶会收录的研究里,研究人员展示:

仅凭Quest传感器和周围物体环境的交互,就可以捕捉一个人的全身运动!

即使是和复杂环境进行交互也不在话下。

输入的时候还是这样婶儿的,只有三个坐标架(没有摄像头):

加上虚拟角色后,胳膊腿的动作都有了(绿点是环境高度):

看到腿部的动作效果,网友直接裂开:

这腿部的估计把我惊呆了!

还没完!在没有任何关于下半身信息的情况下,它还可以踩箱子,跨过障碍物,精准跟踪人体动作。

通过物理模拟,无需任何后期处理,就能够生成效果不错的互动场景:

一个传感器也能行!去掉手柄后,虽然手的动作是随机的,但走起路来也还是有模有样:

网友看完后满脸不可思议:

有没有考虑与Metahuman系统结合,这样用户就可以使用简单的设备在家中创作出包含身体和面部表情完整的数字人动画了!

目前,现有的大多数运动跟踪方法除了脚与地面的接触外,都尽量避免了与环境的交互。

那么,这项研究是怎样利用环境交互进行运动跟踪的呢?

用包含环境交互的数据来训练

我们日常生活中与环境进行交互是不可避免的。

由首尔大学(SNU)和Meta Reality Labs Research的研究人员共同完成的这项工作,通过强化学习展示了如果将传感器与物理模拟和环境观测相结合,即使在高度受限制的环境中,也能复现逼真的全身动作姿态。

要做到这一点,首先需要考虑三种方法,包括:

合成具有交互的动作、从稀疏传感器输入进行运动学跟踪以及基于物理的运动追踪。

本文研究人员使用的策略只需要头显和手柄的姿势作为输入,没有关于下半身的信息,并且没有借助人力来稳定虚拟角色。

该研究中物理模拟可以自动执行跟踪动作姿态所需的各种约束,使其能够实现高质量的交互动作,而不会出现常见的穿透或接触滑动等问题。

并且使用深度强化学习(Deep RL)学习控制策略,用减小模拟的虚拟角色和用户输入之间的差异来使误差最小化。


如上图所示,虚拟的仿真角色具有32个自由度(degrees of freedom)和18个关节,并由关节力矩驱动,环境物体也用一些基本几何形状进行了仿真复制。

真人在与环境物体之间发生接触时,具体时间和位置将会被标记出来,被用作监督信息。

这样将场景观察结果纳入策略中,就可以利用环境进行运动跟踪。

比如说,坐在椅子上会产生椅子的反作用力,从而可以知道要将腿部抬起;当踩在放在地面上的盒子时,也会有盒子的反作用力;还可以通过接触后的反作用力来操纵物体。

有意地与环境产生接触力,有利于跟踪。但另一方面,如果接触会干扰追踪,控制策略也可以避免与环境的接触。

比如在虚拟仿真环境中放置了虚拟盒子。控制策略可以学会通过高度图(绿点)观察周围的场景,并在跟踪人的传感器数据时抬高腿以避开障碍物。

当然要达到这种效果,还需要注意三个关键点:适当的环境观察表示、训练中的接触奖励(不仅仅包括脚部,还包括其他身体部位),以及训练过程中对象位置的随机变化。

研究人员注意到,在没有接触奖励的情况下,成功率会明显降低。在没有场景随机化的情况下,性能也会显著下降。

坐下,起不来

虽然在大多数情况下,这项研究所展示的动作跟踪效果很好,但也有跟踪失败的情况:

对于从地板上起身这样的任务,由于没有使用任何人为力量,该控制策略似乎很难学好这种需要仔细协调接触的行为。

并且,虚拟角色有时会失去平衡,一旦摔倒中断,很可能无法继续爬起来跟踪。

还有一点不得不提,当前的系统需要为每种交互类型训练单独的策略。

研究人员表示:

理想情况是能够学习一个涵盖更广泛动作库的单一跟踪器。这可能需要更复杂的神经网络模型,如专家混合模型,或更长时间的训练和更大规模的数据集。

另一个有前景的方向是将我们的系统扩展到包括动态移动物体的未知场景。在线系统识别可以作为系统的一部分进行结合。

参考链接:
[1]https://arxiv.org/abs/2306.05666(论文地址)

[2]https://twitter.com/awinkler_/status/1673133836585291776

「AIGC+垂直领域社群」

招募中!

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群,一起学习、探索、创新AIGC!

请备注您想加入的垂直领域「教育」或「广告营销」,加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
陈睿回应 B 站停更潮:文章勾人,结论误导;马斯克重成世界首富;偷袭苹果,Meta 发布新 VR 头显 | 极客早知道Meta推出像素级动作追踪模型,简易版在线可玩 | GitHub 1.4K星苹果MR头显即将问世,Meta抢先发布Quest 3|一周硅秘Meta Quest 2 第二代VR头显一体机7.9折+送75元亚马逊礼品卡!重磅!澳洲堕胎或将实现全面合法化!西澳这一全国最严法律迎来改革!小扎抢先库克,官宣新一代VR头显!体积减少40%,手部追踪环消失,3500元起售在洛杉矶想实现全球美食自由?来这就对了,全场5折!神奇了!这个「椅子」没有腿,却比家里的沙发还舒服...晚点独家丨字节跳动服务器芯片负责人创立 RISC-V CPU 公司,估值超 1 亿美元;曹操出行计划八月实现全国盈利特殊人群及特殊部位银屑病,司库奇尤单抗均可实现全面、长期获益BB鸭 | 腾讯上线“暴雨救助平台”;苹果版余额宝存款超100亿美元;特斯拉有望年底实现全自动驾驶;网信办处置涉企虚假不实信息499美元起:Meta抢发新一代混合现实头显Quest 3晨跑---日出而作,日落而息“have legs”是什么意思?可别理解为“有腿”!2万多淘宝客成交破百万!淘宝联盟,如何实现全域人货双增长?什么是充气膜结构?实现传统建筑无法达到的曲线与柔性姿态【装修干货】灰色 歌词或口水硬刚苹果?Meta消费级头显抢先发布,轻薄、舒服还有裸眼交互…价格仅3000真相历史上的5月18日:德国议会召开移民门槛提升, 如何实现全家移居海外? 独家名额等你拿!MDNet、SiamFC、ADNet、CFNet、LSTM(RNN)…你都掌握了吗?一文总结目标追踪必备经典模型(一)​下一代Transformer:RetNet结构可视化及Vision RetNet展望Meta与高通合作,为头显与手机应用优化Llama 2大语言AI模型有意思周报|中国台湾凶宅洗屋师行业兴起;键盘敲击声可能出卖你的全部信息准确估算样本量的妙招,不看后悔!随时随地,追踪每个像素,连遮挡都不怕的「追踪一切」视频算法来了Meta首款消费级MR头显提前发布,有三大看点传言称Meta正与LG电子合作开发高端头显产品;Oculus创始人提出VR头显舒适度新标准ACM MM 2023 | DecenterNet:解决拥挤场景的去中心化人体姿态估计方法Meta的Flamera头显对增强现实有了新的愿景走线马斯克大胆预测:今年晚些时候可实现全自动驾驶美国知名华人企业家用床单自杀身亡?!国税局(IRS)计划在2025年实现全面无纸化目标!无语!内部信息曝光!几万中国人苦等,加拿大这类移民申请需要25年才能完成?!网友:人都不在了...
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。