100％合成数据实现99.9％抓取成功率，通用具身智能技术公司「跨维智能」完成战略轮融资｜36氪首发

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>公众号

公众号新闻

2024-05-14 09:05

用合成数据代替真实物理数据，是跨维智能提供的解决方案。

文｜周鑫雨

编辑｜邓咏仪

封面来源｜公司官网

36氪获悉，近日通用具身智能技术研发公司“跨维智能”完成战略轮融资，该轮融资由联想创投领投。据了解，资金将主要用于产品研发、团队扩充和市场拓展。

成立于2021年6月，跨维智能主要基于3D生成式AI、多模态大模型和三维成像等视觉感知相关技术，为下游企业客户提供软硬一体的具身智能解决方案。

跨维智能创始人贾奎，同时也是香港中文大学（深圳）的教授，长期从事人工智能、计算机视觉、机器学习、生成式三维建模与学习、三维感知大模型等领域的研究，曾先后于中科院深圳先进技术研究院、香港中文大学、伊利诺伊大学香槟分校先进数字科学研究中心、澳门大学及华南理工大学从事教学和科研工作。

2016年回内地后，贾奎在华南理工大学便选择用新型AI作为攻克三维感知的研究方向。自2018年起，贾奎就在华南理工大学“几何感知与智能”实验室中，尝试以自研的Sim2Real技术为核心，通过物理引擎去合成3D仿真数据——这后来也成了跨维智能的核心技术。

贾奎告诉智能涌现，随着操作对象、环境和任务复杂性逐渐增强，通用具身智能将会经历L1-L5五个阶段。从半结构化场景和特定机器人形态处理特定任务，逐步升级到对任意/未知场景，以自适应的通用机器人形态，完成任意任务。

而稀少的高质量标注数据，是具身智能从训练到落地过程中最大的掣肘。不同于语言模型和图像、视频模型等二维模型的训练，具身智能底层模型的训练，需要海量的在物理世界绝对坐标系下的精确测量数据，数据获取难度、获取成本、标注周期都远超语言模型。

用合成数据代替真实物理数据，是跨维智能提供的高效低成本，且更加真实可靠的解决方案。跨维智能的Sim2Real技术，原理是在物理仿真机器人操作场景中，引入各种与任务相关的真实世界的干扰，再通过渲染、轨迹数据记录、关节数据记录等方式形成海量的精确标注合成数据，并用于具身智能大模型。

具体到落地，Sim2Real技术能够让企业客户无需使用真实3D数据，就可以完成机械臂复杂场景作业的3D视觉模型训练。用基于100%合成数据训练的模型驱动机械臂的柔性操作，可以实现99.9%以上的稳定操作或抓取。

以Sim2Real技术为核心，跨维智能计划了通向通用具身智能的技术发展三阶段：

数据与具身智能仿真引擎DexVerse™，用于数据生成和大模型训练；
基于3D VLA (3D Vision Language Action) 大模型的成像感知套件；
支持AnyGrasp/AnyManipulation（任意抓取/控制）的通用具身智能大模型，在不同行业和场景具有强泛化性。

目前，跨维智能已经将软硬一体的AI技术应用在工业制造领域等场景。2023年5月，跨维智能发布了Xema北极鸥系列相机，并开源了API接口和SDK二次开发软件包，让用户降低二次开发和适配的成本。

同时，基于在硬件技术较为成熟的机械臂和机器人，跨维智能提供以视觉感知为主的具身智能解决方案，并在半导体、汽车、光伏等行业已经落地。

以下是投资人评价：

跨维智能拥有最优秀的Sim2Real和大模型相关技术，是实现高通用性具身智能的核心底座。目前跨维智能依托Sim2Real和相关技术，在具身智能领域拥有深厚产品积累，已打造软硬一体产品矩阵，包含基于3D生成式AI的Sim2Real AI引擎、基于3D VLA大模型的成像感知套件，并且在具身智能领域商业化落地处于领先位置。