NVIDIA SOMA重定向器适应人类动作用于类人机器人
NVIDIA推出了开源的SOMA重定向器,这是一个旨在将人类动作适应于类人机器人的独特比例和关节结构的工具。该工具基于共享的SOMA骨架表示,允许开发者配置机器人、优化动作输出,并处理运动数据以供下游训练和控制系统使用。
SOMA重定向器的工作原理
SOMA重定向器处理人类运动数据,例如Biovision Hierarchy (BVH) 动画,并将其转换为机器人关节轨迹。该管道包括对运动目标进行缩放以匹配机器人比例,使用NVIDIA Warp解决逆运动学 (IK),并应用后处理修正。输出为一个CSV文件,包含机器人的根位置、方向和每个动画帧的关节角度。这些数据可用于构建用于策略训练的运动库。
人类运动来源
开发者可以从各种平台获取人类动作,包括:
- 动作捕捉数据集: BONES-SEED提供人类动作捕捉数据。
- 视频重建: GEM-X使用SOMA身体模型从视频中重建 3D 人类动作。
- 生成模型: Kimodo和ARDY等工具基于文本和姿势约束生成符合SOMA骨架的人类运动序列,输出兼容的数据。
为不同机器人适应动作
SOMA重定向器 v0.2 发布包括五个类人机器人的配置和参考结果:Unitree G1、Unitree H2、Booster T1、AgiBot X2 Ultra 和 AgiBot A3T3。开发者可以使用这些示例探索重定向工作流,并将其结果与提供的参考进行比较。例如,前进行走动作可以被重定向到Unitree G1机器人,结果动画与人类源动作一起显示,以便进行检查和优化。
优化工具
机器人配置器允许开发者对齐人类和机器人参考姿势,调整缩放,并将骨架映射到机器人身体部位。此外,IK权重优化器可在机器人不能同时匹配所有人类目标时调节优先级,以实现更平滑的动作。这些工具有助于优化动作输出,确保机器人运动准确且逼真。
应用和下一步
重定向的轨迹可以集成到仿真工作流中,如SONIC和ProtoMotions,以评估平衡、接触和跟踪准确性。鼓励开发者探索SOMA重定向器库,以获取安装说明、交互式示例以及配置新机器人或优化现有设置的指南。