跳到主要内容

具身智能

具身智能模块覆盖从示范采集到模型落地的完整流程:先记录机器人真实操作过程,整理成可训练数据,再完成模型训练与推理部署,让机器人能够根据示范学习并执行任务。

当前支持平台
  • Linux x86 版本支持完整具身智能模块。
  • Windows 版本支持数据采集、数据集管理和模型训练。

模块流程

  • 数据采集:完成采集任务管理、设备连接配置和实时操作记录,生成训练需要的数据片段。
  • 数据集管理:整理采集后的数据,完成数据预览、质量评估、云端转换和 Hugging Face 发布。
  • 模型训练:选择转换后的数据产物,配置模型和训练规格,并跟踪训练结果。
  • 推理部署:加载训练后的模型,配置摄像头和机械臂,并在线运行推理任务。

使用建议

  • 数据采集、模型训练和推理部署建议使用一致的摄像头角色和机械臂配置,减少训练与部署阶段的输入差异。
  • 采集任务开始前,应确认机械臂串口、摄像头画面和保存目录均已配置完成。
  • 训练前建议先在数据集管理中预览片段,删除画面缺失、动作中断或质量较差的数据。
  • 模型训练会使用云端资源和账号积分;离线或本地验证场景可优先使用已下载的模型进行推理部署。