方案详情
技术架构
模组/开发板
型号清单
基于AGX Thor的机器人视觉方案

基于AGX Thor的机器人视觉方案

端侧具身智能 | 多模态 VLA | 多视角视觉 | Isaac GR00T 全流程开发

发布时间:2026-09-22 175
方案咨询
方案详情

本方案基于宇树 H2 Plus 人形机器人与 NVIDIA Jetson AGX Thor 构建,融合 Isaac GR00T 开放式机器人开发平台,采用“头部双目 + 手部单目”的多视角视觉架构,实现远场环境感知与近场精细操作的协同。通过高性能视觉采集、数据传输与实时计算,为人形机器人提供稳定可靠的视觉输入,支撑感知、理解、抓取及 VLA 等智能应用。

NVIDIA 官方参考设计将 H2 Plus 机器人本体、Jetson Thor 计算平台以及 Isaac GR00T 软件和模型整合为统一的人形机器人开发平台,覆盖数据采集、训练、仿真、评估及部署等开发流程。

通过远场与近场视觉的组合,使机器人能够同时获得环境级视觉信息和操作级视觉信息。NVIDIA 官方资料也将头部 stereo camera 与 wrist cameras 列为该参考设计的多视角感知组成部分。

1. NVIDIA Jetson AGX Thor

Jetson AGX Thor 作为机器人端核心 AI 计算平台,负责多路传感器数据处理、AI 推理及机器人实时计算。

Thor 基于 NVIDIA Blackwell 架构,可为人形机器人提供高性能、低延迟的本地 AI 推理能力。NVIDIA 官方参考设计采用 Jetson AGX Thor T5000 作为 onboard compute,用于实时传感器处理及机器人推理控制。

考虑到原生 Thor 开发套件的相机接口无法直接满足多路机器人视觉采集需求,森云智能针对该参考设计开发专用相机转接板,完成相机接口扩展与平台适配,使 Thor 可直接连接 8 路相机,为头部双目、手部单目等多视角视觉系统提供统一的硬件接入能力。

2. NVIDIA Isaac GR00T

Isaac GR00T 提供面向通用人形机器人的开放式软件与模型体系,覆盖机器人基础模型、数据管线、仿真、训练、评估以及部署等环节。

GR00T 模型可以接收包括视觉、语言和机器人本体状态在内的多模态输入,并输出用于机器人动作执行的控制信息,从而连接机器人“感知—理解—决策—执行”流程。

3. 视觉数据与 AI 协同

前端多路相机采集机器人所处环境及操作区域的视觉信息,经高速视觉接口传输至 Thor 平台进行实时处理,再与 Isaac GR00T 的 AI 模型及机器人状态信息进行融合,为机器人任务决策和动作执行提供视觉基础。

整体形成:

视觉采集 → 数据处理 → AI理解 → 任务决策 → 动作执行的完整技术链路。

技术架构


2102270642300776450.png


模组/开发板
型号清单