所有具有移动能力的事物都将被打造成机器人。借助大模型和海量数据,未来机器人将具备更高的智能水平,能够在不断变化的环境中灵活应对各种挑战,而且还能够理解物理世界,并与物理世界互动。

为了实现这样的目标,业界正在努力开发各种新的硬件、软件和大模型。9月29日,在韩国首尔机器人学习大会(CoRL)上,NVIDIA宣布了多项开源模型和仿真库,包括物理引擎Newton、Isaac GR00T N1.6,以及Cosmos世界基础模型,为全球研究机构和企业提供了一个统一的加速开发平台。这些技术不仅缩短了机器人技能的迭代周期,还实现了仿真环境与现实世界之间的安全迁移,推动了机器人技术平民化。
开源物理引擎Newton:仿真复杂动作的基石
机器人在仿真环境中的学习速度更快、安全性更高,但人形机器人关节结构、平衡控制和动作模式非常复杂,对现有物理引擎的性能提出了严峻挑战。全球超过 25 万机器人开发者亟需精准的物理仿真技术,以确保在仿真环境中教会机器人技能,同时安全可靠地迁移到现实世界。
NVIDIA联合Google DeepMind和Disney Research开发的开源物理引擎Newton,基于NVIDIA Warp和OpenUSD框架构建,该引擎由Linux Foundation管理,现在已经可以通过NVIDIA Isaac Lab获取使用。
Newton的灵活设计和兼容多种物理求解器的能力,让开发者能够对机器人在雪地行走、操控杯子或抓取水果等高难度场景进行仿真,并能够成功将这些动作部署到现实场景中。
已采用Newton的机构包括苏黎世联邦理工学院、慕尼黑工业大学、北京大学,以及机器人公司光轮智能和仿真引擎公司Style3D。
Newton的开源不仅加速了学术研究,还吸引了商业伙伴,如Agility Robotics和Boston Dynamics,他们正利用Isaac Lab中的Newton训练Atlas机器人的抓取技能。
Isaac GR00T N1.6:赋予机器人人类级推理能力
为了执行类似人类的任务,机器人必须理解模糊指令并应对未知场景。NVIDIA 开源模型 Isaac GR00T N1.6 集成了NVIDIA一款专为物理AI设计的推理视觉语言模型Cosmos Reason,它可作为机器人的“深度思考大脑”。该模型利用已有知识和常识,将抽象指令转化为逐步执行计划,帮助机器人应对未见过的情景,例如在陌生环境中推开重门或同时操控躯干与手臂。
Isaac GR00T N1.6 即将在 Hugging Face 平台上线。开发者可以利用Hugging Face平台上的开源NVIDIA物理AI数据集,对NVIDIA Isaac GR00T N系列模型进行后训练。该数据集包含数千条合成及来自真实世界的轨迹数据,下载量已超 480 万次。
Cosmos 世界基础模型:合成数据驱动训练革命
训练机器人需要大量高质量数据,但现实数据采集成本高昂且效率低下。NVIDIA开源Cosmos 世界基础模型平台通过文本、图像和视频提示生成多样化合成数据,大幅加速物理 AI 训练。该平台包含三大核心模型:Cosmos Predict(未来状态生成)、Cosmos Transfer(逼真世界增强)和 Cosmos Reason(物理推理),总下载量已超 300 万次。
即将推出的 Cosmos Predict 2.5 支持生成长达 30 秒的多视角视频,而 Cosmos Transfer 2.5 模型大小缩减至前代 1/3.5,生成效率显著提升。这些模型可创建虚拟厨房、交通场景等环境,用于训练机器人在多样情境中泛化技能。NVIDIA 研究团队强调,合成数据有望解决机器人领域的数据缺乏问题——通过生成式 AI 打破数据匮乏的僵局,推动人形机器人技术普及。
生态合作与研究进展
全球产业与学术机构正快速拥抱 NVIDIA 的机器人技术。Agility Robotics、Boston Dynamics、Disney Research 等公司采用 Isaac 与 Omniverse 技术开发下一代机器人。在学术领域,斯坦福大学、苏黎世联邦理工学院和新加坡国立大学利用 NVIDIA 加速计算推进机器人研究,近半数 CoRL 论文引用了 NVIDIA 的 GPU 或仿真框架。
NVIDIA 同时推出了专为高性能工作负载设计的 AI 基础设施,包括 GB200 NVL72 机架系统、RTX PRO 服务器和 Jetson Thor,形成从云端训练到边缘部署的完整解决方案。RAI Institute 等组织已部署 RTX PRO 服务器,以统一架构支持训练、合成数据生成和仿真工作流。
未来展望
NVIDIA 的开源策略正加速物理 AI 的民主化。通过 Newton、Isaac GR00T 和 Cosmos 的协同,开发者能够以更低成本、更高效率构建适应现实世界的智能机器人。随着数字孪生与生成式 AI 的融合,机器人有望在虚拟“矩阵”中掌握多样技能,最终安全地融入人类生活。
全部评论