对于不同的机器人，我们有不同的期望。其中最主要的期望有两个，一是希望机器人可以在不同的环境中运行，二是希望机器人可以具备更多数量的技能。
对工业机械臂来说，人们只希望它能在装配流水线上正常工作，精准执行抓取、放置等简单任务；对于智能汽车，人们希望它在各种交通条件下都能正常运行，例如转向、加速、刹车和换道等；而对于人形机器人，人们希望它们像人类一样，拥有许多的技能，能运行在各种环境中。而且，目前大多数人形机器人公司的目标就是打造通用人形机器人。
那么，我们该如何构建这样的通用人形机器人，满足人们对它的期待呢？
实现通用人形机器人面临的三大挑战
制造一个像人类一样思考、行动，未来可以走进工厂、医院，甚至进入家庭，彻底改变我们生活方式的通用人形机器人是人类对智能的终极梦想，也是机器人学和人工智能领域的终极挑战之一。目前，我们距离实现这个目标还有很长的路要走，主要面临三大核心挑战，即硬件、智能和计算架构，以及系统集成和成本问题。
硬件是机器人与物理世界交互的基础，目前的技术瓶颈非常明显。比如目前的电机与人类肌肉相比，在力量、速度、精度和能量效率的结合上仍有巨大差距；高性能的执行器通常体积庞大且沉重；电池技术也是瓶颈之一；感知系统虽然有高清摄像头（视觉）、激光雷达（空间）、麦克风（听觉）等，但要将这些信息像人脑一样高效、无缝地融合起来，形成对复杂环境的完整认知，仍然有挑战。
智能方面，人形机器人除了精巧的躯壳，还需要强大的AI内核，而目前人形机器人的AI面临三大挑战，一是数据缺乏；二是训练难，目前没有统一的机器人大模型，每个团队都在探索，导致整体进展缓慢；三是扩展性瓶颈，随着AI模型规模和复杂性的不断增长，它们对计算资源的需求达到了前所未有的程度，这往往超出了单颗GPU的处理能力。
计算架构方面，机器人要实现真正的通用智能，仅有强大的AI模型和硬件还不够，还需要一个高效的“神经系统”，也就是计算架构，来协同云端大脑与边缘机器人本体的运作。因为对一个要在物理世界安全运行的机器人来说，任何从“决策”到“动作”之间的微小延迟，都可能在与人协作，或应对突发状况时造成灾难性后果。因此，建立一个强大、可靠、超低延迟的实时控制框架，实现对机器人运动的精准和低延迟控制，是确保机器人安全与稳定运行的关键。那么，如何才能做到精准与低延迟控制呢？在端侧加入实时推理能力就是一种应对方案，而NVIDIA Jetson Thor就是为此而生。
目前，全球科学家和工程师正在持续进行探索和创新。虽然挑战重重，但仍在继续向前推进，比如NVIDIA就在通用人形机器人方面做出了很多努力，其近期推出的针对通用人形机器人应用的新一代机器人计算机——NVIDIA Jetson AGX Thor™开发者套件和Jetson T5000™量产级模组就是最好的证明。这颗专为下一代通用人形机器人及边缘端计算而设计的强大“大脑”芯片，旨在为全球数百万机器人开发者赋能，为制造、物流、医疗、农业乃至人形机器人等前沿领域，提供前所未有的端侧实时推理能力。
Jetson Thor的底气源于其搭载的NVIDIA最新Blackwell GPU架构，并配备了高达128GB的LPDDR5X统一内存。这一强大的硬件组合，使其AI算力飙升至惊人的2070 FP4 TFLOPS，是
与 NVIDIA Jetson AGX Orin 相比，其 AI 计算性能提高至 7.5 倍，能效提高至 3.5 倍。
这意味着在同等功耗下能释放更强大的性能。
此外，在CPU方面，Jetson Thor搭载了性能强劲的14核Arm® Neoverse®-V3AE CPU，CPU性能相较上一代提升至3.1倍。而在数据吞吐能力上，其I/O带宽更是达到了Orin的10倍之多，配备了4路25GbE的高速网络接口，足以应对多传感器融合带来的海量数据流挑战。
这一系列高性能参数，都集成在一个可在40瓦至130瓦之间灵活配置功耗的尺寸仅为100mmX87mm的紧凑模组中，完美契合了机器人领域对性能、功耗和体积的严苛要求。
核心技术创新：为生成式AI与多任务处理而生
Jetson Thor的强大不仅仅体现在原始算力的提升，更在于其架构中集成的多项开创性技术，这些技术专为运行现代复杂的AI工作负载而设计。比如其新一代Transformer引擎与原生FP4支持、多实例GPU技术、全面的加速器套件等。
新一代Transformer引擎与原生FP4支持：基于Blackwell架构，Jetson Thor引入了原生的FP4量化技术。配合新一代Transformer引擎，它可以在FP4和FP8精度之间动态切换，显著加速生成式AI模型中的预填充（pre-fill）和解码（decoding）过程。这意味着，无论是大型语言模型（LLM）还是视觉语言模型（VLM），Jetson Thor都能在边缘端实现更快的响应速度和更高的吞吐量。
多实例GPU（MIG）技术：Jetson Thor引入了MIG技术。这项技术允许将单颗GPU虚拟化为多个相互隔离的独立实例，每个实例都拥有专属的计算和内存资源。对于人形机器人而言，这意味着开发者可以将一个GPU实例专门分配给对时间要求极为严苛的实时控制任务，确保其性能的绝对稳定和可预测性；同时，将其他实例用于并行处理感知、规划和AI推理等任务。这种硬件层面的资源隔离，彻底解决了多任务并发时的资源抢占问题，极大地提升了机器人的整体稳定性和安全性。
全面的加速器套件：除了强大的CPU和GPU核心，Jetson Thor还集成了一整套专用硬件加速器，包括第三代可编程视觉加速器（PVA）、双视频编码器和解码器、以及光流加速器等。这些专用引擎能够从主处理器上卸载特定任务，进一步提升整体系统效率和响应速度。
此外，除了这些硬件方面的创新，NVIDIA在软件方面也做了很多的创新。例如Jetson Thor可运行NVIDIA JetPack™ 7软件开发套件，并完全兼容NVIDIA从云到端的全栈式AI软件，包括用于机器人开发的NVIDIA Isaac™、用于视觉AI的NVIDIA Metropolis™以及用于实时传感器处理的NVIDIA Holoscan™等。
连接虚拟与现实：端到端生态闭环
在通用人形机器人领域，NVIDIA提供的远不止一块芯片，而是一套完整的、从云端到终端的解决方案。而NVIDIA Jetson Thor这个为人形机器人打造的卓越平台，只是NVIDIA用于加速物理AI的三台计算机解决方案的一部分。
在被NVIDIA概括为“三台计算机”的开发范式中，NVIDIA DGX，现在也被称为AI工厂计算机，主要用于训练，开发者可以利用DGX训练和微调如NVIDIA Isaac™ GR00T这样强大的人形机器人基础模型；NVIDIA Omniverse主要用于生成海量的合成数据和物理AI仿真，基于NVIDIA Omniverse构建的Isaac Sim和Isaac Lab等平台，提供了物理精准的仿真环境，开发者可以在此安全、高效地进行强化学习训练，并生成海量的合成数据，这对于解决真实世界数据稀缺的瓶颈至关重要；而NVIDIA Jetson Thor则是机器人计算机，经过云端训练和虚拟世界验证后，成熟的AI模型最终被部署到机器人本体的“大脑”——Jetson Thor上，赋予其在物理世界中执行任务的能力。
值得一提的是，NVIDIA最新推出的Cosmos世界基础模型平台，专为开发者构建工业级的训练数据解决方案，用于应对机器人训练数据缺乏的问题。该基础模型平台包含世界生成模型和世界理解模型。其所有源代码，均可在GitHub的Apache 2.0许可证中提供，因此，它可以免费用于商业用途。
Cosmos世界基础模型平台包括Cosmos Predict、Cosmos Transfer和Cosmos Reason三大主要模型。其中，Cosmos Predict根据初始观察结果生成真实的训练数据，使用文本提示，或动作触发器创建不同的动作变化。它还支持多视图输出，从单帧提供不同的视角，特别适用辅助驾驶车辆和多摄像机机器人。
Cosmos Transfer可以接收3D渲染图，甚至真实世界的视频，并对其外观进行多样化调整，改变材质和光照、天气和环境，用于训练能够跨领域泛化，同时保持物理准确性的模型。
生成式视频随后会由Cosmos Reason处理，这是一个视觉语言模型，能够筛选低质量样本，对场景进行标注，并支持粗略训练，它的时空推理能力可实现安全、高效的决策。它也是视觉语言行动模型的绝佳主干模型。
NVIDIA提供一系列从云到端的完整闭环硬件和软件，让机器人的开发不再是孤立的硬件集成，而是一个系统化的、可迭代、可扩展的工程。像GR00T N1.5这样先进的基础模型，它让机器人能够理解自然语言指令，并通过观察人类演示来模仿动作。当GR00T N1.5模型部署在Jetson Thor上时，机器人便获得了从“听到”到“看懂”再到“执行”的闭环能力，真正迈向通用化。
结语
未来，所有具有移动能力的事物都将被打造成机器人。我们有理由相信，一个由更智能、更强大、更具适应性的人形机器人所构成的未来，正加速向我们走来。
全部评论