AI大模型与机器人融合后,会发生什么?

来源: 芯闻路1号 作者:程文智 2024-02-02 16:22:26
相关专题
#水下机器人产业链

近几年,机器人出现在了越来越多的应用场景中,物流仓库、码头、家庭、工厂等等到处都可以见到它们的身影。特别是移动机器人(AGV/AMR)增长最为迅速,比如去年11月时,亚马逊就对外宣布,已经在全球仓库和配送网络中部署了超过75万台机器人,其中大多数为机械臂和轮式机器人。而这个数字在2017年时,仅为4.5万,可见增速之快。


这从新战略移动机器人产业研究所的统计也可以看出,该机构初步测算,预计2023年中国移动机器人销售规模约为220亿,同比增长18.9%;销售数量约为115000台,同比增长23.7%。  

图:2015年~2023年中国移动机器人销售规模与销售数量(来源:CMR产业联盟)

 

大模型催化机器人产业变革

 

当前,机器人产业蓬勃发展,正极大地改变着人类的生产和生活方式,为经济社会发展注入强劲动力。随着5G、人工智能、新材料等技术的发展,为机器人产业提供了新的发展机遇。特别是OpenAI的ChatGPT大模型出现后,引起了各行各业的变化,机器人产业也不例外。


以前,机器人要完成一个任务,需要工程师编写代码,然后执行,以完成动作任务,整个过程耗时长,且复杂。任务从描述到分解,再到动作生成,一个简单的任务可能需要数十人的团队花费几个月时间。而有了大模型,可以大大简化这一过程,大幅减少耗时和费用。


可以说,深度学习和神经网络技术的进步已经使机器人更加智能化,具备更高水平的感知、学习和适应能力,使得它们能够自主执行更为复杂的任务。


机器学习算法则允许机器人从经验中学习,使它们能够适应各种情况和环境。这一进步不仅会提高机器人的效率,而且还能提高决策时的准确性,将为机器人在复杂环境中执行任务提供更大的灵活性和精准度。


而要想这些功能和技术能够更好地实现,关键在于控制芯片,目前的控制芯片主要有张量处理器(TPU)、FPGA、GPU等。供应商有AMD、英特尔、特斯拉、地平线、NVIDIA等。特别是NVIDIA,其Jetson平台能够为AI机器人的开发和部署提供助力。据公开信息显示,该平台已经被超过120万名开发人员和10,000名客户及合作伙伴所使用,这些合作伙伴包括波士顿动力公司、Collaborative Robotics、Covariant、Sanctuary AI、宇树科技等。

一般来说,在现实世界中,制造机器人需要从头开始创建数据集,涉及到采集和注释海量真实图像等,这一过程耗时又费钱,存在人力协调方面的挑战,而且会减缓部署速度。因此,开发人员转向了合成数据生成 (SDG)、预训练 AI 模型、迁移学习和机器人仿真这几种方式。


比如,开发者可以通过NVIDIA提供的机器人仿真应用平台Isaac Sim,来创建虚拟环境和生成合成数据。更进一步,还可以使用Isaac Sim Replicator,其为建立在可扩展的 Omniverse 平台上的高度可扩展 SDK,可生成大规模的逼真合成数据,来引导和提高现有深度学习感知模型的性能。


选择好合适的模型后,就可以进一步训练和微调出更为准确的 AI 模型了,这也是 NVIDIA TAO 工具套件的用武之地。NVIDIA TAO 是一个框架,可使用自定义数据训练、调整和优化(TAO: Train, Adapt, and Optimize)计算机视觉 (CV) AI 模型和对话式 AI 模型,所需时间非常少,也无需拥有大型训练数据集或 AI 专业知识。


也就是说,机器人系统需要云计算和边缘计算两个数据库,在云端,首先训练泛化能力强的大模型,再针对具体环境输入相应的数据库进行专门训练。比如在厨房场景,就需要了解各种菜谱、菜品、菜刀、锅的识别等,使机器人在专门的场景中能够像一个成长了的孩子那样快速适应。


然后,将训练好的模型放入机器人的控制器当中,通过在机器人上反复训练,逐渐优化模型。理论上,只需要少量机器人在特定场景中训练,就能够快速熟悉和掌握所需要的技能。


从目前成功的案例方面来看,机器人一般是通过云端和边缘处理的模型交互,实现动作数据的迭代与更新。这一过程再现了机器人“大脑”(控制器)的决策大模型的执行力,从基础能力到代码生成的过程。随着多模态技术的发展,机器人“大脑”的处理能力显著提升,能够统一处理语言、视觉,以及动作等各种模态。


据谷歌去年发布的论文显示,多模态数据库是未来的关键,特别是他们将动作数据向量化,便于大模型的理解和处理。这一进步预示着机器人“大脑”完善的巨大潜力,是该领域的一个重要里程碑。通过云、边缘和端的统一,实现了全局的泛化处理。


也就是说,机器人技术未来演进的方向,核心关键是控制芯片的发展、多模态处理能力的提升,以及云端和边缘计算的融合。
 

小  结


将生成式AI应用于机器人,将会对机器人的发展和部署产生革命性的影响。我们可以看到机器人出现在了越来越多的应用场景中,特别是现在受到广泛关注的人形机器人,玩家越来越多,产品类型也越来越丰富。比如,美国拥有波士顿动力、特斯拉、Agility等知名企业;日本有软银机器人;挪威有1X等企业;中国的人形机器人企业有优必选、达闼、傅利叶、小米、宇树科技、开普勒等,都推出了具有自主知识产权的人形机器人产品。

0
收藏
0