工程师说 | RZ/V2H MPU提升机器人与自主应用中的AI性能和实时控制

来源: 瑞萨电子 作者:Shingo Kojima 2024-06-14 11:08:27
相关专题
#人形机器人

 

深入探索RZ/V2H MPU的主要特性,了解这款新产品如何提升您的开发。

 

  Shingo Kojima

  Senior Principal Specialist
 

 

如今的视觉AI模型面临着动态的复杂环境,因此,在实时应用中,必须提高能效和速度。

  
为了满足市场需求,瑞萨电子推出了新一代DRP-AI加速器。DRP-AI加速器的能效高达10 TOPS/W,高出传统技术10倍,不仅能够运行此前需要使用GPU的复杂图像AI模型,而且功耗低至与传统嵌入式MPU相当。

 

除了这个AI加速器之外,高端RZ/V2H微处理器(MPU)——还配备了使用动态可配置处理器(DRP)的图像处理加速器、运行频率高达1.8 GHz的四核Linux处理器 Arm® Cortex®-A55、双核800MHz Arm Cortex-R8高速实时处理器以及I/O处理用的子核Arm Cortex-M33,采用异构多处理器配置。

  
7个基于Arm的CPU内核、新一代DRP-AI和DRP的组合,能够立即处理机械控制中的图像识别和AI判断结果,使其成为新一代自主机器人、自主移动机器人、无人机和其他应用的理想AI处理器。阅读本文,详细了解这款新产品的特性。

  

动态可配置处理器(DRP)的更多信息请复制下方链接到浏览器中打开查看:

https://www.renesas.cn/cn/zh/key-technologies/artificial-intelligence/drp

  
新一代AI加速器DRP-AI

RZ/V2M、RZ/V2L和RZ/V2MA中已嵌入瑞萨电子自研的DRP-AI加速器,同时,瑞萨电子也将独创的AI处理器DRP-AI升级到新一代,以便满足新的市场需求。
 

为了大幅提升电源效率,DRP-AI采用了INT8量化技术和硬件支持,以便进行非结构化剪枝,这是传统AI加速器难以实现的,由此实现了高达80 TOPS的推理性能以及10 TOPS/W的电源效率。阅读白皮书,了解更多关于非结构化剪枝的信息。

  
复制下方链接到浏览器中打开查看新一代高能效AI加速器(DRP-AI3)白皮书:

https://www.renesas.cn/cn/zh/document/whp/next-generation-highly-power-efficient-ai-accelerator-drp-ai3-10x-faster-embedded-processing

  
下图1展示了不同RZ/V产品之间的AI推理性能比较。对于常见的CNN类型——Resnet50,在未剪枝时(密集模型),其性能高出RZ/V2L 14倍,而剪枝后则高出45倍。

图1 RZ/V系列AI推理性能(不包括前/后处理)

动态可配置处理器DRP助力OpenCV加速器

早在深度学习问世之前,图像识别和决策应用就用到了各种方法。开源计算机视觉库OpenCV就是其中的一个例子。即使是在AI图像处理已经成为现实的今天,OpenCV仍然是一项非常实用的技术。在合适的情况下,如今可以将视觉AI和OpenCV搭配使用。
 

为了加速AI和各种图像处理算法(例如OpenCV),RZ/V2H MPU的设计采用了与DRP-AI分离的动态可配置处理器,以便为OpenCV加速器提供DRP库,充分发挥它的灵活优势。

 

下方的图2将带有DRP的OpenCV加速器与RZ/V2H四核CPU的性能进行了对比。例如,使用DRP加速后,用于图像边缘检测的Sobel滤波器的速度提高了16倍,从7.6 fps提升到123 fps。

图2 OpenCV加速器性能基准对比

AI异构配置+高速实时控制

尽管高速多核Linux处理器是图像AI的理想之选,但它需要庞大的内存资源,并且难以实现机械控制所需的亚毫秒级实时性能。
 

为了解决这一问题,RZ/V2H采用了四核Cortex-A55来运行Linux程序(包括AI处理在内),并针对需要高速实时性能的应用(例如电机控制),采用了专用的高速实时处理器进行RTOS处理。

  
借助OpenAMP,通过处理器间的通信将这些不同的操作系统相连后,DRP-AI和Linux处理器的决策结果可以由RTOS处理器实时反映在机械控制中。

图3 RZ/V2H框图

具备这些独特特性的RZ/V2H嵌入式AI微处理器已投入量产,而RZ/V2H评估板也已准备就绪,随时可以帮助您开启下一个视觉AI开发项目。

  
了解更多有关RZ/V2H MPU的信息。访问下方链接,探索既可以作为系统模块(SOM)实现开发可扩展性,又可以作为应用驱动型单板计算机(SBC)解决方案实施的视觉检测单板计算机。

  
复制下方链接到浏览器中打开查看视觉检测单板计算机解决方案:

https://www.renesas.cn/cn/zh/applications/industrial/building-automation/visual-detection-single-board-computer

  

瑞萨电子 (TSE: 6723)

科技让生活更轻松,致力于打造更安全、更智能、可持续发展的未来。作为全球微控制器供应商,瑞萨电子融合了在嵌入式处理、模拟、电源及连接方面的专业知识,提供完整的半导体解决方案。成功产品组合加速汽车、工业、基础设施及物联网应用上市,赋能数十亿联网智能设备改善人们的工作和生活方式。

0
收藏
0