分析 丨AI算法愈加复杂,但是机器视觉的开发门槛在降低

来源: 芯查查热点 作者:黄海年 2024-02-18 00:00:00
相关专题
#生成式AI:LLM与算力芯片

重点内容速览:

|  标准模块、系统级模块(SOM)易用性提升

|  单板计算机、开源软件库普及

|  云服务提升开发效率

 

机器视觉系统依赖于机器学习(machine learn)和深度学习(deep learn),尤其是深度学习的重要分支“卷积神经网络”在图像识别领域的应用,使机器视觉能够从原始像素数据中直接学习特征并准确判断。此外,AI大模型近两年受到关注,也可能被引入机器视觉领域,在跨模态理解和推理等方面展现出更强能力。


AI算法的复杂程度越来越高,机器视觉系统设计面临挑战,然而,从各种开发资源来看,机器视觉系统开发不会更难,或许会更加容易。

 

标准模块、系统级模块(SOM)易用性提升

 

首先是各种标准化的机器视觉模块(如智能相机、视觉传感器、3D相机)集成了必要的成像元件、图像处理器和通信接口,用户可以直接通过软件配置或二次开发实现所需功能,减少底层硬件设计和集成的工作量。


其次,系统模块(System on Module,SOM)易用性提升,可用于加速机器视觉项目开发。SOM相当于一个高度集成的小型计算机主板的核心部分,包括CPU、GPU、RAM和一些基本电路,可以直接将SOM插入载板,进行功能扩展、连接外部设备,快速构建功能完备的嵌入式系统或产品原型。


下面介绍几款可用于机器视觉系统开发的SOM:


1. NVIDIA Jetson
NVIDIA Jetson利用AI为机器人开发、智能视频分析、机器视觉和自主机器的未来提供动力支持。NVIDIA Jetson系列模组是紧凑而高性能的计算机,辅以NVIDIA JetPack™ SDK,可加速软件开发。在边缘生成式AI、NVIDIA Metropolis和Isaac平台的支持下,Jetson提供可扩展的软件、现代AI堆栈、灵活的微服务和API、生产就绪型ROS软件包以及触手可及的特定于应用程序的AI工作流。Jetson还与其他NVIDIA平台无缝集成,共享AI软件和云原生工作流。此外,它还拥有构建软件定义自主机器和突破性边缘AI解决方案所需的节能性能。每个NVIDIA Jetson都是一个完整的SOM,包括GPU、CPU、内存、电源管理和高速接口等。

图注:NVIDIA Jetson系列(图源:NVIDIA)


2. Xilinx Kria K26 SOM
Kria K26 SOM为满足当前和未来市场对视觉AI和视频分析的需求而设计,搭载基于Zynq® UltraScale+™ MPSoC架构的自适应SoC以及支持该SoC所需的所有基本组件,比如存储器和电源等。Kria K26 SOM搭配一款简单的专为最终用户设计的载卡,该卡集成了用户终端系统具体使用的连接组件和附加组件,量产部署的定制也简便易行。

 图注: Kria K26 SOM与NVIDIA Jetson Nano和NVIDIA Jetson TX2特性对比(图源: AMD)

 

3. 瑞萨电子SOM解决方案
从视觉的采集、处理、分析和理解中生成数字元数据需要具有AI的高性能MPU。瑞萨电子的SOM解决方案使开发人员能够管理这些关键决策流程。系统优势:高性能双核Arm® Cortex®-A53 MPU;专用高速硬件AI推理(DRP-AI);符合SMARC 2.1标准的设计。

图注:瑞萨电子机器视觉SOM结构(图源:瑞萨电子)


4. 基于瑞芯微RK3588的SOM
RK3588 S15是一款专门面向AI机器视觉应用的SOM,支持安卓、Linux和鸿蒙OS,体积小巧,方便用于便携式设备开发,如UAV、智能头盔、工业机器人、市政机器人等产品开发。RK3588采用8nm制程的8核心CPU,集成G61GPU、大算力NPU和8K VPU,可为机器视觉应用提供强力支撑。S15核心板已将RK3588的全部功能接口引出,丰富的接口设计也有助于快速落地相关产品。


除了瑞芯微之外,基于晶晨、全志科技、地平线、寒武纪、海思处理器芯片的SOM也有不少,这些产品通常是下游合作方推出的针对机器视觉应用的定制化产品,这里不做赘述。

图注:面向AI机器视觉应用的核心板SOM RK3588 S15(图源:ScenSmart)

 

单板计算机、开源软件库普及

 

单板计算机(Single Board Computer,SBC)与开源软件库结合,也可以加速机器视觉系统的开发进程。


单板计算机提供高性价比硬件解决方案,集成了处理器、内存、输入输出接口以及必要的多媒体处理能力,能直接运行复杂图像处理和深度学习算法。快速使用SBC搭建原型系统进行实验和验证,降低机器视觉项目的启动门槛。SBC另一个优势是,庞大的用户社区和技术支持,共享硬件驱动程序、操作系统镜像、应用程序实例及教程,为机器视觉应用的开发提供了便利。
常见的SBC品牌比如飞腾派、树莓派、Arduino、BeagleBone、赛昉科技的昉·星光系列RISC-V架构单板计算机、Firefly(萤火虫)等。

图注:飞腾派与树莓派的特性(图源:中电港公众号)

 

此外,诸如OpenCV、TensorFlow、PyTorch等开源机器视觉和深度学习框架的出现,使得开发者无需从零开始构建复杂的图像处理算法,这些工具包提供了丰富的预训练模型、API函数以及易于使用的编程接口,极大简化视觉应用的开发流程。


将单板计算机与开源软件库结合,开发者可以在一个相对较低的成本下,迅速构建和迭代机器视觉解决方案,实现从原型验证到产品化部署的快速转换。以飞腾派和OpenCV开发机器视觉为例,飞腾派本身采用飞腾自主研发的高能效异构多核处理器技术,具有模块化、易上手、全开源、低成本的特点,可通过OpenCV在飞腾派板子的移植编译与交叉编译,快速启动机器视觉的开发。关于飞腾派机器视觉的开发代码、开发流程等,可以在芯查查社区查询。

图注:飞腾派应用案例——智能机械臂通过AI+机械臂将垃圾分类放置在对应的垃圾桶(图源:飞腾官网)

 

云服务提升开发效率

 

云计算服务提供商也推出了包含机器视觉功能的服务,允许用户通过API调用进行图像识别和分析,无需在本地部署复杂的基础设施。云服务的基本作用是数据存储与管理、计算资源扩展、模型训练平台、服务化部署等。主要的云服务包括:阿里云视觉智能开放平台,提供图像识别、物体检测、内容审核等多种机器视觉API服务。腾讯云计算机视觉服务提供多种视觉分析服务,包括图像识别、人脸识别、文字识别、内容审核等。百度大脑视觉技术提供了基于百度大脑的计算机视觉技术,如通用物体及场景识别、图像搜索、人体分析等服务。华为云视觉智能服务推出多个视觉相关的云服务,例如图像识别、视频分析、OCR等,适用于工业质检、安防监控等多个领域。小结随着系统模组SOM、单板计算机SBC的发展,以及各类开源软件库的广泛应用,机器视觉系统的开发难度得到了显著降低,更多的开发者和企业能够在有限的技术资源下快速进入这一领域,推动了机器视觉技术在各行各业的普及和创新应用。 

0
收藏
0