机器视觉 | ​有哪些国产主控芯片可供选择?

来源: 芯查查资讯 作者:程文智 2024-10-28 10:04:31
相关专题
#机器视觉

重点内容速览:

| CPU主控解决方案

| 带NPU的SoC主控解决方案

| FPGA主控解决方案

| 基于RISC-V芯片的主控解决方案

 

机器视觉涵盖AI、计算机科学、图像处理、模式识别等多项技术,具有精度高、速度快、可靠性高等优势。目前,机器视觉领域,核心主控芯片主要以国外品牌为主,比如英特尔、AMD、安霸、索尼等,国内主控芯片仍然处于发展初期。不过好消息是,国内目前已经有不少企业推出了相关芯片产品,而且不少市场反响还不错。
 

一般来说,机器视觉系统通常需要一个强大的处理器来处理和执行图像处理、计算机视觉、物体识别等各种任务,其主控芯片也多种多样,分为CPU/集成GPU的CPU、GPU、FPGA、SoC/集成了ISP的SoC芯片、带NPU的SoC,以及RISC-V架构芯片等。其功能主要负责处理和执行各种机器学习算法和深度学习算法。

 

CPU主控解决方案

CPU或者集成了GPU的CPU主控产品主要针对中低算力需求的机器视觉应用。其优势是整体硬件成本低,且方案成熟,缺点就是算力不够大,不能支持太大的AI模型。比如说中电港萤火工场研发的飞腾派就是采用了飞腾嵌入式四核处理器,该处理器兼容Arm V8 指集,包含2个FTC664 核和2个FTC310 核,其中FTC664 核主频可达1.8GHzFTC310 核主频可达 1.5GHz。主板板载 64 位 DDR4 内存分2G 和 4G 两个版本,支持 SD 或者 eMMC 外部存储。

 图:飞腾派实物图(来源:萤火工场)

据悉,飞腾派就可以用于机器视觉系统的开发。

  

带NPU的SoC主控解决方案

此类芯片将NPU与主处理器集成在了一起,可满足中高算力需求,这是近几年来开始流行的一种解决方案。由于是单芯片,硬件成本适中,挑战主要在于模型的量化部署方面,以及模型部署工具的成熟度,主要依赖于芯片厂商的工具链支持。比如说瑞芯微的RV1109、全志科技的V853、清微智能的TX510就是属于这类芯片。

  
瑞芯微RV1109是一款高性能机器视觉处理器的SoC,基于双核ARM Cortex-A7,集成了NEON和FPU。内置的NPU支持INT8/INT16混合操作,计算能力可达1.2TOPs。RV1109还引入了基于硬件的5000万像素ISP和后处理器。实现了IPC和CVR中常用的加速算法。瑞芯微在投资者互动平台上表示,公司的芯片产品应用领域广泛,已应用于多种形态的机器人产品,比如扫地机器人、教育机器人、服务机器人、工业/农业机器人等。具体参数可以上芯查查查询。

图:瑞芯微RV1109具体参数页面(来源:芯查查)

全志科技的V853集成了新一代星光级画质引擎,内置的最新一代Smart视频编码引擎,集成单核Cortex-A7@lGHz、RSIC-V@600MHz及最大IT算力 NPU,支持16-bit DDR3/DDR3L最高速率933MHz,能够满足多种应用算力及带宽需求。

图:全志科技V853应用框图(来源:芯查查)

上海为旌科技有限公司的为旌海山VS839系列芯片也是一款机器视觉主控芯片,作为主控芯片,VS839采用多核异构的运算架构,集成了四核A55 CPU、双核DSP以及具备4TOPS算力的NPU,为用户提供了充足的异构计算资源,充分满足客户对算力资源的高要求。

  

该芯片不仅能轻松接入多路摄像头数据,还能同时处理激光雷达等其他感知数据,实现芯片内的融合感知,从而最大化地发挥硬件性能。此外,VS839还内置了双目深度算法,能够生成高精度的深度图,并包含环境场景中物体的结构信息。通过实现深度图增强算法,该芯片还能有效修复深度图边界失真,进一步提高深度精度,为后续SLAM算法提供高质量的输入,全方位满足各类应用需求。

  
值得一提的是,为旌海山系列芯片已完成从500万像素到1600万像素智能视觉端侧及边缘侧芯片的全覆盖,可广泛应用于各类机器人、智能网络摄像机、专业视频会议摄像头、全景摄像头、智能NVR、AI BOX等多个场景。

  
思特威全资公司飞凌微最近也特别针对端侧智驾视觉应用推出了车规级的Camera SoC M1 Pro和M1 Max SoC主控芯片。其中M1Pro内置了0.8TOPS@INT8轻算力自研NPU、Arm Cortex-A7 CPU、1Gb DDR3L内存。值得一提的是,飞凌微自研NPU支持业界主流的神经网络框架,并针对轻量级神经网络结构和视觉任务进行了专门优化,有效加速视觉数据处理并提升图像处理准确性,也为车载视觉系统后端处理减负。

图:M1 Max主要参数及特性(来源:飞凌微)

M1 Max搭载了ISP算法,包括1.5TOPS@INT8轻算力自研NPU、Arm Cortex-A7×2 CPU、2Gb DDR3L内存等,以更强劲的处理和计算性能,进一步满足智驾系统在端侧的视觉处理应用需求。

  

值得注意的是飞凌微的这两款新品均符合AEC-Q100 Grade 2认证及ISO26262 ASIL-B功能安全等级要求

  
富瀚微FH8898是全高清实时高性能智能网络处理器 SoC 芯片,最高幅面支持4K。集成了2.0TOPS 算力的高性能神经网络处理引擎,4核RISC 处理器,同时集成了高性能的ISP 图像处理模块和视频编解码器。芯片可外接32 位宽高速DDR3 和DDR4 存储芯片,支持USB3.0 接口和其他丰富的应用外设接口。据悉,该芯片除了可应用于高要求专业场景的工业机器人,也可用于更广泛出现在生活场景,比如超市货架机器人、酒店送餐机器人、家庭下棋机器人等多元化的场景。

 

FPGA主控解决方案

采用FPGA为主控的机器视觉系统,主要满足对实时性要求较高的工业级应用。挑战在于开发难度,涉及一些自研AI加速FPGA逻辑,需要底层的加速设计和量化方案设计,以及相应的转换、编译。

近几年来,国内的FPGA公司不少都推出了相关的产品,比如安路科技、易灵思等等。安路科技的飞龙SALDRAGON(简称 DR1)高性能FPSOC产品系列就是专门针对机器视觉领域的产品,该系列产品集成了硬核处理器系统双核Arm Cortex-A35或者64位RISC-V、FPGA可编程逻辑和AI引擎,形成了硬核高性能Arm v8处理器产品或高性能RISC-V 64bit 处理器两个产品系列,并且具备安路 FPGA 的灵活性、 低功耗、 软硬件可编程、可扩展 SoC 平台的优势。

 

ARM或RISC-V 处理器配合片上RAM,以及支持多类内存接口和丰富的外设端口,为应用端提供更加丰富的适配场景。

图:安路科技DR1器件主要参数(来源:安路科技)

不久前的机器视觉展上,还展出了基于DR1期间的单目测距解决方案和基于DR1器件的人体关键点检测解决方案。其中,人体关键点检测方案,可通过对图像数据的采集与处理,能够很好地对图像数据进行特征提取,检测人体及关键点信息,将结果反标回rgb数据,通过HDMI接口输出至显示器,适用于视频监控、人机交互等领域。

 

易灵思钛金系列Ti60 FPGA可提供1.5G MIPI CSI/DSI IP实现Sensor的多通道接入,同时提供DDR3控制器,在高达12.8Gbps带宽下完成快速的数据吞吐和帧缓存任务,可调用1/2/4核RISCV-软核完成控制、调度等工作,将工业相机性能推向极致。除逻辑特性外,Ti60 FPGA具备低功耗、小体积特点,可助力拇指相机类无特殊散热设计的特色产品。其核心控制板,尺寸仅4*4cm大小。

图:易灵思机器视觉解决方案(来源:易灵思)

中科亿海微的EQ6系列FPGA也可用于机器视觉主控,该系列可编程逻辑芯片,具有可达千万门级的丰富逻辑资源,可重复编程,并行处理能力以及实时性更强;它还支持多个通信接口以及三速10M/100M/1000M以太网,提供低延迟以太网开关。此外,EQ6系列可编程逻辑芯片具有小尺寸低功耗特点,可通过更高效控制降低系统功耗。

图:基于中科亿海微EQ6系列的极端环境视频采集系统解决方案

 

基于RISC-V芯片的主控解决方案

RISC-V架构的芯片,近两年得到了较大的发展。由于需要进行图像处理,这类芯片往往需要采用RISC-V主处理器+ISP或Arm CPU+RISC-V协处理器的异构形式,以应对更大的算力需求和更高的图像处理性能。

 

比如北京奕斯伟计算技术股份有限公司推出的全球首款搭载64位RISC-V乱序执行CPU及自研高性能NPU的AI SoC EIC7700X,为AI应用提供了强大的计算能力。

 

该芯片采用了RISC-V架构的边缘计算SoC,专为满足机器视觉、视频分析、AI PC等现代工作负载的计算需求而设计,具备卓越的计算密度和性能表现。该芯片搭载高性能64位三发射、乱序的RISC-V CPU IP(SiFive P550 Core Complex),拥有 2D/3D GPU、硬件视频编解码器、NPU、DSP、MIPI DSI、安全子系统、集成高速LPDDR5存储控制器、Root Complex PCI Express Gen 3x4和标准外设。

 

EIC7700X搭载了自研的高能效NPU矩阵和矢量计算模块,全栈支持浮点数,确保大模型精度;DNN提供13.3TOPS INT8算力,可满足分类、检测、分割、追踪相关的各类需求;具备强大视频编解码能力,支持32路1080P 30帧的视频解码能力和13路1080P 30帧的视频编码能力,可与推理功能并行,图像信号处理器(ISP)可提供图像增强、动态对比度增强、畸变校正等多种图像处理硬件加速功能;拥有丰富的多媒体输入输出、PCIe、以太网等外部接口。

 

EIC7700可以广泛应用于各种场景,从机器视觉到云端加速,再到AI PC,展示了其强大的实力和潜力。鲁海波表示,为助力客户突破更多边缘侧应用场景,EIC7700具有芯片、PCIe板卡、AI边缘智能站三类产品形态,支持AI高精度大语言模型,可为安全运营、智能制造、智慧教育等应用场景打造高性能、低功耗AI解决方案。 

   
结语

机器视觉在各个领域都有广泛的应用,如安防、医疗、教育、制造、交通等。随着人工智能技术的发展和数据量的增加,机器视觉的需求和挑战也日益增长。国内机器视觉主控芯片的发展前景还是值得期待的。

  

 

0
收藏
0