重点内容速览:
1. 端侧AI 需要什么样的传感器?
2. 端侧AI时代,传感器会如何发展
过去二十多年,传感器与处理器之间一直存在着明确的分工,即传感器负责采集图像、声音、运动、振动和环境等原始数据,MCU、处理器或云端负责分析与决策。但随着AI推理向终端设备迁移,端侧AI的逐渐兴起,传统感知方式开始遇到挑战。例如摄像头 、毫米波雷达和高频振动传感器会持续产生大量数据;主处理器需要频繁唤醒;数据传输与处理增加了功耗和响应延迟;而且图像与声音数据如果上传云端的话会涉及隐私风险等等。
为了应对这些挑战,在新的端侧AI架构中,部分传感器开始承担数据筛选、特征提取、事件检测和轻量的AI推理任务。也就是说,传感器不再只是原始数据的生产者,而是开始承担初步判断的职责。
端侧AI需要什么样的传感器?
前面有提到,在端侧AI的系统架构中,开始将部分计算任务向感知端前移,例如简单的运动检测、语音活动监测和事件唤醒可以直接在传感器内部完成。更复杂的异常识别、目标分类,则可以由传感器中的可编程处理单元,或者紧邻传感器的AI MCU来执行。这种变化意味着感知、处理和推理之间的边界正在被重新划分。而且对传感器也提出了新的要求。
永远在线(Always-On)
低功耗感知虽然低功耗一直都传感器的重要指标,但端侧AI需要的低功耗,不只是降低采样时的工作电流,还要求传感器能够在主处理器休眠时持续感知环境,并判断什么时候该唤醒系统。
ADI的三轴MEMS加速度传感器ADXL367就是这一方向的典型代表。据芯查查提供的数据手册显示,ADXL367在100Hz输出数据速率下功耗为 0.89μA,运动触发唤醒模式功耗为 180nA,待机电流仅为 40nA。它还集成了可调阈值休眠与唤醒功能、敲击检测、状态机以及512个样本深度的FIFO。虽然这些功能不属于复杂的AI推理,却可以让系统在绝大多数时间内关闭主处理器,只在检测到有效动作后再启动后续分析,从而节省总系统功耗。
博世的BMI423是另一个方向。这颗IMU产品是CES 2026器件推出的,加速度量程达±32g、陀螺仪量程达±4000dps,加速度模式下电流仅25μA。更值得关注的是,BMI423集成了基于骨传导的语音活动检测(VAD),可以在麦克风休眠状态下判断是否有人说话,只在检测到语音时才唤醒主系统。这个功能本身就是一种轻量级感知分类。
由此可见,在端侧AI应用中,传感器不仅需要持续感知,还需要承担第一层判断,让系统只为有效时间消耗算力与能量。
从输出原始数据转向输出有效信息
传统传感器通常都追求更高的分辨率、更快的采样率和更大的数据吞吐量,但端侧AI则提出了另一个问题,系统是否真的需要处理传感器收集到的全部数据?
索尼的IMX500系列传感器提供了一种不同的思路。该系列CMOS图像传感器采用堆叠架构,将1230万有效像素的像素芯片与逻辑芯片集成在一起。逻辑芯片中包含ISP、AI处理DSP和模型存储器,可以在图像传感器内部完成AI处理。IMX500可以不输出完整的图像数据,而是直接输出AI推理产生的元数据——例如画面中检测到的目标数量、位置坐标或事件标签。图像数据在传感器内部处理后不对外传输,从根本上解决了图像类应用的隐私问题。索尼已将IMX500应用于便利店客流分析场景,终端系统只收到统计数据,不接触任何人脸图像。
TI的IWRL6432是60GHz毫米波雷达领域类似方向的产品。这颗单芯片雷达传感器集成射频收发前端和信号处理核心,可以直接输出人体存在检测结果或点云数据,而非原始雷达回波。TI为其配套了Edge AI Studio工具链,支持工程师在IWRL6432上部署基于PyTorch训练的轻量级分类模型,实现人体与非人体目标分类、手势识别等功能,将传感器的输出从物理量提升为语义信息。
在芯查查看来,端侧AI应用中的传感器的价值衡量标准,正在从“采集了多少数据”,转向“过滤掉多少无效数据,输出了多少有效信息”。
从固定功能转向可编程AI
在传统智能传感器中,计步、倾斜检测、敲击检测等功能通常由厂商预先设计。终端厂商可以配置阈值和参数,却很难改变传感器内部运行的算法。端侧AI的发展,正在推动传感器从固定功能器件转变为可编程计算节点,允许工程师在传感器内部部署自定义信号处理算法或机器学习模型。
博世的BHI385就是这样一款产品。该传感器是一款可完全编程的六轴智能IMU,集成运动传感器、可编程处理器、AI软件和 256KB片上SRAM。其加速度计量程最高达到约±28g,陀螺仪输出数据速率最高达到6.4kHz,待机电流为8μA。配合Motion AI Studio,开发者可以针对运动追踪、冲击检测和体育动作识别等场景部署自定义机器学习模型。与只提供固定动作识别功能的IMU相比,可编程架构能够让同一颗传感器适应更多终端产品。此外,Bosch还推出了BMI5平台,延续了对可编程惯性感知的系统性布局。
ST的ISPU系列也是这一路线比较成熟的一个产品系列。早期产品LSM6DSO16IS和ISM330IS搭载第一代ISPU,包含32位RISC处理器、8KB数据RAM和32KB程序RAM,支持C语言编程,可运行信号处理和AI算法,并带浮点运算单元(FPU)。ISM330ISN则支持通过ST的NanoEdge AI Studio生成机器学习库并部署至传感器。IIS3DWB10IS搭载的ISPU 2.0在第一代基础上新增硬件加速器,处理能力达40 MIPS/40 MFLOPS,是前代的最高4倍,MEMS接口速度提升最高6倍。
这意味着,传感器开始具备一定的软件定义能力,同一颗传感器产品,可以根据不同设备、工况和应用需求运行不同的算法。当然,您给所有的智能传感器都支持用于部署模型,但传感器从固定功能向可编程能力演进的趋势开始显现。
从单颗传感器转向分层协同
将算法放进传感器内部,虽然可以缩短响应时间、降低数据传输量,但也会受到芯片面积、功耗、存储容量和散热等条件的限制。因此,端侧AI系统将计算分布在了传感器、MCU、NPU和云端的不同层级上。
对于复杂的视觉识别、多传感器融合和工业异常检测任务,将传感器与邻近的AI MCU配合使用,往往更加灵活。
ADI的 Voyager4 无线设备健康监测平台便采用了这种架构。Voyager4集成ADXL382、ADXL367 MEMS加速度传感器、MAX78000 AI MCU以及 MAX32666 蓝牙MCU。在正常AI工作模式下,系统在本地完成异常检测,只向主机发送异常告警;如果需要进一步分析,用户再获取更多高带宽振动数据。
国内厂商也在采用类似路线。据芯查查了解,思特威旗下的飞凌微推出的A1 Camera AI SoC 集成自研NPU、Arm Cortex-A7和ISP,NPU算力为 0.8TOPS@INT8,支持双路图像传感器输入和最高120fps输入帧率。A1并不是图像传感器,而是紧邻图像传感器的视觉处理芯片。其作用是在摄像头端完成图像处理和AI推理,体现了典型的近传感器AI架构。
因此,端侧AI传感系统可以分为三个层级:
- 传感器内AI:算法直接在传感器芯片内部运行;
- 近传感器AI:算法运行在紧邻传感器的MCU、视觉SoC或专用处理器中;
- 设备端AI:算法运行在终端设备的主处理器或独立NPU中。
端侧AI时代,传感器会如何发展
过去几十年,传感器产品的主要关注点都集中在分辨率、精度、噪声密度、量程和功耗等几个维度,那么在端侧AI时代,传感器会如何发展呢?根据芯查查的总结,未来传感器的发展趋势主要有以下三个方向。
一是事件驱动会逐渐取代持续传输。端侧AI时代的传感器,并不一定持续输出完整数据,而是会优先判断环境是否发生变化。摄像头可以只输出运动目标,雷达可以只上报人员存在状态,振动传感器可以只在检测到异常频谱时唤醒系统等等。也就是说,事件驱动会逐渐取代持续传输。
二是AI能力将成为传感器的重要功能。过去,工程师选择传感器主要关注精度、量程、噪声、采样率、接口和功耗。随着AI进入感知端,选型维度还将包括:
- 是否支持自定义算法或模型;
- 可以运行哪些类型的模型;
- 片上处理与存储资源有多少;
- 能否直接输出事件或语义信息;
- 单次判断需要消耗多少能量;
- 是否提供数据采集、训练与部署工具;
- 是否可以与外部传感器进行数据融合。
三是工具链将成为标配。当传感器支持可编程算法后,硬件参数只是产品能力的一部分。索尼围绕智能视觉传感器推出AITRIOS平台;博世通过Motion AI Studio帮助开发者训练和部署运动识别模型;ST为ISPU提供开发工具与算法生态;TI也在通过Edge AI Studio扩展毫米波雷达和处理器的AI开发能力。也就是说,未来传感器厂商不仅要提供芯片,还需要提供算法库、训练工具、模型部署流程和参考方案。
结语
端侧AI时代的传感器不只负责看见、听见和测量,还需要决定哪些信息值得交给系统。面对集成ISPU、DSP、硬件加速器和可编程处理单元的新型传感器,工程师的选型工作也变得更加复杂。除基础电气参数外,还需要综合评估算法支持、片上资源、功耗模式和开发生态。
通过芯查查可以快速查找到所需芯片的数据手册,再加上中电港芯查查新推出的【数字FAE】,工程师可以快速生成参考方案,对比关键参数、寻找可替代型号,并辅助评估传感器与MCU、边缘AI处理器的组合方案,助力方案快速落地。




全部评论