经过AI加速的MCU增强了语音和视觉处理能力

瑞萨电子宣布推出 RA8P1，这是一款专为 AIoT（物联网人工智能）应用而设计的 AI 加速微控制器。该器件将 ARM Cortex-M85 和 Cortex-M33 内核与 Ethos-U55 神经处理单元 （NPU） 相结合，将 AI 处理功能直接集成到微控制器外形中。

RA8P1 提供高达 1 GHz 的 CPU 性能和 256 GOPS 的 AI 推理能力。与仅使用 CPU 的 AI 处理相比，集成的 Ethos-U55 NPU 的性能提高了 10-35 倍，从而在微控制器应用中实现实时推理。

该器件具有 1MB 嵌入式 MRAM 和 2MB SRAM，具有支持 OctoSPI 的外部存储器接口。集成了多个摄像头和音频接口（MIPI-CSI、I²S、PDM），用于 AI 应用。

Rumi AI 框架提供神经网络优化和模型转换，支持 TensorFlow Lite、PyTorch 和 ONNX 框架，以及有助于缩短开发时间的应用程序示例。

“如果我们真的想在网络的极端边缘和端点实现智能，就必须以高效、实时响应且具有成本效益的方式完成，”瑞萨电子嵌入式处理业务副总裁 Daryl Khoo 解释道。RA8P1 通过在端点实现本地处理来解决以云为中心的 AI 限制。

该设备面向结合语音和视觉处理的多模态 AI 应用程序。应用包括语音 AI（关键字识别、自然语言理解）、视觉 AI（对象检测、手势识别）和用于预测性维护的实时分析。

RA8P1 采用 22 纳米工艺制造，从传统的 40 纳米 MCU 制造中发展而来。该器件集成了 MRAM 技术，与传统闪存相比，可提供更快的速度和更高的耐用性，同时功耗更低。

双核架构支持系统分区，Cortex-M33 处理低功耗任务，而 Cortex-M85 管理 AI 工作负载。回退模式可确保不受支持的神经网络运算符可以在 CPU 内核上执行。

瑞萨电子将该设备与传统微控制器竞争对手而不是专门的 AI 芯片公司进行了对比。“我们相信，将最高性能的 Cortex M85 内核与 Ethos U55 相结合是市场上最好的组合，”Khoo 说，并指出现有解决方案“往往会发热”，不适合低功耗多模态应用。

安全合规性仍然是一个重点，加密引擎支持 FIPS 3 级认证要求，并为欧盟网络弹性法案合规性做准备。

RA8P1 代表了瑞萨电子将 AI 处理引入边缘设备的方法，针对具有集成处理功能的智能物联网应用。