混合用于低功耗传感器的模拟和数字脉冲神经网络

Innatera 开发的 Pulsar 片上系统 （SoC） 集成了多个低功耗人工智能/机器学习 （AI/ML） 脉冲神经网络 （SNN） 加速器，这些加速器针对基于传感器的解决方案（图 1）。我与 Innatera 的首席执行官 Sumeet Kumar 讨论了这款 SoC 如何在基于电池供电或能量收集的应用中提供始终在线 （AON） 的神经网络作。

1. Innatera 的 Pulsar 片上系统集成了模拟和数字尖峰神经网络 （SNN） 以及 FFT 和 CNN 加速。

与基于云的 AI/ML 支持和更耗电、非 SNN、基于边缘的解决方案相比，AON作和在本地处理所有数据的能力在延迟、隐私和性能方面具有显著优势。

模拟和数字尖峰神经网络有什么区别？

脉冲神经网络，也称为神经形态计算，比卷积神经网络 （CNN） 等传统的数字深度神经网络 （DNN） 与生物神经元的关系更密切。SNN 使用基于时间的 “尖峰” 作为输入，导致 “神经元” 根据与输入相关的权重产生额外的尖峰（图 2）。这模拟了真实神经元的运作方式，而 CNN 则并行处理所有输入。

2. 脉冲神经网络是面向时间的，带有 “spikes”。

SNN 可以作为模拟或数字电路实现。主要区别在于它们的实现方式，而不是它们的逻辑作。两者都利用权重并通过多级数组触发神经元。模拟方法具有连续运行和集成以及非常低功耗运行的优势。数字方法更灵活，更适合某些模型。

Innatera 的 Pulsar 包括模拟和数字 SNN 加速，使开发人员能够选择用于特定 AI/ML SNN 模型的选项。

为什么在一个芯片上混合使用模拟和数字 SNN？

该公司在 Pulsar 上混合了多个加速器。这包括模拟和数字 SNN 加速器以及 CNN 和快速傅里叶变换 （FFT）。每个都有自己的优势，允许开发人员根据应用程序利用每个。加速器针对应用程序的特定方面进行了优化;他们可能在特定时间活跃，也可能不活跃。例如，超低功耗模拟 SNN 可用于跟踪传感器作，并在检测到某些情况时启动其余硬件。

如何混合使用模型的一个示例是智能门铃，它确定何时在视野中。传感器可以是视频、红外或雷达。SSN 精通这种类型的身份证明。

为什么 SNN 是始终在线的机器学习作的关键

Pulsar 的 SNN 效率比在传统的数字 DNN 中实现类似模型高出大约两个数量级。这种电力要求的降低从根本上改变了

AI/ML 加速器由支持浮点的 32 位 RISC-V 处理器控制，类似于 Arm Cortex-M4F。它可以处理 AI/ML 杂务，但通常它管理数据、通信和系统作。处理器可以在 SNN 运行时休眠。

Pulsar 采用 2.8 × 2.6 mm 晶圆级芯片级封装 （WLCSP）。软件支持通过 Innatera 的 Talamo 套件提供，该套件与 PyTorch 集成。开发人员可以在 PyTorch 中创建和测试模型，以便在 Pulsar 上实现。仿真器提供芯片的全功能仿真，使开发人员能够在模拟和数字 SSN 以及 CNN 加速器上测试模型。