“神经形态计算”脑机芯片的前沿进展

“神经形态”一词是希腊语“neuro”（与神经或大脑有关）和“morphic”（与形式或结构有关）的合成词。

因此，“神经形态”的字面意思是“以大脑的形式”。反过来，“神经形态计算”是指受人脑功能启发的电子系统。神经形态芯片不像传统计算机那样逐步处理数据，而是试图模仿神经元和突触的通信方式——利用电活动的峰值、大规模并行性和事件驱动的作。

本专栏的重点是硬件加速器知识产权 （IP） 功能，特别是神经处理单元 （NPU），设计人员可以将其集成到其片上系统 （SoC） 设备中。一些 SoC 开发人员使用第三方 NPU IP，而另一些开发人员则在内部开发自己的 IP。

我刚刚与 BrainChip 的首席营销官 Steve Brightfield 聊天。您可能还记得，BrainChip 的名气在于其 Akida AI 加速处理器 IP，其灵感来自人脑的认知能力和能源效率。Akida 在边缘提供低功耗、实时的 AI 处理，利用神经形态原理用于视觉、音频和传感器融合等应用。

绝大多数 NPU IP 使用大型乘法累加 （MAC） 单元阵列加速人工神经网络 （ANN）。这些密集的矩阵-向量运算非常耗能，因为每个神经元都参与了每一次计算，并且硬件必须在内存和 MAC 阵列之间移动大量数据。

相比之下，Akida 采用了基于尖峰神经网络 （SNN） 的神经形态架构。秋田的神经元不会不断计算加权和;相反，它们只有在内部“膜电位”超过阈值时才交换尖峰（短暂的数字脉冲）。这使得 Akida 成为事件驱动的;也就是说，只有当有新信息可供处理时才会进行计算。

与传统 NPU 中的通用 MAC 阵列相比，Akida 利用突触核在尖峰到达时执行加权事件累积。每个突触都保持较小的局部权重，并在接收到尖峰时增加其对神经元膜电位的贡献。这实现了与乘累积相同的效果，但以一种稀疏、异步和节能的方式，更类似于生物大脑。

Akida 自带 AI 加速处理器 IP（图源：BrainChip）

根据 BrainChip 的网站，Akida 独立式 AI 神经处理器 IP 具有以下特点：

• 1 到 128 个节点的可扩展结构

• 每个神经节点支持 128 个 MAC

• 每个节点可配置 50K 至 130K 嵌入式本地 SRAM

• 用于所有内存和模型作的 DMA

• 无需主机 CPU 的多层执行

• 与任何微控制器或应用处理器集成

• 高效的算法网格

坚持！ 我刚刚告诉过你，“与传统 NPU 中的通用 MAC 阵列相比，Akida 使用突触核......”因此，看到 BrainChip 的人们在他们的网站上引用 MAC 有点尴尬。问题是，就 Akida 而言，术语“MAC”的使用有些松散——更像是一种工程简写，而不是像传统 GPU 和 NPU 中那样的字面同步乘法累加单位。

虽然每个 Akida 神经节点都包含可以执行乘累作的硬件，但这些作是事件驱动的并且很少激活。当输入尖峰到达时，只有该节点中的相关突触和神经元执行少量加权累积——后台没有连续的时钟矩阵乘法。

因此，虽然 BrainChip 的文档称它们为“MAC”，但它们实际上是作为神经形态突触处理器实现的，当尖峰触发时，其行为类似于 MAC，否则保持空闲状态。这就是 Akida 实现比传统 NPU 低几个数量级的功耗的原因，尽管原则上执行类似的数学运算。

另一种思考方式是，传统的 MAC 阵列连续处理数字，每个神经元都参与每个周期。相比之下，Akida 节点的神经形态突触处于休眠状态，只有在尖峰到达时才会开始行动，在本地执行数学运算，然后再次安静下来。如果我是诗意的，我可能会想在这个节骨眼上说一些精辟的话，比如“比起熔炉更像萤火虫”，但我不是，所以我不会。

但是等等，还有更多，因为 Akida 处理器 IP 使用稀疏性来专注于最重要的数据，从本质上避免不必要的计算并在每一步都节省能源。同时，BrainChip 的神经网络模型被称为基于时间事件的神经网络 （TENN），它建立在状态空间模型架构之上，以跟踪随时间变化的事件，而不是以固定的时间间隔进行采样，从而跳过没有变化的时期以节省能量和内存。这些小 scamp 共同为实时 AI 提供了无与伦比的效率。

Akida 神经处理器 + TENNs 模型 = 很棒（来源：BrainChip）

这里的游戏名称是“稀疏”。我们谈论的是稀疏数据（流式输入在硬件级别转换为事件，在处理开始前将数据量减少多达 10 倍）、稀疏权重（修剪和压缩不必要的权重，将模型大小和计算需求减少多达 10 倍）和稀疏激活（只有基本的激活函数将数据传递到下一层， 将下游计算减少多达 10 倍）。

由于传统的 CNN 在每个时间步都会激活每个神经层，因此即使没有任何变化，它们也可以消耗瓦特的功率来处理完整的数据流。相比之下，Akida 只处理有意义的信息这一事实使得实时流式 AI 能够以毫瓦的功率连续运行，从而可以在可穿戴设备、传感器和其他电池供电的设备中部署始终在线的智能。

当然，没有什么是容易的（“如果这很容易，每个人都会这样做”，正如他们所说）。对于希望使用神经形态计算的人来说，一个重大挑战是尖峰网络与传统神经网络不同。这就是 BrainChip 的人们提供 CNN 到 SNN 转换器的原因。这意味着开发人员可以从传统的 CNN（他们可能已经拥有）开始，然后将其转换为 SNN 以在 Akida 上运行。

像往常一样，这个洋葱的层数比你最初想象的要多。例如，考虑一下 BrainChip 与 Prophesee 的合作。 这是两种技术结合在一起的罕见情况之一，就好像它们一直在等待对方一样。

Prophesee 的基于事件的相机不会以固定的时间间隔捕捉传统帧;相反，每个像素每当检测到光强度变化时都会生成一个尖峰。换句话说，输出本质上已经是神经形态的——稀疏的异步事件（“尖峰”）的连续流，而不是密集的视频帧。

这使其成为 BrainChip 的 Akida 处理器的完美伴侣，该处理器本身就是一个尖峰神经网络。虽然传统相机必须转换为尖峰形式来馈送 SNN，并且 Prophesee 通常必须“去尖峰”其输出才能馈送传统的卷积网络，但 Akida 和 Prophesee 可以直接连接——尖峰到尖峰，神经元到神经元——中间没有格式体或耗电的帧缓冲。

这种基于峰值的原生协同作用在功耗和延迟方面得到了丰厚的回报。正如 BrainChip 的工程师所说，“我们以千比特每秒而不是兆比特每秒的速度工作。由于 Prophesee 传感器仅在发生变化时传输信息，而 Akida 仅在峰值到达时进行计算，因此整个系统的功耗仅为毫瓦，而传统视觉系统所需的功耗仅为数十毫瓦。

这种差异在智能手机中可能并不重要，但对于 AR/VR 眼镜来说却至关重要，因为 AR/VR 眼镜的电池大小是手机的十分之一甚至二十分之一。通过消除在帧和尖峰之间转换的需要，并避免帧存储、缓冲和传输的能源成本，BrainChip 和 Prophesee 有效地构建了一个神经形态的端到端视觉管道，反映了生物眼睛和大脑的实际工作方式：始终在线，始终响应，但消耗功率而不是吞噬它。

再举一个例子，我最近听说 BrainChip 和 HaiLa Technologies 合作展示了当类脑计算与超高效无线连接相遇时会发生什么。他们制作了一个演示，将 BrainChip 的 Akida 神经形态处理器与 HaiLa 的 BSC2000 反向散射 RFIC 配对，这是一种兼容 Wi-Fi 的芯片，通过反射现有无线电信号而不是生成自己的无线电信号进行通信（我计划在未来的专栏中专门讨论这项技术）。其结果是一个独立的边缘 AI 平台，可以执行连续传感、异常检测和状态监测，同时消耗的功率仅为微瓦，足够小，可以在单个纽扣电池上运行连接的传感器的整个生命周期。

此次合作突出了一种新型智能、无电池边缘设备，其中传感、处理和通信都针对能效进行了优化。Akida 的事件驱动架构仅处理重要的尖峰，而 HaiLa 的无源反向散射链路消除了无线电的大部分能源成本。它们共同支持始终在线的本地智能物联网节点，非常适合医疗、环境和基础设施监控，在这些地方更换电池成本高昂、不切实际或完全不可能。简而言之，BrainChip 和 HaiLa 正在为下一波超低功耗边缘 AI 系统勾勒蓝图，这些系统在说话之前三思而后行，并且以惊人的效率做到这两点。

遗憾的是，以上都不是我想和你谈的（别再呻吟了——值得一读）。我最初打算告诉你的是新推出的 Akida Cloud（想象一下一卷鼓和一团长号）。

现有的 Akida 1 受到市场的极好评，支持 4 位、2 位和 1 位权重和激活。下一代 Akida 2 预计将在不久的将来向开发人员提供，它将支持 8 位、4 位和 1 位权重和激活。此外，Akida 2 将支持基于时空和时空事件的神经网络。

多年来，BrainChip 吸引开发人员的最大障碍不是它的神经形态芯片，而是物流。展示 Akida 架构意味着将笨重的基于 FPGA 的盒子实际运送给客户，在现场为它们供电，并兼顾贷款期。随着 Akida Cloud 的推出，这种瓶颈消失了。

工程师现在可以登录，启动在实际 Akida 1 上运行的现有 Akida 1 或即将在 FPGA 上运行的 Akida 2 的虚拟实例，并直接在浏览器中运行自己的神经工作负载。模型可以实时训练、加载、执行和基准测试，无需运输板条箱、保密协议或实验室设置。

Akida Cloud 代表的不仅仅是一次便利升级;这是实现神经形态技术普及的一项战略举措。通过在线提供最新的架构，BrainChip 的小伙子们正在降低想要尝试基于事件的人工智能但缺乏专业硬件的研究人员、初创公司和原始设备制造商的进入门槛。

用户可以在承诺使用芯片之前并排比较 Akida 1 和 Akida 2 的行为、原型模型并收集性能数据。对于 BrainChip 来说，云平台还充当了一个快速反馈循环——将每个互联工程师转变为早期测试人员，并加速 SNN 在整个边缘 AI 生态系统中的采用。

这就是云中的大脑、电线上的尖峰以及在眨眼之前进行思考的人工智能。如果这就是神经形态未来的样子，我会说“加油”（只要我可怜的老海马体冷却下来）。但这并不全是关于我的（应该是，但事实并非如此）。那么，你对这一切有什么看法呢？