基于FPGA的人工神经网络实现方法的研究
人工神经网络(Artificial Neural Network，ANN)是一种类似生物神经网络的信息处理结构，它的提出是为了解决一些非线性，非平稳，复杂的实际问题。目前实现ANN还主要依靠软件程序．但是依靠程序很难达到实时性的要求。
神经网络在FPGA上实现是独立于冯・诺依曼架构，利用FPGA的并行性，在一些实时性要求很强的领域应用。通用计算机虽然编程容易，但是很多时间浪费在分析指令，读出写入数据等。于是人们想利用ASIC(专用计算芯片)完成神经网络的计算任务，但是由于资源有限，这种芯片只限于实现特定的算法结构和小规模网络，而且专用芯片的制作成本很高，只适合大批量生产。
可编程逻辑器件FPGA的出现给IC设计行业一个很强的工具，它可以小成本的开发一些专用芯片，如果开发是成功的可以考虑流片生产。用FPGA实现神经网络比ASIC神经计算单元更容易实现，利用可编程逻辑，FPGA可以实现像软件一样的设计灵活性，特别是对于复杂网络，设计周期大大缩短，其内部的重构逻辑模块(Configurable Logic Blocks，CLBs)包含若干逻辑单元，利用固有的可重构路径结构可以实现高效率的连接。此外，现在正在开发中的一种神经计算芯片为神经网络的实现提出了一种新的有效方法。
1 FPGA实现神经网络关键问题分析
(1)选择合适的神经网络及其拓扑结构
不同的神经网络有不同的应用，而且不同的网络完成知识表达的机理是不同的，某一个神经网络不是万能的．对于实际问题，首先要做的就是选择针对性的神经网络，如线性分类问题可以用简单的感知器，对于复杂的分类问题，函数逼近问题可以使用BP网络，对于一些聚类问题可以使用径向基(RBF)网络等。以BP网络结构为例，这种被广泛采用的架构由具有错误反向传播算法的多层感知器构成(Multilayer Perceptrons u-sing Back-Propagation，MLP-BP)，训练一个BP网络主要的问题就在于：训练开始之前，对于网络拓扑结构缺乏一种明确的确定方法。而进行各种拓扑结构的实验并不那么容易，因为对于每一个训练周期都要消耗很长的时间，特别是复杂的网络，更是如此；其次，对于硬件而言，最合适的网络运算法则不仅在于它达到收敛有多么快，还要考虑是否容易在硬件上实现且这种实现代价和性能如何；另外，对于同一种NN(Neural Net-work)。其拓扑结构对网络的收敛特性以及知识表达特性都有影响，一般增加网络的神经元或者神经元的层数，是可以增加网络的逼近能力，但是可能会影响网络的学习收敛情况，而且还可能会因为过适应(Overfit)而失去泛化能力。
(2)正确选择数值表达形式
精度的选择对处理密度(与耗费的硬件资源成反比)有直接影响。其中浮点数可以在计算机中表达实数，它有相对高的精度和大的动态范围，使用浮点数使得计算更为精确，但是在FPGA上实现浮点数运算是一个很大的挑战，而且会耗费很多硬件资源。尽管如此，加拿大研究人员Medhat Moussa and Shawki Arei-bi仍然实现了浮点数的运算，并进行了详细的对比分析。
对于MLP-BP而言，Holt and Baker凭借仿真和理论分析指出16为定点(1位标志位，3位整数位和12位小数位)是最小可允许的精度表示(指可以达到收敛)。以逻辑XOR问题为例，文献[1]中表格2．5(见表1)表明与基于FPGA的MLP-BP浮点法实现相比，定点法实现在速度上高出12倍，面积上是浮点实现的1／13，而且有更高的处理密度。
同时数据也说明基于FPGA的16位定点MLP-BP实现在处理密度上高于基于软件方法的MLP-BP实现，这最好地证明可重构计算方法的处理密度优势。应该说，在这种应用中浮点数远不如定点数合适。但是定点数表示的缺点在于有限精度，尽管如此，对于不同的应用选择合适的字长精度，仍然可以得到收敛。因此，目前基于FPGA的ANN大多数是使用定点数进行计算的。
(3)门限非线性激活函数(Non-linear activationFunction)的实现
ANN的知识表达特性与非线性逼近能力，有很大部分源自门限函数。在MLP网络中，门限函数大部分是非线性函数(少数是线性函数，如输出层的门限函数)，但是非线性传递函数的直接硬件实现太昂贵，目前实现门限函数的方法主要有：查表法(look-up ta-ble)、分段线性逼近、多项式近似法、有理近似法以及协调旋转数字计算机(Coordinated Rotation Digital Com-puter，CORDIC)法则，CORDIC法则实现函数的优点在于同一硬件资源能被若干个函数使用，但是性能相当差，因此较少使用。而高次多项式近似法尽管可以实现低误差近似，但是实现需要耗费较高硬件资源。相对而言，查找表法和分段线性逼近法(注意：查找表不易太大，否则速度会慢且代价也大)更适合FPGA技术实现。其中分段线性近似法以y=c1+c2x的形式描述一种线性连接组合(如图1所示)，如果线性函数的系数值为2的幂次，则激活函数可以由一系列移位和加法操作实现，许多神经元的传递函数就是这样实现的，而查找表法则是将事先计算的数值依次存储在需要查询的存储器中来实现。
评论