深度学习实际上是如何工作的？

深度学习为工程应用增添了新的维度，从 5G 信号处理到电网的预测性维护。它可以自动检测设备故障并准确优化网络流量。但这些人工系统实际上是如何从数据中学习的呢？

本常见问题解答探讨了神经网络的基本架构、优化数百万个参数的两阶段学习过程，以及处理不同数据类型的卷积神经网络 （CNN） 和递归神经网络 （RNN） 等专用架构。

深度学习的基本组成部分是什么？

深度学习的基石是人工神经网络，这是一种通过称为神经元的互连处理单元处理信息的计算架构。它是一个复杂的信号处理系统，其中每个连接代表一个可编程增益元件。

如图 1 所示，深度神经网络由三个基本层组成：接收原始数据（例如传感器读数或信号样本）的输入层、执行日益复杂的特征提取的多个隐藏层以及产生最终决策或预测的输出层。神经元之间的每个连接都有一个相关的权重，一个确定该连接强度的数值参数。

图 1.由输入层、隐藏层和输出层组成的基本神经网络架构。（图片：开放生物信息学杂志)

深度学习中的“深度”是指多个隐藏层，每个隐藏层都旨在识别逐渐更复杂的模式。例如，在分析电网数据的系统中，第一个隐藏层可以检测基本电压波动，第二层可以识别频率异常，更深层可以识别表明设备退化的复杂故障特征。

每个神经元对其输入进行加权求和，然后执行非线性激活函数。这个数学运算可以表示为：

y = f（Σ（wi × 习） + b）

其中 wi 表示权重，习 输入，b 表示偏差项，f 表示激活函数。工程师将熟悉这种公式，作为一种线性组合然后进行非线性处理的形式，类似于具有非线性元件的运算放大器电路。

神经网络实际上是如何从数据中学习的？

深度学习非常强大，因为它具有非常复杂、多层且通常专门的架构。它还可以通过类似于反馈控制系统的两阶段学习过程自动优化数百万个参数。

学习过程如图 2 所示，通过两个不同的阶段进行。前向传播类似于信号流分析，其中输入数据流经网络，每一层都应用数学变换来生成越来越精细的表示。网络的预测在经过级联处理后从输出层出现。

图 2.神经网络学习周期显示前向计算和后向优化。（图片来源：ResearchGate)

第二阶段，向后传播，实现学习机制。当网络的预测与预期结果不同时，会计算错误信号并通过网络向后传播。此过程计算相对于每个权重的误差梯度，确定每个参数如何导致整体误差。

优化算法（通常是梯度下降）然后沿最小化误差的方向调整权重。这个迭代过程对数千或数百万个训练示例重复，逐渐提高网络的性能。数学的优雅在于微积分的链式规则，它能够在整个网络深度上进行高效的梯度计算。

对于工程师来说，这个过程与自适应滤波器设计相似，其中系数根据误差反馈不断更新。然而，深度学习将这一概念扩展到具有更高效率的非线性、多维优化空间。

案例研究：基于图像的系统的卷积神经网络

虽然基本学习原则保持不变，但不同类型的数据需要专门的网络架构，这些架构已被证明在各个领域都是有效的。

CNN 代表了一种专为空间数据处理而设计的专用架构，如图 3 所示。原始输入数据经过一系列作，在卷积和池化之间交替进行，这些作会提取出越来越复杂的特征，直到最终分类。

图 3.CNN 架构显示从原始图像数据中提取渐进式特征。（图片来源：ResearchGate)

在输入上使用学习的筛选器时，卷积作会以计划的方式查找某些模式或特征。对于工程师来说，这个过程类似于数字信号处理。卷积运算的工作原理类似于自适应滤波器，在训练期间学习最佳内核，而不是使用已经设置的滤波器系数。

分层处理结构形成了一个自然的特征提取管道：第一层找到简单的图案，如边缘和纹理，后面的层将它们组合在一起以制作更复杂的表示。这种自动化特征学习消除了对手动特征工程的需求，这比旧的模式识别方法有了显着改进。

CNN 可用于分析各种领域的空间数据，从计算机视觉到可以以网格状格式存储数据的任何其他领域。例如，在信号处理中，时频表示被分析为图像。

用于顺序数据分析的循环神经网络

顺序数据分析的问题由 RNN 解决，它使用记忆机制和反馈连接来做到这一点。与前馈网络不同，RNN 可以处理不同长度的序列并记住它们之前被输入的内容。

图 4 显示了 RNN 在光通信中如何工作的真实示例。它显示了它们如何处理三种类型的顺序数据：数字信号波形、网络流量模式和设备状态参数。网络架构具有跨时间步长保存数据的存储单元，这使您可以了解事件如何随时间相互依赖。

图 4.RNN 架构处理顺序数据，用于时间模式分析应用。（图片：通信和网络前沿)

基本 RNN 学习长期依赖关系的能力是长短期记忆 （LSTM） 变体解决的主要限制。LSTM 使用复杂的门控机制来管理信息流，只记住重要的细节而忘记不太重要的细节。

所展示的应用，网络故障管理、设备故障预测和各种信号处理任务，展示了 RNN 在通信工程中的能力。类似的原则适用于需要从时间序列数据中学习顺序模式的任何地方，尽管不同工程领域的实现细节差异很大。

总结

神经网络通过加权连接连接的层来处理信息。他们通过两阶段循环进行学习，其中前向传播进行预测，向后传播找到最佳设置。两种类型的架构，用于空间数据的卷积网络和用于顺序数据的循环网络，展示了如何大规模使用简单的数学运算来产生复杂的行为。

这种自动模式发现功能极大地有利于 5G 网络优化和预测性维护系统等工程应用。对于工程师来说，深度学习是一种强大的计算机工具，可以将传统的优化理念提升到更高的复杂程度。