卷积神经网络简介：什么是机器学习？

抽象

人工智能 （AI） 的世界正在迅速发展，人工智能越来越多地支持以前无法实现或非常难以实现的应用程序。本系列文章解释了卷积神经网络 （CNN） 及其在 AI 系统中机器学习中的重要性。CNN 是从复杂数据中提取特征的强大工具。例如，这包括音频信号或图像中的复杂模式识别。本文讨论了 CNN 相对于经典线性规划的优势。后续文章“训练卷积神经网络：什么是机器学习？——第2部分”将讨论如何训练CNN模型。第 3 部分将研究使用专用 AI 微控制器测试模型的特定用例。

什么是卷积神经网络？

神经网络是系统或神经元结构，使人工智能能够更好地理解数据，使其能够解决复杂的问题。虽然有许多网络类型，但本系列文章将只关注卷积神经网络 （CNN）。CNN的主要应用领域是输入数据中包含的对象的模式识别和分类。CNN是一种用于深度学习的人工神经网络。此类网络由一个输入层、多个卷积层和一个输出层组成。卷积层是最重要的组件，因为它们使用一组独特的权重和过滤器，允许网络从输入数据中提取特征。数据可以有许多不同的形式，例如图像、音频和文本。此特征提取过程使 CNN 能够识别数据中的模式。通过从数据中提取特征，CNN 使工程师能够创建更有效、更高效的应用程序。为了更好地理解CNN，我们将首先讨论经典的线性规划。

经典控制工程中的线性程序执行

在控制工程中，任务在于从一个或多个传感器读取数据，对其进行处理，根据规则对其进行响应，以及显示或转发结果。例如，温度调节器通过微控制器单元（MCU）每秒测量一次温度，该微控制器单元从温度传感器读取数据。从传感器得出的值用作闭环控制系统的输入数据，并与回路中的设定点温度进行比较。这是由MCU运行的线性执行的示例。该技术根据一组预编程值和实际值提供结论性结果。相比之下，概率在人工智能系统的运行中发挥作用。

复杂模式和信号处理

还有许多应用程序处理输入数据，这些数据首先必须由模式识别系统解释。模式识别可以应用于不同的数据结构。在我们的示例中，我们将自己限制为一维和二维数据结构。一些示例如下：音频信号、心电图 （ECG）、光电容积描记仪 （PPG）、一维数据和图像的振动、热图像和二维数据的瀑布图。

在用于上述情况的模式识别中，将应用程序转换为MCU的经典代码非常困难。一个例子是识别图像中的对象（例如猫）。在这种情况下，如果要分析的图像是来自早期记录还是仅由相机传感器读取的图像，则没有区别。分析软件执行基于规则的搜索，以搜索可归因于猫的模式：典型的尖耳朵，三角形鼻子或胡须。如果可以在图像中识别出这些特征，软件将报告猫的发现。这里出现了一些问题：如果猫只从后面显示，模式识别系统会怎么做？如果它没有任何胡须或在事故中失去双腿会发生什么？尽管这些异常不太可能发生，但模式识别代码必须检查涵盖所有可能异常的大量附加规则。即使在我们简单的示例中，软件设置的规则也会很快变得广泛。

机器学习如何取代经典规则

人工智能背后的想法是在小规模上模仿人类的学习。我们没有制定大量的if-then规则，而是对通用模式识别机进行了建模。这两种方法之间的主要区别在于，与一组规则相比，人工智能并不能提供明确的结果。机器学习不会报告“我在图像中认出了一只猫”，而是产生结果“图像显示猫的概率为 97.5%。它也可能是豹子（2.1%）或老虎（0.4%）。这意味着此类应用程序的开发人员必须在模式识别过程结束时做出决定。为此使用决策阈值。

另一个区别是模式识别机没有配备固定的规则。相反，它是经过训练的。在这个学习过程中，神经网络被显示大量的猫图像。最后，该网络能够独立识别图像中是否有猫。关键的一点是，未来的识别不仅限于已知的训练图像。该神经网络需要映射到MCU中。

模式识别机的内部到底是什么样子的？

人工智能中的神经元网络类似于人脑中的生物对应物。一个神经元有几个输入和一个输出。基本上，这样的神经元只不过是输入的线性变换——将输入乘以数字（权重，w）并加一个常数（偏差，b）——然后是一个固定的非线性函数，也称为激活函数。^1^该激活函数作为网络的唯一非线性组件，用于定义人工神经元触发的值范围。神经元的功能可以用数学来描述为

其中 f = 激活函数，w = 权重，x = 输入数据，b = 偏差。数据可以作为单个标量、向量或矩阵形式出现。图1显示了一个具有三个输入和一个ReLU的神经元^2^激活功能。网络中的神经元总是分层排列。

图1.具有三个输入和一个输出的神经元。

如前所述，CNN 用于输入数据中包含的对象的模式识别和分类。CNN 分为不同的部分：一个输入层、几个隐藏层和一个输出层。图 2 显示了一个具有三个输入、一个隐藏层（包含五个神经元）和一个输出层（具有四个输出）的小型网络。所有神经元输出都连接到下一层中的所有输入。图 2 中所示的网络无法处理有意义的任务，此处仅用于演示目的。即使在这个小网络中，用于描述网络的方程中也有 32 个偏差和 32 个权重。

CIFAR神经网络是一种广泛用于图像识别任务的CNN。它由两种主要类型的层组成：卷积层和池化层，它们在神经网络的训练中都发挥了很大的作用。卷积层使用称为卷积的数学运算来识别像素值数组中的模式。卷积发生在隐藏层中，如图 3 所示。此过程重复多次，直到达到所需的精度水平。请注意，如果要比较的两个输入值（在本例中为图像和过滤器）相似，则卷积操作的输出值总是特别高。这称为过滤器矩阵，也称为过滤器内核或只是过滤器。然后将结果传递到池化层，池化层生成特征映射，即标识重要特征的输入数据的表示形式。这被认为是另一个过滤器矩阵。训练后（在网络的运行状态下），这些特征图将与输入数据进行比较。由于特征图包含与输入图像进行比较的对象类特定特征，因此仅当内容相同时，才会触发神经元的输出。通过结合这两种方法，CIFAR网络可用于高精度地识别和分类图像中的各种物体。

图2.一个小型神经网络。

图3.使用CIFAR-10数据集训练的CIFAR网络模型。

CIFAR-10 是一个常用于训练 CIFAR 神经网络的特定数据集。它由 60，000 张 32 × 32 张彩色图像组成，分为 10 类，这些图像是从网页、新闻组和个人图像集合等各种来源收集的。每个类都有 6000 张图像，在训练集、测试和验证集之间平均分配，使其成为测试新计算机视觉体系结构和其他机器学习模型的理想集。

卷积神经网络与其他类型的网络之间的主要区别在于它们处理数据的方式。通过过滤，将连续检查输入数据的属性。随着串联连接的卷积层数量的增加，可以识别的细节水平也会增加。该过程从第一次卷积之后的简单对象属性（如边或点）开始，然后在第二次卷积之后继续到详细的结构，如角、圆、矩形等。在第三次卷积之后，特征表示类似于图像中对象部分的复杂模式，并且通常是给定对象类所独有的。在我们最初的示例中，这些是猫的胡须或耳朵。特征图的可视化（如图 4 所示）对于应用程序本身不是必需的，但它有助于理解卷积。

即使是像CIFAR这样的小型网络，每层也由数百个神经元组成，并且许多层串联连接。随着网络复杂性和规模的增加，必要的权重和偏差的数量迅速增长。在图 10 所示的 CIFAR-3 示例中，已经有 200，000 个参数在训练过程中需要一组确定的值。特征图可以通过池化层进一步处理，从而减少需要训练的参数数量，同时仍保留重要信息。

图4.CNN 的特征图。

如前所述，在CNN的每次卷积之后，经常会发生池化，在文献中通常也称为子采样。这有助于减少数据的维度。如果您查看图 4 中的特征图，您会注意到大区域包含很少或根本没有有意义的信息。这是因为对象并不构成整个图像，而只是图像的一小部分。图像的其余部分未在此特征图中使用，因此与分类无关。在池化层中，池化类型（最大值或平均值）和窗口矩阵大小都指定。在池化过程中，窗口矩阵在输入数据中逐步移动。例如，在最大池化中，将采用窗口中的最大数据值。所有其他值都将被丢弃。通过这种方式，数据的数量不断减少，最终，它与卷积一起形成了相应对象类的唯一属性。

然而，这些卷积和池化群的结果是大量的二维矩阵。为了实现我们的实际分类目标，我们将二维数据转换为长一维向量。转换是在所谓的扁平层中完成的，然后是一个或两个完全连接的层。最后两层类型的神经元类似于图2所示的结构。神经网络的最后一层的输出与要区分的类的数量完全相同。此外，在最后一层，数据也被归一化以产生概率分布（97.5%的猫，2.1%的豹，0.4%的老虎等）。

神经网络的建模到此结束。然而，内核和过滤器矩阵的权重和内容仍然未知，必须通过网络训练来确定才能使模型工作。这将在后续文章“训练卷积神经网络：什么是机器学习？—第 2 部分”中解释。第 3 部分将解释我们讨论过的神经网络的硬件实现（例如猫识别）。为此，我们将使用MAX78000人工智能微控制器和ADI公司开发的基于硬件的CNN加速器。

^1^通常使用函数 sigmoid、tanh 或 ReLU。
^2^ReLU：整流线性单元。此函数的负输入值输出为零，大于零的值及其输入值。