人脸识别、语音翻译、无人驾驶...这些高科技都离不开深度神经网络了！

人工智能如今已渗入到生活中的各个方面。从引人关注的围棋、象棋对手，到手机支付、手机解锁中的人脸识别，都运用了人工智能。

围棋人工智能

人工智能具备很多人类的感知和识别能力，能自动完成一定的任务，例如识别声音、认出人脸和做出决策等等。

人工智能 AI

如何自动完成任务？以图像识别为例，在以前，我们会给计算机输入一系列规则让它推理(rule-basedreasoning)，它采用特征点归类的方法来辨别图像，但这很难能准确地识别。

如果我们告诉计算机左边是萝卜，那它可能会以为右边的甜筒也是胡萝卜。

要想实现真正的人工智能，人们研究出了机器学习。

机器学习简单说就是，编写出一套算法，使计算机能“自动”地进行学习。我们不需要输入大量规则，只需用少量的规则建造一个模型，计算机就可以通过学习来创造新的数据，从而对新事物做出分析和判断。

通过学习左边的 1，可以判断出右边也是 1

之前我们示范过，如何用一个神经网络，写出一套机器学习算法，来自动识别未知的图像。

一个 4 层的神经网络

输入层经过几层算法得到输出层

实现机器学习的方法有很多，近年被人们讨论得多的方法就是深度学习。

深度学习是一种实现机器学习的技术，它是用深度神经网络来实现机器学习，网络深度比原始网络加深了数十甚至上百倍。

增强学习也可以达到机器学习的效果，感兴趣的小伙伴可以上网搜索，在此暂时没有推荐的书籍。

一个 34 层的深度神经网络

这种网络可以解决什么问题呢？ 其中最热门的就是图像识别问题。

比如计算机拿到一些猫的照片后，可以识别出中华田园猫和其他种类的猫，然后分类。这种看似很废的用处，如果运用到医疗领域，比如分辨好的和病变的器官，或是目前大热的人脸识别，都将改变人类的生活。

人脸识别

从 2010 年开始，为了更好地发展图像识别技术，人们建立了图像数据库 ImageNet，甚至举办了基于数据库的识别大赛 ILSVRC，比比看谁的图像识别方法更好。

ImageNet 数据库

深度学习在比赛上得到了很好的成绩，因此受到更多人的重视并发展。在这之前，发展受限主要是因为芯片和显卡带不动（运算量实在太大了）。

旧的图像识别方法

无论在深度学习普及之前还是之后，对于图像处理大都是将图像转换成一个向量之后进行计算，从而进行分类。根本的问题就是，如何用一个高维的向量来表示一个图片。

表示方法有很多，比如采用提取图像的定向梯度直方图得到特征，并对所提取的特征进行处理。这样确保能尽量保留每一类物体图片的特征，从而区分出不同的图片。

然而，采用这种特征提取方法的计算机识别率并不高，错误率仍然接近 28%，比人类笨太多了。下面介绍几种深度学习的方法，它们使识别错误率极大地降低。

卷积神经网络：AlexNet

在 2012 年，深度学习第一次被运用到 ImageNet 比赛中。其效果非常显著， 错误率从前一年的 26% 直接降低到 16%。

那一年，夺冠的图像识别神经网络被称为 AlexNet，本质是卷积神经网络(ConvolutionalNeural Network)。

AlexNet 结构

卷积神经网络是一类采用卷积层，池化层和全连接层的神经网络。它不去具体地查看每一个像素点之间的关系，而是对每一小块区域进行编码。

多层神经网络的编码复杂程度较高，所以分类的结果也比较准确。我们以识别字母 A 为例，简单地解释一下原理。

C：卷基层；S：池化层；F：全连接层

假设我们要编码 A（INPUT）的右下角，那被指向的 C1（第二个框）的点就代表了 A 被选出的区域。C1 一共有 6 张，每张的同一个位置都在编码这个区域。S2（第三个框）是池化层，对上一层（C1 ）进行简化。C2 上有一个小框指向 S2，说明这块区被简化。S2 又被选出一块指向 C3（第四个框），表示这块区域在C3上被编码。

全连接层用几个数字表示一块区域。F6（右二）用 84 个数据来代表前面的 120 个数据，最后 OUTPUT 则为输出 10 个数据，这 10 个数据就代表了一开始的 A。（此处应有掌声！！！）

卷积相当于两个图像之间、像素点与像素点之间一一对应的乘法，再进行求和。

由于采用多层的神经网络，且每一层的结果都是一个高维的特征图像，所以计算量也相当大，在 AlexNet 中就需要确定 6 千万个参数来确定这个网络。

那么多的网络光靠 CPU 可能算不来，只能借助 GPU 来计算。GPU是什么呢？

GPU 工作原理

看不懂就掠过吧，不重要

CPU 只有 8 个可以计算的核，一次只能运行 8 个进程，而 GPU 中带有成百上千个核，一次可以进行成百上千次计算（也叫并行计算），可以确定网络和参数。

更深更精确的网络：GoogleNet 与 VGGNet

2014 年，又诞生了两种经典的深度神经网络，GoogleNet 和 VGGNet。他们都是基于卷积神经网络的深度神经网络，和 AlexNet 的基本原理基本一致。这两个网络除了深度不一样，自身也各有特色。

网络参数量过多会导致训练时的效果好，但测试时的效果差（这也叫过拟合现象），GoogleNet 可以解决这个问题。它采用了“InceptionModule”卷积结构，可以得到一个稀疏的网络结构来缓解这种现象，提高测试时的准确率。

Inception Module

其总的架构如下图：

和 GoogleNet 不一样的是，VGGNet 采用了更传统的卷积神经网络，结构也比较简单。其卷积核全部采用了小卷积核，可以尽量减少参数的数量和计算量。

VGGNet

这两种网络都将错误率降低至 7.5% 以下，但是仍然和人类的错误率有一点差距。

理论上，在一定的深度范围内，网络越深，准确率就会越高（这点在 VGG 的论文中有实验的证明，文末附有相关阅读）。但若超出范围，即使网络再深下去，准确率也没有明显提高。那么，网络深度真的到头了么？

将网络深度发挥到极致：ResNet

事实证明并没有。2015 年，ILSVRC 中一个更深的网络诞生了——ResNet。

ResNet 的网络基本原理和卷积神经网络一样，但直接将原来最深 22 层的深度神经网络扩展到了 152 层。

ResNet-34 网络的卷积核基本都和 VGGNet 一样采用小卷积核，它最大的特点是用到了余项函数，在两层的卷积层之间有直接的神经网络连接。这样的好处是，当我们使用反向传播算法来计算卷积层变化率时，梯度变化不会减小到 0。

梯度也是偏微分，它越大就说明需要越大的力度优化网络，所以我们要不断地减小梯度，但若小到等于 0，它就相当于无效了。

ResNet 的诞生也得益于 GPU 的并行计算越来越先进，GPU 的显存从原来的 4G 级别扩展到了 12G 级别，可以完成更大的计算量。

一块先进的 GPU

ResNet 的图像识别错误率低至 3.6%，这是什么概念？这么说吧，人类测试的错误率是 5%，也就是人工智能比人类更智能了！

无监督学习的实例：GAN 网络

以上的深度学习方法都是监督学习，笼统地说，就是给计算机一些例子和答案，让它去学习。但有时，例子根本就没有答案，这就需要用到无监督学习了。最近比较受瞩目的是 GAN（生成对抗网络），它不属于图像识别，而是可以生成图像！

网络生成图像

一般别人只使用单个的深层神经网络，而 GAN 用了两个相互竞争的网络，互相通过零和游戏进行竞争，最后还会给出判定，如果一方胜利，那另一方就失败。

这两个网络如何“画”出我们想要的图像呢？

假设我们要生成一个艺术风格的图像，这两个网络就可以看作是生成器和判别器。生成器的任务就是生成一个艺术的图像，判别器的任务就是判断这个图像到底艺不艺术。

生成器对比真实数据和生成数据

GAN 完成训练的标志就是，它无法相对于另一个网络取得进步（就是没办法画得更好了！）。完成得最理想的效果就是，判别器没办法区分出真实的数据和生成器产生的数据。

GAN 的对抗其实和人类很像。比如熊孩子在学写字，老师在旁边检查，那熊孩子就是生成器，老师就是判别器。如果有一天，老师再也挑不出熊孩子写字的毛病了，熊孩子就荣升乖孩子，写字训练就结束了。

上面为样本，下面为生成图

最终会被对比和判别

深度学习的运用

比较常见的深度学习应用就是图像识别。在监控领域，我们可以自动识别人脸和汽车，人脸识别也是用了深度学习之后才有较高的准确率。

监控识别

另一个应用就是机器翻译。传统的机器翻译是将语言规则提取出来，然后再人工去添加各种特征，永远无法覆盖所有的语言现象。比如，北方的机器翻译不出南方人的话。

近年来，各大翻译软件都用了深度学习技术，利用神经网络改进关键模块，通用性大大地增强，南北差异再也不是问题了！

◆◆◆

可以看出，深度学习不仅作用于图像，还可以延伸到更广的领域。

随着学界对深度学习研究越来越成熟，更深层且功能更强大的神经网络不断地被开发。并且，各种计算器件比如 CPU 和 GPU 在不断强化，甚至出现了更高效的器件比如 FPGA，相信未来，这项技术会带我们进入一个更智能的世界。

本期作者

新加坡南洋理工大学许悦聪

深圳职业技术学院 RoboMaster 战队顾问

没事爱造无人机，热爱机器学习的博士生

- 专业不枯燥，解读机器人信息 -