深度神经网络全面概述.docx

深度神经网络全面概述.docx

《深度神经网络全面概述.docx》由会员分享，可在线阅读，更多相关《深度神经网络全面概述.docx（9页珍藏版）》请在冰豆网上搜索。

深度神经网络全面概述

深度神经网络全面概述从根本概念到实际模型与硬件根底

深度神经网络（DNN）所代表人工智能技术被认为是这一次技术变革基石（之一）。

近日，由IEEEFellowJoelEmer领导一个团队发布了一篇题为?

深度神经网络有效处理：

教程与调研（EfficientProcessingofDeepNeuralNetworks:

ATutorialandSurvey）?

综述论文，从算法、模型、硬件与架构等多个角度对深度神经网络进展了较为全面梳理与总结。

鉴于该论文篇幅较长，机器之心在此文中提炼了原论文主干与局部重要内容。

目前，包括计算机视觉、语音识别与机器人在内诸多人工智能应用已广泛使用了深度神经网络（deepneuralnetworks，DNN）。

DNN在很多人工智能任务之中表现出了当前最正确准确度，但同时也存在着计算复杂度高问题。

因此，那些能帮助DNN高效处理并提升效率与吞吐量，同时又无损于表现准确度或不会增加硬件本钱技术是在人工智能系统之中广泛部署DNN关键。

论文地址：

本文旨在提供一个关于实现DNN有效处理（efficientprocessing）目标最新进展全面性教程与调查。

特别地，本文还给出了一个DNN综述——讨论了支持DNN多种平台与架构，并强调了最新有效处理技术关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计与网络算法以降低DNN计算本钱。

本文也会对帮助研究者与从业者快速上手DNN设计开发资源做一个总结，并凸显重要基准指标与设计考量以评估数量快速增长DNN硬件设计，还包括学界与产业界共同推荐算法联合设计。

读者将从本文中了解到以下概念：

理解DNN关键设计考量;通过基准与比照指标评估不同DNN硬件实现;理解不同架构与平台之间权衡;评估不同DNN有效处理技术设计有效性;理解最新实现趋势与机遇。

一、导语

深度神经网络（DNN）目前是许多人工智能应用根底[1]。

由于DNN在语音识别[2]与图像识别[3]上突破性应用，使用DNN应用量有了爆炸性增长。

这些DNN被部署到了从自动驾驶汽车[4]、癌症检测[5]到复杂游戏[6]等各种应用中。

在这许多领域中，DNN能够超越人类准确率。

而DNN出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量数据中获得输入空间有效表征。

这与之前使用手动提取特征或专家设计规那么方法不同。

然而DNN获得出众准确率代价是高计算复杂性本钱。

虽然通用计算引擎（尤其是GPU），已经成为许多DNN处理砥柱，但提供对DNN计算更专门化加速方法也越来越热门。

本文目标是提供对DNN、理解DNN行为各种工具、有效加速计算各项技术概述。

该论文构造如下：

∙SectionII给出了DNN为什么很重要背景、历史与应用。

∙SectionIII给出了DNN根底组件概述，还有目前流行使用DNN模型。

∙SectionIV描述了DNN研发所能用到各种资源。

∙SectionV描述了处理DNN用到各种硬件平台，以及在不影响准确率情况下改良吞吐量（thoughtput）与能量各种优化方法（即产生bit-wiseidentical结果）。

∙SectionVI讨论了混合信号回路与新存储技术如何被用于近数据处理（near-dataprocessing），从而解决DNN中数据流通时面临吞吐量与能量消耗难题。

∙SectionVII描述了各种用来改良DNN吞吐量与能耗联合算法与硬件优化，同时最小化对准确率影响。

∙SectionVIII描述了比照DNN设计时应该考虑关键标准。

二、深度神经网络（DNN）背景

在这一局部，我们将描述深度神经网络（DNN）在人工智能这个大框架下位置，以及一些促进其开展概念。

我们还将对其主要开展历程与现阶段主要应用领域做一个简单介绍。

1.人工智能与深度神经网络

根据JohnMcCarthy论述，深度神经网络（也称为深度学习）是人工智能（AI）大框架下一局部。

而人工智能（AI）是利用科学与工程学创造具有如同人类那样能实现目标智能机器。

人工智能这个词就是这位计算机科学家在上个世纪50年代所创造出。

深度学习与整个人工智能关系就如下列图所示。

图1：

深度学习在人工智能大框架下位置

2.神经网络与深度神经网络（DNN）

神经网络从神经元涉及对输入值求加权与进展计算这一概念而获得灵感。

这些加权与对应于突触完成值缩放以及其与神经元值间组合。

此外，因为计算与神经元级联相关联，并且其为简单线性代数运算，所以神经元不会仅仅输出加权与。

相反，在神经元中有函数执行组合输入运算，而这种函数应该是非线性运算。

在非线性运算过程中，神经元只有在输入超过一定阀值时才生成输出。

因此通过类比，神经网络将非线性函数运用到输入值加权与中。

我们等一下会描述一些非线性函数。

图2：

简单神经网络例子。

（a）神经元与突触，（b）为每一层计算加权与，（c）前向与反向（循环）网络，（d）全连接与稀疏

（a）中展示了计算神经网络示意图。

图前端是输入层，该层会承受输入数据值。

这些数据值前向传播到神经网络中间层神经元中，中间层也常称为神经网络隐藏层。

一个或多个隐藏层加权与最终前向传播到输出层，该输出层会最终向用户呈现神经网络输出结果。

为了将脑启发术语与神经网络相匹配，神经元输出通常称为激活（activation），并且突触如（a）所示通常称为权重（weight）。

在上方表达式中，W_ij代表着权重、x_i为输入激活、y_i是输出激活，而f（·）就代表着在III-2中描述非线性激活函数。

在神经网络领域内，有一门称为深度学习研究。

普通神经网络根本上层级不会很多，而在深度学习里，神经网络层级数量十分巨大，现如今根本上神经网络可以到达5到1000多层。

3.推理vs训练

这一节中，如图4所示，我们将把图像分类用作训练DNN一个强劲实例。

评估DNN时，我们输入一个图像，DNN为每一个对象分类输出分值向量;分值最高分类将成为图像中最有可能对象分类。

训练DNN总体目标是决定如何设置权重以最大化正确分类（来自标注训练数据）分值并最小化其他不正确分类分值。

理想正确分值与DNN基于其当前权重计算分值之间差被称为损失值（L）。

因此训练DNN目标是找到一组权重以最小化大型数据集中平均损失值。

图4：

图像分类任务

4.开发历史

∙1940年代-神经网络被提出

∙1960年代-深度神经网络被提出

∙1989年-识别数字神经网（LeNet）出现

∙1990年代-浅层神经网硬件出现（IntelETANN）

∙2021年-DNN语音识别取得突破性进展（Microsoft）

∙2021年-用于视觉DNN开场替代人工放大（AlexNet）

∙2021年+-DNN加速器研究兴起（Neuflow、DianNao等等）

图5表柱是这些年来ImageNet竞赛中每届冠军表现。

你可以看到最初算法准确度错误率在25%或更多。

2021年，多伦多大学AlexNet团队通过GPU来提升其计算能力并采用深度神经网络方法，把错误率降低了近10%[3]。

他们成功带来了深度学习风格算法井喷，以及图像识别技术持续进步。

图5：

ImageNet竞赛[10]结果

5.DNN应用

从多媒体到医疗，DNN对很多应用大有裨益。

在这一节中，我们将展示DNN正在发挥影响领域，并凸显DNN有望在未来发挥作用新兴领域。

∙图像与视频

∙语音与语言

∙医疗

∙游戏

∙机器人

6.嵌入vs云

执行DNN推断处理嵌入平台有着严格能耗、计算与存储本钱限制。

当DNN推断在云中执行时，语音识别等应用经常有强烈延迟需求。

因此，在本文中，我们将聚焦于推断处理而不是训练计算需求。

三、深度神经网络概述

根据应用情况不同，深度神经网络形态与大小也各异。

流行形态与大小正快速演化以提升模型准确性与效率。

所有深度神经网络输入是一套表征网络将加以分析处理信息值。

这些值可以是一张图片像素，或者一段音频样本振幅或者某系统或者游戏状态数字化表示。

处理输入网络有两种主要形式：

前馈以及循环（图2c）。

前馈网络中，所有计算都是在前一层输出根底上进展一系列运作。

最终一组运行就是网络输出，比方，这张图片包括某个特定物体概率是多少，某段音频出现某个单词概率是多少，或者下一步行动建议等。

在这类深度神经网络中，网络并无记忆，输出也总是与之前网络输入顺序无关。

相反，循环网络（LSTM是一个很受欢送变种）是有内在记忆，允许长期依存关系影响输出。

在这些网络中，一些中间运行生成值会被存储于网络中，也被用作与处理后一输入有关其他运算输入。

在这篇文章中，我们关注是前馈网络，因为到目前为止，少有人关注硬件加速，特别是循环网络。

深度神经网络也可以是全连接（FC，也指多层感知器），如图2（d）最左局部所示。

在一个全连接层中，所有输出与所有输入都是相连接。

这需要相当数量存储与计算空间。

谢天谢地，在许多应用中，我们可以移除激活（activations）之间一些连接，方法就是将权重设置为零而不影响准确性。

结果会产生一个稀疏连接层。

图2（d）最右端层就是一个稀疏连接层。

通过限制对结果有影响权重数量，我们也可以实现更高效计算。

如果每个输出仅仅是一个固定大小输入窗口函数，就会出现这类构造化稀疏性。

如果这套权重被用于每一个输入计算，就会进一步提高效率。

这一权重共享能显著降低权重存储要求。

通过将计算构建为卷积，一种非常流行窗口式权重共享网络诞生了，如图6（a）所示，其仅使用少量临近激活来计算加权与输出（即，该过滤器有一个有限承受域，与输入距离超过特定值所有权重都将被设置为0），而且这一套权重能被每个输入共享来计算（即，滤波器是空间不变）。

这种构造稀疏性形式正交于源自网络（修改情况如本文局部VII-B2所述）稀疏性。

所以，卷积神经网络就是一种受欢送深度神经网络形式。

1.卷积神经网络（CNN）

图6：

卷积维度。

（a）传统图像处理中二维卷积，（b）CNN中高维卷积

图7：

卷积神经网络

表1：

CONV/FC层形状参数

给定表I中形状参数（shapeparameters），卷积层计算可以定义为：

2.非线性（Non-Linearity）

图8：

多种形式非线性激活函数（来自CaffeTutorial[43]）

3.池化（Pooling）

图9：

多种形式池化（来自CaffeTutorial[43]）

4.归一化（Normalization）

控制输入在层级中分布能显著地加快训练速度并提升准确度。

因此，输入激活在层级上分布（σ,µ）需要归一化处理，使其变换为均值为0、标准差为1分布。

在批量归一化（batchnormalization）中，归一化值如方程

（2）所示将进一步缩放与平移，参数（γ,β）是从训练[44]中学到两个小常数，它们能防止数值问题。

（1）流行DNN模型

在过去二十多年里出现了很多种DNN模型。

每一种都称其拥有不同「网络架构」，因为他们依据不同层级数量、滤波器形状（如过滤尺寸，滤波器与通道数量）、层级类型以及连接方式而划分。

正确地理解这些不同方法与它们开展趋势对于提高DNN引擎效率至关重要。

其中包括：

∙LeNet[9]于1989年提出，是最早CNN方式之一。

其中最为人熟知是第八版LeNet-5，其中包含两个卷积层与两个全连接层[45]。

∙AlexNet[3]是第一次赢得ImageNet挑战赛CNN