AI芯片应用场景分析PPT文件格式下载.pptx

1、对于芯片的多核并行运算、片上存储、带宽、低延时的访存等提出了较高的需求。3、针对不同应用场景，AI芯片还应满足：对主流AI算法框架兼容、可编程、可拓展、低功耗、体积及造价等需求。注释：DL：Deep Learning，指深度学习。来源：Deep LearningIan Goodfellow、Yoshua Bengio、Aaron Courville；英伟达官网。ControlALUALUALUALUCacheDRAM深度学习模型复杂度及规模对芯片算力需求激增3通过架构设计AI芯片跨越工艺限制，算力效能对CPU实现大幅超越ALUDRAM工艺提升缓慢，面对大规模 并行运算需求，需要对芯片 架构进行

2、重新设计；GPU：开发即面向图像处理 等大规模运算需求；FPGA/ASIC：对缓存、计算 单元、连接进行针对性优化 设计。AI芯片实现算力提升注释：PPA：POWER、PERFORMANCE、AREA，指芯片的算力、功耗和面积。Intel官网；英伟达官网；公开网络数据；艾瑞研究院。Intel/Altera-Stratix10SoCNvidia-TESLAV100Google-TPUv2AI芯片满足AI应用所需的“暴力计算”需求早在上世纪80年代，学术界已经提出了相当完善的人工智能算法模型，但直到近些年，模型的内在价值也没有被真正的实 现过。这主要是受限于硬件技术发展水平，难以提供可以支撑深度神

3、经网络训练/推断过程所需要的算力。直到近年来GPUFPGAASIC等异构计算芯片被投入应用到AI应用相关领域，解决了算力不足的问题。下图以云计算场景为例，通过对全球几大科技巨头的代表性云端芯片产品计算性能对比，我们可以发现ASIC芯片相比起其 他几种芯片，在计算效能、大小、成本等方面都有着极大优势，未来随着通用AI指令集架构的开发，预计会出现最优配置 的AI计算芯片。典型的云端计算芯片算力表现比较Performance（TFLOPs）4515.70.0018Intel-XEON10CPUFPGAGPUASIC4优点：通用性好，串行运算 能力强；适用于逻辑运算；缺点：开发难度最大，大量 的晶体管

4、用于构建控制电路 和高速缓冲存储器，运算单 元占比少，架构限制了算力 的进一步提升。优点：相比CPU，由于其多 线程结构，拥有较强的并行 运算能力，与FPGA和ASIC相比通用性更强；价格、功耗等不如FPGA和ASIC，并行运算能 力在推理端无法完全发挥。可对芯片硬件层进行 灵活编译，且功耗远远小于CPU和GPU缺点：硬件编程语言难以掌 握，单个单元的计算能力比 较弱，硬件成本较高，电子 管冗余，功耗可进一步压缩。针对专门的任务进行 架构层的优化设计，可实现PPA最优化设计、量产后成 本最低；初始设计投入大，可 编程架构设计难度较大，针 对性设计会限制芯片通用 性。AI芯片产品定位CPU5GP

5、UXPUDSPModemCameraISP4KVideoHifiAudioLPDDR4XUFSSensorProcessorSecurityEngine来源：英伟达官网，公开网络数据。AI芯片对CPU并非替代，与CPU共同满足新时代计算需求目前来看，AI芯片并不能取代CPU的位置，正如GPU作为专用图像处理器与CPU的共生关系，AI芯片将会作为CPU的AI运 算协处理器，专门处理AI应用所需要的大并行矩阵计算需求，而CPU作为核心逻辑处理器，统一进行任务调度。在服务器产品中，AI芯片被设计成计算板卡，通过主板上的PCIE接口与CPU相连；而在终端设备中，由于面积、功耗成本 等条件限制，AI芯片

6、需要以IP形式被整合进SoC系统级芯片，主要实现终端对计算力要求较低的AI推断任务。服务器级产品中通过PCB上PCIE接口与CPU组成通过SoC封装与CPU组成异构计算单元 异构计算单元SoCAI芯片应用场景算法下发 计算下沉云端数据回传模型训练/推理边缘+终端终 端 SoC+IP：DSP/GPU/ASIC边缘智能服务器：GPU/FPGA/ASIC云数据机房智能服务器：GPU/FPGA/ASIC超大数据量本地处理断网下独立本地处理工业/农业等家 庭数据安全、异构、实时响应基于对数据传输带宽压力、数据安全等因素的考量，边缘和终端侧承载了需要本地实时响应的推理任务。需要独立完成任务涵 盖：数据收集

7、、环境感知、人机交互以及部分的推理决策控制任务。自动驾驶智慧安防移动互联网其他物联网场景低功耗、数据安全AI芯片为AI应用落地提供了商业化可行的算力解决方案在人工智能发展初期，算法已经通过数据中心（云端）在大数据分析、精准营销、商业决策等方面实现了成功地应用落 地。而未来，智能化将会逐渐渗透进入能源、交通、农业、公共事业等更多行业的商业应用场景中，除了部署在云端进行 数据分析等工作，人工智能还需要下沉到摄像头、交通工具、移动设备终端、工业设备终端中，与云计算中心协同实现本 地化的、低延时的人工智能应用。考虑到任务算力需求，以及传输带宽、数据安全、功耗、延时等客观条件限制，现有云 端计算解决方案

8、难以独自满足人工智能本地应用落地计算需求，终端、边缘场景同样需要专用的AI计算单元。云端与边缘侧人工智能应用场景对于AI芯片的需求云端负责承载智能数据分析、模型训练任务和部分对传输带宽要求不高的推理任务。艾瑞研究院自主绘制。620.23.439.120172022e云端训练AI芯片云端推断AI芯片边缘推断AI芯片7AI芯片整体市场规模预测AI芯片市场规模未来5年增长有望达到10倍1、市场根据AI芯片功能及部署场景将AI芯片分为：训练/推断、云端/边缘两个维度进行划分。训练端由于需要对大量原始 数据进行运算处理，因此对于硬件的算力、计算精度，以及数据存储和带宽等都有较高要求，此外在云端的训练芯片

9、应该 有较好的通用性和可编程能力。推理端对于硬件性能要求没有推断端高，实证证明一定范围的低精度运算可达到同等推理 效果，但同时这要求模型训练精度要达到较高水平。2、根据中金公司研究部数据显示，2017年，整体AI芯片市场规模达到62.7亿美元，其中云端训练AI芯片20.2亿美元，云 端推理芯片3.4亿美元，边缘计算AI芯片39.1亿美元；到2022年，整体AI芯片市场规模将会达到596.2亿美元，CAGR57%，其中云端训练AI芯片172.1亿美元，CAGR 53.5%，云端推断芯片71.9亿美元，CAGR 84.1%，边缘计算AI芯片352.2亿美元，CAGR 55.2%。AI芯片细分市场规

10、模单位：亿美元。AI芯片：应用落地推动产品多样化中金公司研究部2017-2022年AI芯片细分市场规模预测CAGR:53.5%172.1CAGR:84.1%71.9CAGR:55.2%352.2AI芯片行业概述1AI芯片应用场景及市场需求分析23目录应用场景：云计算来源：IBM。应用数据 运行 中间件应用数据 运行 中间件应用数据 运行 中间件应用数据 运行 中间件云O/SO/SO/SO/S厂商虚拟化虚拟化虚拟化虚拟化管服务器服务器服务器服务器理存储存储存储存储网络网络网络网络传统ITIaaSPaaSSaaS客 户 自 行 管 理云计算：共享规模化经济效益有效降低边际成本投入云计算是一种按使用

11、计费的IT服务模型，实现对高可靠、可配置的计算资源池（服务器、存储、网络、应用程序和服务）的方便快捷的访问，资源可通过最少的管理工作快速的配置和发布。云计算具有：资源池、广泛的网络访问、按需自助服 务、快速弹性膨胀、测量服务等5个基本特征。云计算服务模式主要包括：IaaS、PaaS、SaaS：1.IAAS-提供基本的计算（虚拟或专用硬件）、存储、网络资源，使用者在资源中部署运行任意应用程序和操作系统；2.PAAS-提供部署在云基础设施上的编程语言、库、服务和支持工具，为开发人员提供了一个自助服务门户而无需管理 底层基础设施；3.SAAS-提供在云基础设施上运行的应用程序，程序运行管理皆由服务提

12、供商负责。相比起传统IT模式，云计算模式可实现：降低用户初始IT投资成本及IDC机房维护费用并实现资本效益配置最大化、IT资 源快速弹性扩展、数据价值的有效挖掘以及业务的快速上线部署等。云计算服务模型10889.7952.5967.2988.71009.11107.91110.31145.13%201020112014201220152013201620172010-2017年全球服务器出货量及增速18%7%10%2%2%2%0%全球服务器出货量（万台）同比（%）4900460067001243168225494756-6%46%51%10100296%2014-2017年 Amazon&阿里

13、巴巴云计算建设资本支出270%298%20162017阿里巴巴（百万美元）来源：AMAZON、阿里巴巴公司年报披露数据。Wind。11阿里巴巴（%）云计算中心服务器及硬件市场规模云计算发展带动上游硬件市场需求近些年云厂商巨头快速扩张带动了上游数据机房建设热潮，虽然这会抵消部分企业自建机房及采购服务器的需求，但是这 部分需求并没有消失而是转移到了对云数据中心IT资源的需求上。中国云产业比美国发展晚24年左右，在全球云计算市 场中，美国占比达到54.1%，中国仅为5%。2017年中国IT支出为2.4万亿人民币，仅占全球IT总支出金额的9.92%，对应 中国GDP水平仍有较大的提升空间。中国虽然起步

14、较晚但发展迅猛，对比亚马逊及阿里巴巴云计算资本支出数据，可以看 到阿里巴巴在云计算领域支出总金额绝对值虽然少于亚马逊，但增速却显著超过了亚马逊的资本支出增速，这显示了近年 来国内加大对于计算资源基础设施的建设力度，将极大受益于服务器厂商及上游芯片厂商业绩。2014 2015Amazon（百万美元）Amazon（%）云计算与人工智能服务注释：AI服务器：指搭载了AI芯片、计算板卡并用于人工智能相关运算的服务器。DL-aaS：以云服务的形式提供高效的深度学习开发平台AIInfrastructureAIFrameworksAI-aaS：以云服务形式提供人工智能技术应用AIPlatformsAISer

15、vices云厂商服务器云计算为AI开发部署提供多元化服务支持云计算服务供应商可以向客户提供包括计算、存储、数据库、分析、移动、物联网和企业应用等一系列多层级服务。在人 工智能应用方面，由于人工智能（以深度学习为代表）的开发及应用对于算力、数据有较大的需求，而云计算服务可以为 开发者提供AI计算芯片以及基于其开发的智能服务器集群等强大算力设施的租用，同时也可以为开发者提供PaaS级的开发 平台或是直接提供已训练好的人工智能功能模块等产品。通过多元化的服务模式，可以降低开发者的开发成本和产品开发 周期，为客户进行方便快捷的AI赋能。云计算核心产业链及云端人工智能服务模式芯片软件零售媒体游戏金融制造业房地产客户广告物流医疗教育科技通讯公共来源：AWS官网。11云计算与人工智能来源：英伟达官网、亚马逊官网、公开网络数据、专家访问。