嵌入式人工智能行业分析报告Word文件下载.docx

1、（3）嵌入式 AI具有较大商业价值，物联网及能耗要求推动嵌入式人工智能的发展 10（4）自动驾驶、智能机器人、智能手机及智能家居将率先导入应用 113、移动计算厂商加快布局嵌入式人工智能 12三、NPU神经网络处理器芯片是嵌入式AI 的核心 141、传统CPU架构无法支撑深度学习要求的大规模并行运算。 142、三种主流的NPU处理器芯片：GPU、FPGA、ASIC 16（1）GPU：并行计算优势最先投入到深度学习计算中 16（2）FPGA+CPU异构架构：高性能、低功耗的可编程芯片 17（3）ASIC：低功耗、高性能的专用芯片 19（4）GPU&FPGA&ASIC各有侧重 20四、相关公司简况

2、 211、全志科技 212、中科创达 223、富瀚微 234、中科曙光 24柏林时间9月2日下午华为在IFA 2017柏林消费电子展上发布了全球首款移动端AI芯片麒麟970（Kirin 970），标志着嵌入式人工智能的到来。嵌入式人工智能，是AI落地的最后一公里解决方案。从PC互联网到移动互联网到智能化终端，对AI的要求越来越高。当前的人工智能计算主要在云端数据中心进行，非常依赖网络，具有一定的时延，且数据传输的安全性、私密性不能得到保证。随着人们对人机交互和信息获取的智能化要求越来越高，移动设备上会有越来越强的AI需求，嵌入式人工智能在本地计算，不联网的情况下就可以做到实时的环境感知、人机交

3、互、决策控制，是解决移动终端智能的技术路径。神经网络处理单元（NPU）是满足AI深度学习算法的技术方向。深度学习是当前人工智能的主流算法，其本质是人工神经网络，要求对海量数据进行大规模并行计算，随着摩尔定律变缓甚至失效以及传统CPU架构单线程的计算特点无法支撑深度学习并行大规模计算的要求，异构计算架构是新的技术方向，为AI提供计算加速过程。基于各种架构的NPU处理器芯片是嵌入式人工芯片研发的重点。NPU处理器芯片有三种实现路径，GPU、FPGA、ASIC方案各有千秋。异构计算架构是新摩尔定律的方向。NPU处理器作为嵌入式AI的核心，有GPU、 FPGA,、ASIC三种实现技术路径。云端AI的实

4、现以GPU方案为主，终端AI的实现由于实时性、低功耗的要求，FPGA和ASIC实现方案更具有优越性。一、AI芯片里程碑事件一华为发布全球首款手机AI芯片柏林当地时间9月2日下午，华为在工FA 2017柏林消费电子展上发布了全球首款移动端A工芯片麒麟970 （Kirin 970） ,该芯片是全球首个集成独立人工智能专用NPU神经网络处理单元的移动芯片，采用台积电的10nm先进工艺，所采用的是创新的HiAI移动计算架构，内置八核CPU【ARM的big.LITTLE多核架构，四个Cortex-A73 （ CPU）+四个CortexA53小核心（CPU）】，Mail-G72MP 12 （ GPU）和深

5、度学习神经网络单元（NPU）。NPU运算能力达到1.92TFP 16 ops，凭借AI计算能力，在处理同样的AI应用任务时，新的异构计算架构能够提高25倍的CPU性能和50倍的能耗表现。目前该芯片支持语音识别、人脸识别、场景识别等多个人工智能场景的处理。麒麟970提供双ISP图像处理单元和工mage DSP信号处理单元，得益于更加强大的算法优化和AI神经网络辅助下，吞吐量增加25%，支持AI场景识别、人脸追焦、智能运动场景检测，同时夜拍效果提升。云端的人工智能是目前各大科技巨头极为重视的一个方向，华为也在着力布局人工智能云服务。云服务的优势在于数据存储，但机器学习应用将计算与存储任务交给云端时

6、会产生如延迟、稳定性、安全性、隐私性等弊端，在部署到手机端之后，结合终端计算优势，芯片和云服务各自负责不同的认为，弥补了云的缺陷。因此华为提出移动Al=设备AI+云AI，华为认为所有延迟、敏感类的应用都是需要在设备端进行处理的。另外，在网络连接不通的情况下，人们也需要依赖设备本地的处理能力。在云服务器端，我们可以看到谷歌、英伟达等公司已经推出了针对人工智能任务优化的新型芯片。在移动设备领域，麒麟970第一次将人工智能硬件带进了手机。移动端计算能力的提升会使人工智能的应用走出瓶颈，带来更多、更丰富的用户体验。二、嵌入式AI是人工智能在移动终端落地的最后一公里解决方案人工智能算法过程大致可分为数据

7、收集与决策两部分，其中，数据收集方面，因需要大量运算，应在云端进行。决策方面，目前各国仍以云端发展为主。以云为中心的架构方式并非在任何情况下都是最理想的解决方案，比如对信息安全的担忧以及功耗对产品设计带来的挑战等。受此影响，以分布式为特点的嵌入式人工智能技术开始受到关注，未来它的发展将使设备端具有更高的智能。1、以互联网巨头为主的人工智能仍以云端AI计算为主深度学习算法可以帮助计算机理解大量图形、声音和文本形式的数据，但其能力严重依赖于云端数据中心强大的计算能力，且是高功耗、高成本。以安防领域的摄像头为例，摄像头采集到视频和图像数据之后需要借助网络上传至后台，后台计算完成后再返回到摄像头。例如

8、Google AlphaGo 就是依赖于强大的CPU+GPU 搭建的服务器群，下一盘棋电费就要花掉3000 美元。即使是手机上的虚拟个人助理如siri，google Now 以及Cortana，大多数能力都需要借助网络将数据传到云端进行运算然后再返回设备，手机只被当作一个信息采集和显示的终端。由于大部分AI 应用都基于云端，制约了人工智能向更多前端应用场景的渗透。一方面过去的人工智能基本上是在相对高性能的服务器上去构建软件算法，如何降低成本是一个问题；另一方面，高功耗制约了人工智能向更多前端应用场景的渗透。业界对高效率低功耗的人工智能芯片及解决方案的需求非常强烈，因此发展嵌入式人工智能的首要目

9、标是增强设备的本地运算能力、解决功耗问题。2、嵌入式AI是人工智能在移动终端等前端场景的落地的必经之路（1）嵌入式 AI与云端AI所谓嵌入式AI，就是设备无需联网通过云端数据中心进行大规模计算去实现人工智能，而是在本地计算，在不联网的情况下就可以做实时的环境感知、人机交互、决策控制。云计算和本地计算是两种不同的计算模式。本地计算（又称端计算、边缘计算），特点是可在离线状态下独立工作。嵌入式人工智能也是一种本地计算，是在终端设备上运行深度学习相关算法。云端AI 走的超级计算机的路子，一方面要支持尽可能多的网络结构以保证算法的正确率和泛化能力；另一方面必须支持高精度浮点数运算，峰值性能至少要达到T

10、flops 级别，所以功耗非常大。且为了能够提升性能必须支持阵列式结构。其优势在于，服务器存储的数据量大，计算准确性高，计算的能力强，通常用于单次、不连续的计算任务请求。这类典型的公司比如，Face+提供 API 接口的人脸识别云服务、科大讯飞语音识别云服务、图普科技图像内容审查云服务等，这些都需要把计算任务通过网络上传云端，云端计算完成后再把结果传回本地。虽然云计算计算能力强大，但是也有弊端，很多计算场景是需要在本地进行的。嵌入式人工智能最大的特征就是本地计算，在不联网的情况下就可以做环境感知、人机交互、决策控制，且是实时的。相较而言，云端致力于如何更好地解决问题，而嵌入式人工智能则强调如何

11、更加经济地解决问题。地平线的CEO 余凯认为，未来云端智能将呈线性发展，而终端智能则呈指数发展。为此，问题在于如何低成本的实现终端智能。这则需要从底层计算架构到计算平台层，甚至到上面的软件算法等各方面配合。（2）云端 AI 限制了人工智能在很多前端应用场景的落地人工智能在PC 互联网以及移动互联网早就得到较大规模的运用，比如网站上的搜索排名以及个性化推荐等。但这些人工智能背后的计算都在云端、大型机房内。人工智能将更多的去深入到线下的场景（即嵌入到诸如汽车、家具等设备内），让终端本身具有智能，而不是由智能的云端控制。云端AI 不具备安全性且无法脱机运行。云端计算虽然精确度高，但由于数据传输不具备

12、安全性，比如家里安装了一个监控摄像头，用来关注老人和孩子的安全，上传到云端的计算也意味着隐私被泄露的风险提升。还有就是脱机时，虽然现在通信技术发展很快，但仍然会碰到在地下停车场、商场里没有信号的情况，这时候就不能指望云端计算了。移动终端AI 要求实时性：移动终端设备要求计算没有延迟，并且是实时的，尤其是无人驾驶方面，对实时性要求更强。比如一个很大的应用场景不可能前面有小孩子突然横穿马路，你还要把数据传上数据中心，处理完了以后再传回来，这是不可想象的。所以一定要本地计算，要实时处理没有延迟。人工智能系统对图像和视频进行分析的一大前提是，采集到的数据必须足够清晰，因此视频监控正朝着日益高清化的趋势

13、发展，产生了十分庞大的数据量。但受制于网络传输技术和网络环境，传输如此庞大的数据量势必会产生一定的延时，甚至根本无法传输。而现代安防理念的核心早已经从“事后溯源”升级为“事前预防”，要提前预测风险并及时阻止危险发生，“实时性”是一项基本前提。移动终端的智能化使得AI 由云端向终端的趋势。从PC 互联网到移动互联网到智能化终端，对AI 的要求越来越高。随着人们对人机交互和信息获取的智能化的要求越来越高，移动设备上会有越来越强的AI 需求，很多的计算需要从数据中心往移动设备上转移，在终端移动设备上做perception，做人机交互，还有决策等事情。（3）嵌入式 AI具有较大商业价值，物联网及能耗要

14、求推动嵌入式人工智能的发展物联网拥有海量的终端设备，未来如果这些网络节点所抓取的数据都需要上传云端进行智能处理或者深度学习，对网络带宽将提出巨大挑战。据调研机构IDC 预测，未来几年全球数据量年均增长率有望达到50%，到2020 年全球的数据总量有可能达到40ZB，2020 年中国的数据量预计为8.6ZB，有数据统计显示，中国2015 年的移动数据量约为400TB，现有的网络基础架构虽然还会继续升级，但在万物互联带来的数据大爆炸面前，网络带宽依然会是一个很现实的瓶颈，所以把所有的数据汇集到云端，然后在云端处理之后在分发到智能设备，或许并不是一个最优的选择。嵌入式在计算能效和实时性上较强。比如监

15、控摄像头会产生大量的视频数据，但很多画面在很长时间内都是毫无变化的，如果把摄像头加入嵌入式AI，那么就以在源头上去重，根据算法只保留有价值的影像资料，在本地就实现了一次数据清洗和去重处理，这可以大大节约存储和传输成本，像这个场景就可以充分地体现嵌入式AI 的商业价值。在车载系统中，嵌入式AI 的价值也非常明显。在车辆高速行驶过程中，不管是无人驾驶还是辅助驾驶，要求对路况变化做到毫秒级别的响应，如果纯粹依靠云端AI，或许5G 网络在正常状态下可以满足车辆和云端AI 的通讯延迟要求，但如果一旦进入到隧道或者山区这类信号覆盖不好的地方，高速行驶的车辆可能就会发生反应延迟的问题，所以在车载应用中，嵌入式AI 目前来说，其存在价值也是无可替代的。功耗问题是推动嵌入式AI 发展的另一驱动。设备端大量采用电池供电，比如智能移动设备、新能源汽车等都对设备功耗提出越来越高的要求。以边缘计算为特点的嵌入式人工智能开始受到重视。和云计算一样，边缘计算的作用也是优化资源、提升效率。举个例子，一些嵌入式的小型设备基础信息采集处理是在云