赛迪顾问中国云计算产业关键技术研究.docx

1、赛迪顾问中国云计算产业关键技术研究软件与信息服务研究本期主题中国云计算产业关键技术研究本期主题：中国云计算产业关键技术研究一、云计算技术发展现状与问题（一）云计算技术发展现状云计算发源于欧美发达国家，其关键核心技术和标准也大多由其政府、标准组织和厂商提出。我国云计算技术处于一个学习、转化和创新的阶段，相关的标准、技术有待成熟。当下，中国云技术的推动力量主要来源于政府的产业引导基金和企业的前瞻研发。1、政府主导下的云技术发展中国政府在推动云计算产业发展方面彰显了巨大的决心，并将云计算定位于将要重点培育的新兴产业。通过政府产业基金引导，力争在云计算关键技术方面取得突破，为国家云计算产业发展奠定坚实

2、基础，实现中国云得“自主、安全、可控、可信”。战略性新兴产业是以重大技术突破和重大发展需求为基础，对经济社会全局和长远发展具有重大引领带动作用，知识技术密集、物质资源消耗少、成长潜力大、综合效益好的产业。国务院关于加强培育和发展战略性新兴产业的决定在论及七大战略性新兴产业之一新一代信息技术产业中明确指出：加快建设宽带、泛在、融合、安全的信息网络基础设施，推动新一代移动通信、下一代互联网核心设备和智能终端的研发及产业化，加快推进三网融合，促进物联网、云计算的研发和示范应用。着力发展集成电路、新型显示、高端软件、高端服务器等核心基础产业。提升软件服务、网络增值服务等信息服务能力，加快重要基础设施智

3、能化改造。大力发展数字虚拟等技术，促进文化创意产业发展。云计算建设发展正在纳入中国重点城市的发展战略部署，以北京、上海、无锡、深圳、杭州为例，随着这些城市在云计算应用案例、未来发展方向、发展目标、应用领域等发展规划的落实，将带动云计算关键技术的发展，并形成具有中国技术特色的云计算产业。表1 中国重点城市云计算技术推进现状重点城市应用案例未来发展方向发展目标重点应用领域北京北工大云计算实验平台，公共云计算平台云计算专用的芯片和软件平台、云计算服务产品、云计算解决方案、云计算网络产品及云计算终端产品世界级云计算产业基地，2015年形成500亿元的产业规模，产业链规模达2000亿元电子政务、重点行业

4、、互联网服务及电子商务上海盛大网络云计算平台、上海市云计算创新基地启动、上海市云计算产业基地启动、微软中国将其云计算创新中心选择上海落户突破虚拟化核心技术、研发云计算管理平台、建设云计算基础设施、鼓励云计算行业应用、构建云计算安全环境亚太地区的云计算中心，3年内在云计算领域形成1000亿元的新增产业规模城市管理、产业发展、电子政务、中小企业服务等无锡无锡云计算中心、盘古天地软件服务创新孵化平台、无锡传感网创新园云存储计算中心发展商务云、开发云、政务云等多个云平台，提供多样化云服务优化无锡市软件和服务外包产业的发展生态环境电子政务、电子商务、科技服务外包等深圳中国科技大学深圳云计算应用中心、深圳

5、市云计算产业协会、微软云计算领域合作等打造本土云服务龙头、推进电子商务示范城市建设华南云计算中心教育、电子商务、电子政务杭州微软云计算中心研发、制造、系统集成、运营维护等云计算产业体系立足杭州、辐射周边、面向全国软件业、知识产权保护等资料来源：赛迪顾问 2012，022、企业主导下的云技术发展中国重要IT企业正在越来越多扮演着云计算发展中的重要角色，华为、联想、浪潮、曙光等等纷纷发布云计算战略，云操作系统、云计算服务器、云计算中心、行业云服务等等，虽然技术重点各有千秋，但是整体来说，与国际厂商相比的优劣势都比较明显。一方面，中国是各级政府主导纷纷构建云计算中心，在这个生态链中，国产厂商要比国际

6、巨头们更加具有优势，尤其在行业、政府资源方面优势明显，国产厂商逐渐找到自己的位置；另一方面，在整体战略、技术策略上，中国起步较晚，基础设施尚不完备，战略意识缺乏，与国际厂商还是存在较大差距。浪潮不断提出包括云OS、高端服务器、存储、网络等一系列云战略。2011年5月，浪潮正式发布中国第一款云数据中心操作系统云海OS，这是继“大服务器、海量存储”、“集装箱数据中心”等产品后，浪潮又一云计算关键技术产品的展现。自此，浪潮在IaaS层的技术布局全面形成，成为国内首家具有完整自主技术体系的云计算厂商。另外，浪潮是国产服务器厂商中的佼佼者，受到英特尔等上游厂商的支持，也受到山东省政府的支持，还承担了多项

7、国家科研项目，具有较强的实力。华为公司正式发布了“云帆计划2012”，首次明确了华为云计算三大战略：大平台、促进业务和应用的云化、开放共赢。华为在云计算上的发力主要体现在其大规模设备产品的发展上，并形成华为的云计算两大鲜明的特色：一是注重业务和应用的云化，强调为客户带来实际的价值；二是华为的云计算战略目前主要针对其多年来专注的运营商市场。目前华为云计算技术覆盖虚拟化及资源调度、计算与存储、网络等方向，涉及到的行业有政府、能源、金融、交通、电力，教育和医疗等。曙光发布了中国第一台面向“云计算”环境设计的超级计算机系统曙光“星云”系统。作为“云应用”的“先行者”，依托具有自主知识产权的硬件设施为基

8、础，逐渐掌握实现存储、安全、性能、绿色节能等云计算关键技术，曙光公司开创了云计算领域独有的实践模式，先后在成都、无锡、深圳、郑州、哈尔滨等地建立云计算中心，迄今为止，曙光公司已经在全国主导部署、支持部署了超过10个大型计算中心，这其中包括中国运营最为成功的上海超级计算中心，中国第一个由企业投资并采用商业化运营的成都云计算中心。联想在商用技术论坛上发布了移动云计算战略，继而启动了联想“个人云”战略，包括一系列云终端设备、移动云服务乐云服务。一直以来，联想的优势是拥有服务器、存储、网络等数据中心的整体解决方案。联想利用自身的优势和业务特点，在云计算技术发展中找到了自己的定位。（二）云计算技术发展面

9、临问题中国云计算技术发展正呈现出“轻基础、重应用”的生态现象。一方面，与发达国家相比，中国云计算技术的起步相对较晚，云计算市场格局和发展模式初现，众多的国内外企业纷纷推出种类繁多的云计算应用，云计算产业发展严重偏向SaaS层面；另一方面，由于长期以来国内基础软件、底层硬件等技术研发能力薄弱，鲜有国内企业进行操作系统、关键芯片等技术的开发，而国外企业对操作系统、虚拟技术、存储技术、硬件设施、核心部件等关键技术的垄断，造成国内只有少数企业从事云计算基础技术的研发，产业化程度不高，加上各企业信息沟通不畅通，业务关联度较低，产业体系难以形成。因此，在关键芯片、高端服务器、智能终端、交换设备等硬件技术，

10、虚拟化、存储管理、信息安全、系统软件等软件技术领域的研发亟待突破，以促进中国云计算产业的健康发展。中国云计算技术仍处在起步阶段，关键核心技术受跨国巨头牵制。在虚拟化方面，无论是服务器虚拟化还是桌面虚拟化，都是由国外厂商如Vmware、Ctrix、Microsoft等厂商占据主导地位，特别是服务器虚拟化技术几乎都由国外厂商把控，而桌面虚拟化技术，虽然国内一些中小厂商开发出了相应的解决方案，并成功在政府、教育等领域实现应用，但在虚拟资源管理等方面较国外技术仍有差距。在分布式技术方面，以Google为首的国外厂商利用自身技术优势占据半壁江山，国内科研机构缺乏研发体系和技术实力，也只能作为跟随者受制于

11、人。同样，海量数据处理、调度管理技术为IBM、微软、甲骨文等国外技术巨鳄盘踞。中国云计算技术需要突破自身限制，重点培育、合理引导，利用在应用技术方面的成果优势，产用互动、创新发展。以云计算安全技术为例，国内厂商如东软、卫士通、启明星辰、天融信、蓝盾等厂商已经研发出了相应的云安全解决方案，并在一些重点行业应用尝试，取得了不错的效果。虽然在一些核心关键指标上较趋势科技、赛门铁克等安全巨头尚有一定差距，但国内厂商的技术水平已经呈现出快速提升的势头。二、云计算关键技术剖析与展望（一）云计算关键技术之虚拟化技术1、虚拟分拆技术虚拟分拆即将一台物理机分拆为多台虚拟机，从而提高物理资源的利用率，如VMwar

12、e的VSphere、XEN和微软的Hyper-V等。运用虚拟化技术，可以在同一台物理机上同时运行多个操作系统，而且每一个操作系统中都有多个程序运行，每一个操作系统都运行在一个虚拟的CPU或者是虚拟主机上。虚拟化可以在虚拟服务器和底层硬件之间建立一个抽象层。图1 服务器虚拟化示意图资料来源：赛迪顾问 2012，022、虚拟整合技术虚拟整合则是将众多性能一般的计算机整合为一台性能出众的计算机，常见的有高性能计算系统等。高性能计算（HPC）通常指使用很多处理器或者某一集群中组织的几台计算机的计算系统和环境。有许多类型的HPC系统，其范围从标准计算机的大型集群，到高度专用的硬件。大多数基于集群的HPC

13、系统使用高性能网络互连。国内做高性能计算的企业中有三家主力厂商，他们是曙光、联想和浪潮。但中国高端计算应用的研究与开发明显滞后于高端计算机的发展，成功应用案例仍较缺乏。图2 曙光高性能计算平台资料来源：赛迪顾问 2012，023、虚拟迁移技术虚拟迁移，可以使用户像使用本地资源一样使用异地物理资源，如远程桌面、网络共享目录等。同时，虚拟迁移还包括资源在不同的物理机、虚拟机之间的迁移。远程桌面主要是通过网络实现在非本地的终端控制本地的PC，通过远程桌面，可以远程在本地安装软件，运行程序等。虚拟迁移包括P2V（Physical to Virtual）技术、V2P（Virtual to Physica

14、l）和V2V（Virtual to Virtual）技术。可以实现虚拟机和PC、物理服务器之间，虚拟机之间的动态迁移。图3 虚拟迁移技术示意图资料来源：赛迪顾问 2012，02（二）云计算关键技术之分布式技术1、分布式计算技术云计算（Cloud Computing）是分布式计算（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）的发展，或者说是这些计算机科学概念的商业实现。云计算的基本原理是：将计算任务分布在由大量的计算机组成的分布式系统上，而非本地计算机或远程服务器中。分布式计算是一门计算机科学，主要研究分

15、布式系统。一个分布式系统包括若干通过网络互联的计算机。这些计算机互相配合以完成一个共同的目标，这个共同的目标称为“项目”。具体的过程是：将需要进行大量计算的项目数据分割成小块，由多台计算机分别计算，再上传运算结果后统一合并得出数据结论。在分布式系统上运行的计算机程序称为分布式计算程序，而分布式编程就是编写上述程序的过程。网格计算是分布式计算之一，网格计算通过利用大量异构计算机的闲置资源（通常为CPU和磁盘存储），将其作为嵌入在分布式电信基础设施中的一个虚拟计算机集群。网格计算为解决大规模的计算问题提供了一个模型，其焦点在支持管理域计算的能力。网格计算的设计目标之一是解决对于任何单一的超级计算机

16、来说仍然难以解决的问题，并同时保持解决多个较小的问题的灵活性；目标之二是网格计算将更好地利用闲置的计算能力，组成一个大的系统，满足大型计算的不时之需，为用户提供需要较大系统资源来处理的特定任务，并且对最终用户来说，数据文件、应用程序和系统是一个巨大的虚拟计算系统。图4 分布式计算技术资料来源：赛迪顾问整理 2012，022、分布式编程技术为了使用户能更轻松的享受云计算带来的服务，必须通过十分简单的编程模型来编写程序实现用户特定的目的，也必须保证后台复杂的并行执行和任务调度的透明性。因此，当前各IT厂商提出的“云”计算编程工具均基于Map-Reduce的编程模型。MapReduce是用于大规模数

17、据集（大于1TB）并行运算的一种编程模型。概念“Map（映射）”和“Reduce（化简）”，以及主要理论思想，都来自函数式编程语言，还有矢量编程语言的特性。该编程模型允许编程人员在不了解分布式并行编程的情况下，仍能方便地将自己的程序运行在分布式系统上。其原理为：将自己的程序指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，并指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。首先，Map会先对由很多独立元素组成的逻辑列表中的每一个元素进行指定的操作，且原始列表不会被更改，会创建多个新的列表来保存Map的处理结果。也就意味着，Map操作是高度并行

18、的。当Map工作完成之后，系统会接着对新生成的多个列表进行清理和排序，之后，会这些新创建的列表进行Reduce操作，也就是对一个列表中的元素根据Key值进行适当的合并。比如，通过搜索引擎的爬虫（Spider）将海量的Web页面从互联网中抓取到本地的分布式文件系统中，然后索引系统将会对存储在这个分布式文件系统中海量的Web页面进行平行的Map处理，生成多个Key为URL，Value为html页面的键值对（Key-Value Map），接着，系统会对这些刚生成的键值对进行Shuffle（清理），之后，系统会通过Reduce操作来根据相同的key值（也就是URL）合并这些键值对。图5 MapRedu

19、ce运行机制资料来源：赛迪顾问整理 2012，023、分布式存储技术云计算系统由大量服务器组成，同时为大量用户服务，因此云计算系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。云计算系统需要同时满足大量用户的需求，并行地为大量用户提供数据存储服务。因此，云计算的数据存储技术必须具有分布式、高吞吐率和高传输率的特点。目前数据存储技术主要有Google的GFS（Google File System，非开源）以及Hadoop团队开发的GFS的开源实现HDFS（Hadoop Distributed File System，开源），目前这两种技术已经成为事实标准。Google文件系统（

20、Google File System，GFS），是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。GFS的设计思想不同于传统的文件系统，是针对大规模数据处理和Google应用特性而设计的。其运行于廉价的普通硬件上，但可以提供容错功能，可以给大量的用户提供总体性能较高的服务。一个GFS集群由一个主服务器（master）和大量的块服务器（chunkserver）构成，并被许多客户（Client）访问。主服务器存储文件系统所以的元数据，包括名字空间、访问控制信息、从文件到块的映射以及块的当前位置。它也控制系统范围的活动，如块租约（lease）管理，孤儿块的垃圾收集，块服务

21、器间的块迁移。主服务器定期通过HeartBeat消息与每一个块服务器通信，给块服务器传递指令并收集它的状态。GFS中的文件被切分为64MB的块并以冗余存储，每份数据在系统中保存3个以上备份。客户与主服务器的交换只限于对元数据的操作，所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。图6 GFS架构资料来源：赛迪顾问整理 2012，02HADoop是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，并充分利用集群的威力高速运算和存储。HADoop由Apache Software Foundation公司开发，其受到Google L

22、ab开发的MapReduce和Google File System的启发，后来，Hadoop实现了一个分布式文件系统（Hadoop Distributed File System，HDFS），HDFS具有高容错性的特点，设计用来部署在低廉的硬件上。其提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序，并且HDFS放宽了可移植操作系统接口（Portable Operating System Interfaceof Unix，POSIX）的要求，可以“流”的方式访问文件系统中的数据。图7 HADoop集群的简化视图资料来源：赛迪顾问整理 2012，02对外部客户机而言，HDFS就像

23、一个传统的分级文件系统。可以创建、删除、移动或重命名文件，等等。但是HDFS的架构是基于一组特定的节点构建的，由它自身的特点决定。这些节点包括NameNode（仅一个），它在HDFS内部提供元数据服务，DataNode为HDFS提供存储块。由于仅存在一个NameNode，因此这是HDFS的一个缺点（单点失败）。存储在HDFS中的文件被分成块，然后将这些块复制到多个计算机中（DataNode）。这与传统的RAID架构大不相同。块的大小（通常为64MB）和复制的块数量在创建文件时由客户机决定。NameNode可以控制所有文件操作。HDFS内部的所有通信都基于标准的TCP/IP协议。欲了解更多信息,请联系赛迪顾问