云计算研究报告.docx

1、云计算研究报告 中国通信标准化协会课题编号： 互联网云计算与P2P技术研究报告完成单位：中国移动工业和信息化部电信研究院中国电信2008年 12 月 研究报告要点本研究报告详细讨论了云计算中的主要技术，比较了云计算技术与P2P技术的异同点并提出了在未来电信网络中将二者结合应用的思路和方案。首先该报告针对目前互联网领域的热点技术云计算进行介绍和讨论，描述内容主要包括研究背景、应用情况、主要技术、业务场景和存在问题等内容。此外，该报告从技术角度分析了云计算技术与目前电信运营商积极推动采用的热点技术P2P之间的关系，指出了二者在本质上的一致性，并列举了二者在应用上的异同点。最后，该报告讨论了结合两种

2、技术的优势，并应用于电信领域的思路以及初步技术方案等。1. 背景随着互联网技术的飞速发展，互联网上的数据急剧增多，同时硬件配置水平也显著提高，如何更安全地存储数据，更合理地利用计算资源，已成为当前研究的热点内容。针对上述问题，人们在分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)等研究领域进行了大量的研究工作，并取得了一定的研究成果。云计算（如图1所示）作为一种基于互联网的新兴应用模式，可以说是上述技术的商业实现。它集中了所有的计算机资源，采用按需分配的资源配置模式，为用户提供了一个强大的计算与

3、存储平台。图1 云计算由于云计算技术具有分布式、可扩展性、高可靠性、高性价比和高度灵活性等优点，相对于传统数据库中心的计算模式，具有巨大的应用潜力和优越性。此外，云计算引入了全新的商业模式，必将对互联网产品的开发和应用带来巨大的影响。市场研究公司IDC称，云计算不仅为互联网服务供应商创造了新的机会，而且推动了传统IT产品的转变。在未来五年里，IT云计算服务开支将增长近三倍，到2012年将达到420亿美元。云计算的收入将占五个关键细分市场收入的9%。 更重要的是，云计算开支在整个预测期内的增长速度将加快，到2012年占整个IT开支增长的25%，在2013年将占整个IT开支增长的将近三分之一。 2

4、. 云计算的应用情况2.1 各厂商云计算计划图2 Amazon云计算图亚马逊最早推出了云计算服务。其云计算产品总称为Amazon Web Services（亚马逊网络服务，参见图2），主要由4部分组成：S3(Simple Storage Service, 简单的存储服务）；EC2(Elastic Compute Cloud, 可伸缩计算云）；SQS（Simple Queuing Service，简单信息队列服务），以及SimpleDB。在2008年8月，Amazon 又推出了EBS（Elastic Block Store，弹性块存储）以完善EC2的云存储功能。早在2006年，亚马逊就推出了首个

5、云服务，即简单存储服务S3，它能提供无限量的文档，照片，视频和其他数据的存储。该服务被许多软件公司采用为客户提供下载和网络存储服务，并在不到一年的时间里，就存储了50亿个对象。由于亚马逊的云计算产品价格便宜，吸引了大批中小企业，甚至纽约时报、红帽、晟碟等大型公司，为亚马逊带来了丰厚的利润。目前云计算的服务对象多是企业，亚马逊也在尝试将其应用到政府、科研等研究领域和大型企业的关键应用当中亚马逊推出了针对大型数据库的简单数据库服务，该服务在安全性、登录管理、账户管理方面都有独特的设置方式。尤其在账户管理方面，不仅有整体的账户，还会有分账户的复杂管理。该服务将按照字节单独计费。值得一提的是，美国某些

6、地方的个税系统已经开始应用云计算架构，也许让云架构涉及核心应用已经为时不远。图3 Sun云计算Sun公司也基于云计算理论提出，未来的数据中心不会再被局限在拥挤而闷热的机房里，而是一个个可移动的集装箱，企业可以把它移动到包括“郊外”在内的各种地方，降低机房的开支。2008年5月，Sun在2008JavaOne开发者大会上宣布推出“Hydrazine”计划（参见图3）。至此，集结在“云计算”旗帜之下的软件供应商又增加了一位重量级成员。基于“Hydrazine”计划，Sun希望利用其核心技术打造一个包含网络环境、数据中心和其他基础设施组件在内的完整解决方案，如Sun的JavaFX丰富互联网应用程序技

7、术、Sun的Glassfish应用服务器、Sun企业服务总线、Sun目录服务器、MySQL、“廉价存储”和Sun的硬件，从而使得开发人员利用Sun平台创建托管应用与服务，并且不用到任何其它地方就可以利用这些应用程序和服务赚钱。此外，作为“Hydrazine计划”的一部分，Sun还推出了“Insight计划”。这个分析功能可以让开发人员知道谁在使用他们的产品，并利用这个功能注入广告赚钱。图4 Google的云计算Google则以开源的姿态推广它的云计算平台，这使得用户可以得到这个平台的代码并修改它。2006年，Google使用MapReduce技术，通过40台服务器集群构建了第一个云。Googl

8、e的数据中心在节能、速度、成本方面很有优势，因而Google能够以极低的成本增添运算能力。如图4所示，其云计算架构主要包括集群管理和控制系统(Cluster)、分布式并行计算(MapReduce)、分布式数据管理(BigTable)、分布式文件存储(GFS)、分布式数据并发访问控制(Chubby)和工作队列(GWQ)等。此外，在2007年10月，Google还和IBM达成协议，同美国卡耐基-梅隆大学、麻省理工大学、斯坦福大学、加州大学伯克莱分校、马里兰州大学和华盛顿大学等六所大学展开合作，为其计算机专业学生和研究人员提供硬件、软件和服务支持。Google-IBM云将会提供由数百台计算机组成的数

9、个集群，这些计算机包括Google的定制机器、IBM的BladeCenter和System X服务器。图5 IBM蓝云计划除了与Google合作，为美国高校提供相应云服务，推动云计算的研究，IBM在2007年也推出其云计算计划，即蓝云计划（Blue Cloud），参见图5。它基于由IBM软件、系统技术和服务支持的开放标准和开源软件，包括一系列的云计算产品。而且，IBM还计划将大多数服务器产品都升级为支持蓝云的产品，将蓝云渗透到IBM的软件、硬件以及服务之中。谷歌和IBM两家公司也计划将他们的云合作拓展到企业级领域。在云计算领域，IBM有着许多得天独厚的优势，如在其产品线中，应用服务器、存储和管

10、理软件样样具备。此外，IBM还可以绕开数据从本地转移到互联网过程中的安全问题这一障碍，通过向客户出售云计算方案与终端，为企业建立属于自己的云计算数据中心来发展这一计划。IBM已拥有了最为完整的包括硬件、软件与服务的云计算解决方案，来帮助企业客户利用云实现成本与效率的优势。近日，IBM在全球获得了伊丽莎白雅顿、Nexxera、美国高尔夫协会 (The United States Golf Association) 、Indigo Bio Systems以及 TOTVS等5家云计算客户。IBM最新软件产品可管理并确保云计算环境安全；IBM全球服务部(Global Services)不仅为企业提供可

11、安全测试应用的全新IBM云环境，还将通过云为企业提供数据保护方面的软件服务；IBM与 Juniper Networks 联手合作混合云能力，演示“溢流云(overflow cloud)”。图6 Windows Azure 提供计算及存储服务在PDC2008的主题演讲中，微软首席软件架构师Ray Ozzie宣布了微软的云计算战略以及云计算平台Windows Azure。如图6所示，Windows Azure提供了一个基于Windows的虚拟计算环境和存储，可以把Windows Azure理解为云端的操作系统。它的底层是数据中心中数量庞大的Windows 64位服务器。Windows Azure通

12、过底层的结构控制器（Fabric Controller）有效地将这些服务器组织起来，给前端的应用提供计算和存储能力，并保证其可靠性。在Windows Azure之上，Azure services Platform提供了很多针对不同用途的服务，如图7所示。Live服务：微软将Windows Live的很多功能和资源，通过Live服务器封装以后提供给软件厂商和开发人员使用。通过Live Services，可以存储和管理Windows Live用户的信息和联系人，将 Live Mesh中的文件和应用同步到用户的不同设备上去。 .NET服务：最初被命名为BizTalk服务，它提供了一个基础架构，来构建

13、基于Internet的分布式应用，初步实现了Internet服务总线的一些功能。不仅可以提供给云计算平台使用，同时企业自由的服务器程序也可以使用。.NET Services由访问控制、服务总线和工作流三个模块组成。 SQL服务：是一个云计算平台之上的数据库服务。现在，提供了类似于SQL Server的数据存储、查询能力。不就的将来，会提供报表、数据分析、数据同步等功能。SQL服务是构建在企业级的SQL Server数据库和Windows服务器之上。 图7 Azure Services Platform2.2对上述云计算应用的评述总体而言，微软、Oracle、IBM、Sun、英特尔等IT巨头都面

14、临着云计算的挑战，而Google则依靠其搜索引擎后来居上，在此领域一枝独秀。Google能有与微软等软件巨头竞风流的实力，有如下几个重要的客观理由：1）数据是实现云计算的根本，有了“数据”的云，才有计算的云。搜索引擎就是从海量数据中寻找信息的技术。随着信息量的增多，用户的增加，搜索引擎技术只有将更多的硬件和软件组成群集参与计算，才能支撑如此规模的计算。这就是云计算的雏形。全球数以亿计的用户和Google的搜索平台形成了这样的关系：用户只需要通过IE这种简单的客户端就能享受Google提供的搜索服务。这正是“云计算”的软件服务模型，也形成了Google现在的商业服务模式。相对而言，微软、Orac

15、le、Sun等专注于功能软件的研发，这些功能软件必须依靠单台PC或者服务器，给用户带来了一种复杂和冗余的体验。2）应用是云计算得以普及和发展的催化剂。Google的搜索引擎现在成了每个人都需要的工具，并成为全球最大的搜索引擎平台，拥有全球的用户。谷歌通过运营搜索引擎，能分析出网民最关心什么，最感兴趣的是什么以及这些人的范围和特点，这样也更容易推出受关注和喜欢的应用。反观微软、Oracle、Sun等长期专注于某一功能软件的研发，他们的产品不是在寻找信息、搜索信息，而是用于产生信息、输出电子文档，就人的需要程度而言远远比不上Google的搜索平台。 3）微软、Oracle、Sun等云计算技术的自身

16、局限。微软在98年之前就提出了Windows DNA，即基于Windows平台的网络分布式应用体系结构，还在COM（组件对象模型）上提出了DCOM，COM，也就是分布式的组件对象模型。后来微软又提出了.net，.net的思想是扩展服务器和客户端模型为松耦合服务的丰富的、分布式计算范例；今天的.live也是基于这样的一种考虑。由上可见，微软的分布式是一种基于组件之间的分布式，重点在于应用程序之间的协同和调用。与此类似，Oralce、Sun、IBM等所谓的“云计算”也与此类似。微软、Oralce、Sun、IBM的云计算之所以局限于应用程序的层次上，主要是因为它们长期依靠这样的商业模式：客户通过购买

17、软件介质安装在PC上实现单点服务，软件功能越多价值就越高。这让用户体验过程变得复杂、繁琐，也不是软件即服务的简洁模式。因此不论从概念上，还是技术上，他们的云计算与Google的云计算存在层次上的差别。 3. 云计算应用类型图8 云计算应用类型如图8所示，根据目前主流云计算服务商提供的服务，云计算依据应用类型可分为： 1）软件即服务（SaaS） 此类云计算主要是采用multi-tenant架构，通过网络浏览器将单个的应用软件推广到数千用户。从用户角度来说，这意味着他们在前期无需针对服务器或软件许可证授权进行投资；从供应商角度来看，与常规的软件服务模式相比，维护一个应用软件的成本要相对低廉。迄今为

18、止S是企业应用软件领域中最为知名的供应商，SaaS在人力资源管理软件方面运用比较普遍。2）效用计算（Utility computing） 此类云计算的想法本来并无新意，但由于有了Amazon、 Sun,、IBM和其它从事存储服务和IT随需访问的虚拟机厂商的参与，其焕发出了新的生命力。早期的企业主要将效用计算作为补充，不会应用在关键性任务上。但是时至今日效用计算逐渐在数据中心开始占据一席之地。一些供应商向用户提供解决方案，以帮助IT企业从商业服务器开始创建数据中心，比如3Tera的AppLogic和Cohesive Flexible Technologies的Elastic Server都可提供

19、此类随需服务。Liquid Computing公司的LiquidQ也有类似的服务，能帮助企业将内存、I/0、存储和计算容量通过网络集成为一个虚拟的资源池来使用。 3）云计算的网络服务 网络服务与SaaS密切相关，网络服务供应商提供API来帮助开发商通过网络拓展功能，而不只是提供成熟的应用软件。其服务范围从提供分散的商业服务（如Strike Iron和Xignite）到涉及到Google Maps,、ADP薪资处理流程、美国邮电服务、Bloomberg和常规的信用卡处理服务等的全套API服务。 4）平台即服务（PaaS） 平台即服务（Platform as a service）是SaaS的一种特

20、殊形式，此类云计算将开发环境作为服务来提供。用户可以创建自己的应用软件，并在供应商的基础架构上运行，然后通过网络从供应商的服务器上传递给其它用户。乐高公司（Legos）即采用这种形式实现。但此类服务会受到厂商设计和容量的限制，因此用户就没有足够的自由。代表公司包括S的F和Coghead。 5）管理服务管理服务是云计算最古老的形式之一。它是面向IT厂商而并非最终用户的一种应用软件，可提供用于电子邮件的病毒扫描服务或者应用软件监控服务等。由SecureWorks、IBM和Verizon公司提供的管理安全服务即为此类服务。类似产品还有被Google收购的Postini公司反垃圾邮件服务以及Cente

21、rBeam和Everdream提供的桌面系统管理服务等。 6）服务商业平台 服务商业平台是SaaS和管理服务供应商（MSP）的混合体，这种云计算服务提供了一种与用户相结合的服务采集器，在贸易领域中应用最为普遍，如费用管理系统可允许用户在其设定的规格范围内从普通平台上订购与所要求的服务和价格相符的旅游产品或者秘书台服务，此类功能类似一个自动化服务局，知名公司包括Rearden Commerce和Ariba。 7）网络集成 云基础服务的网络集成尚处于初始阶段。软件服务供应商OpSource已推出了OpSource Services Bus，使用的就是被称为Boomi的云集成技术。软件即服务供应商W

22、orkday最近收购了这一领域中的另外一家公司CapeClear，这家ESB（企业服务总线）供应商主要从事B-TO-B商业模式的服务。此外，Grand Central公司也致力于向用户提供集成解决方案，日前被Google所收购。 通过分析目前的云计算业务，我们大致可以判断：未来的云计算服务提供商主要会提供三个层次的服务：1. 云端的软件服务目前，广大用户普遍使用的Gmail、Yahoo Mail、Wikipedia、Encyclopedia Britannica以及各类搜索引擎就属于云端的软件应用。服务提供商在互联网上向用户提供一些软件服务，用户通过登录认证来享用这些服务。用户无须考虑自己的计

23、算及存储资源是由谁，在哪里以及是如何提供的。这也正是上面提到的软件即服务（SAAS）。它将是云计算的基本的服务提供方式。2. 云端的开发平台云端可以给开发人员提供一个全新的开发平台。开发人员可以开发各类不同的应用，然后将相关的代码上载到云端运行。比如，Google App Engine以及F。云计算给这些应用带来的一个最大的好处就是：当这些应用的规模增大的时候，云端会相应地分配更多的存储及计算资源给这些应用。也就是说，云端的扩展性会非常好。3. 云端的信息基础设施云计算的一大优点就是可以将各类资源，比如服务器、存储、网络产品整合起来，以池的形式组合到大型云当中，并按照需要提供资源。这样可以明显

24、降低成本和提高资源使用率。用户可以按需租用云端的计算和存储资源，从而可以简化资源获取流程，避开繁琐的系统维护与管理工作，将精力集中在主营业务上。4.1 分布式计算技术 GFS图9 GFS系统Google File System (简称GFS) 是由 Google设计并实现的一个分布式文件系统，也是基于大量安装有Linux操作系统的普通PC构成的集群系统。整个集群系统由一台Master(通常有几台备份)和若干台TrunkServer构成。GFS中的文件被分成固定大小的Trunk，这些Trunk分别存储在不同的TrunkServer上。每个Trunk有多份拷贝，也存储在不同的TrunkServer

25、上。Master负责维护GFS中的 Metadata，即文件名及其Trunk信息。客户端先从Master上得到文件的Metadata，根据要读取的数据在文件中的位置与相应的 TrunkServer通信，获取文件数据。高可靠性是GFS最重要的特点。 HDFS图10 HDFS架构Hadoop文件系统（HDFS）是一个运行在普通的硬件之上的分布式文件系统，它和现有的分布式文件系统有着很多的相似性，然而它们之间的区别也是很明显的。HDFS是高容错性的，可以部署在低成本的硬件之上。当访问应用程序数据时，HDFS可以提供高吞吐量，因而它适合大数据集的应用程序。 MapReduce图11 MapReduce

26、技术MapReduce是Google开发的C+编程工具，用于大规模数据集（大于1TB）的并行运算。概念Map（映射）和Reduce（化简），及其主要思想都是从函数式编程语言和矢量编程语言借鉴而来的。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 BigTable图12 BigTable技术BigTable是Google 内部开发的一个用来处理大数据量的系统。这种系统适合处理半结构化的数据（如 RSS 数据源）。它的设计使它能够管理250 bytes（petabytes）数据

27、，并可以部署到上千台机器上，从而完成了应用广泛、可扩展、高性能和高可用性等目标。其实现让Google在提供新服务时的运行成本降低，最大限度地利用了计算能力。BigTable 是建立在 GFS 、Scheduler、Lock Service 和 MapReduce 之上的。 Chubby图13 Chubby结构Chubby系统提供粗粒度的锁服务，并且基于松耦合分布式系统设计可靠的存储。软件开发者不需要使用复杂的同步协议，而是直接在程序中调用chubby的锁服务，来保证数据操作的一致性。这种锁是建议性的，而不是强制性的锁，具有更大的灵活性。客户端缓存数据，减少对主服务器的访问量。主服务器通过通报机

28、制，定期向客户端发送更新消息。Chubby系统本质上是一个分布式的文件系统，存储大量的小文件。每一个文件就代表了一个锁，并且保存一些应用层面的小规模数据。用户通过打开、关闭和读取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息。 Google Work Queue 图14 Condor架构目前无公开的Google Work Queue的文档说明，但我们从一些材料可以知道，Google Work Queue 和Condor 具有类似的结构和功能。所以目前以Condor的情况说明Google Work Queue的架构。Condor是一个用来管理计算密集型的任务的批处理队列系统。这

29、是通过提供一个 高吞吐量的计算（HTC）环境实现的。HTC 环境在为这些任务提供高吞吐量的同时，可以有效且最好地利用所有的可用资源。它提供了传统的队列和调度功能，以及创新技术，例如资源分类。在典型的使用情景中，用户将任务提交给 Condor，它会对任务进行排队并监视，然后在任务完成时将结果表示出来。历史上提供这种功能的批处理系统使用单个组织所有的专用机器。4.2 Web Service技术Web services是建立可互操作的分布式应用程序的新平台。Web Service技术的出现，提供了一个跨语言，松散耦合，开放的技术架构，使分散在不同技术平台上的资源，采用不同技术实现的功能，以服务的形式

30、进行动态的交互。与SaaS有些类似，WEB服务厂商通过提供API让开发人员来开发互联网应用，而不是自己来提供功能全面的应用软件。这种云计算的服务范围非常广泛，从分散的商业服务(诸如Strike Iron和Xignite )，到GoogleMaps、ADP薪资处理、美国邮政服务、Bloomberg和常规信用卡处理服务等的全套API服务。如图15所示，基本的Web服务架构包含了SOAP、WSDL、UDDI等支持服务请求者与服务提供者进行交互，以及用于Web服务发现的规范。服务提供者通常用WSDL来描述它所提供的Web服务，然后将该WSDL描述发布；服务请求者可以通过UDDI或其他注册库（regis

31、try）来获取WSDL描述，并通过向服务提供者发送一个SOAP消息来请求执行服务。图15 基本的Web服务架构基本的Web服务技术包括： XML（Extensible Markup Language，可扩展标记语言）和XSD（XML Schemas Definition，XML结构定义）可扩展的标记语言(XML)是Web service平台中表示数据的基本格式。XML是一种简单的数据存储语言，使用一系列简单的标记描述数据，而这些标记可以用方便的方式建立，虽然XML占用的空间比二进制数据要多，但XML易于掌握和使用。XML主要的优点在于它既与平台无关，又与厂商无关，它是当前处理结构化文档信息的有

32、力工具。XML解决了数据表示的问题，但它没有定义一套标准的数据类型，更没有说怎么去扩展这套数据类型。W3C制定的XML Schema(XSD)就是专门解决这个问题的一套标准。它定义了一套标准的数据类型，并给出了一种语言来扩展这套数据类型。Web service平台就是用XSD来作为其数据类型系统的。当用某种语言(如VB.NET或C#)来构造一个Web service时，为了符合Web service标准，所有使用的数据类型都必须被转换为XSD类型。 SOAP（Simple Object Access Protocol，简单对象访问协议）SOAP是在分散或分布式的环境中交换信息并执行远程过程调用的轻量级协议。Web service建好以后，其他人就会去调用它。简单对象访问协议(SOAP)提供了标准的远