互联网云计算与PP技术研究报告可编辑29页doc.docx
《互联网云计算与PP技术研究报告可编辑29页doc.docx》由会员分享，可在线阅读，更多相关《互联网云计算与PP技术研究报告可编辑29页doc.docx（15页珍藏版）》请在冰豆网上搜索。
互联网云计算与PP技术研究报告可编辑29页doc
中国通信标准化协会
课题编号：
互联网云计算与P2P技术研究报告
完成单位：
中国移动
工业和信息化部电信研究院
中国电信
2008年12月
研究报告要点3
1.背景4
2.云计算的应用情况5
2.1各厂商云计算计划5
2.2对上述云计算应用的评述7
3.云计算应用类型9
4.云计算的主要技术10
4.1分布式计算技术10
4.2WebService技术（待补充）15
4.3虚拟化技术15
5.云计算的业务场景（TBD.）15
6.云计算对互联网的影响15
6.1对技术发展的影响15
6.2对业务发展的影响16
6.3对行业监管的影响16
7.云计算存在的主要问题16
8.P2P与云计算（分布式计算技术方面）的技术比较17
9.在电信网络中结合使用P2P与云计算TBD.18
9.1技术思路18
9.2技术方案18
9.3使用场景18
附录：
云计算与网格的技术比较待补充18
研究报告要点
本研究报告详细讨论了云计算中的主要技术，比较了云计算技术与P2P技术的异同点并提出了在未来电信网络中将二者结合应用的思路和方案。
首先该报告针对目前互联网领域的热点技术―云计算进行介绍和讨论，描述内容主要包括研究背景、应用情况、主要技术、业务场景和存在问题等内容。
此外，该报告从技术角度分析了云计算技术与目前电信运营商积极推动采用的热点技术P2P之间的关系，指出了二者在本质上的一致性，并列举了二者在应用上的异同点。
最后，该报告讨论了结合两种技术的优势，并应用于电信领域的思路以及初步技术方案等。
背景
随着互联网技术的飞速发展，互联网上的数据急剧增多，同时硬件配置水平也显著提高，如何更安全地存储数据，更合理地利用计算资源，已成为当前研究的热点内容。
针对上述问题，人们在分布式处理DistributedComputing、并行处理ParallelComputing和网格计算GridComputing等研究领域进行了大量的研究工作，并取得了一定的研究成果。
云计算（如图1所示）作为一种基于互联网的新兴应用模式，可以说是上述技术的商业实现。
它集中了所有的计算机资源，采用按需分配的资源配置模式，为用户提供了一个强大的计算与存储平台。
图1云计算
由于云计算技术具有分布式、可扩展性、高可靠性、高性价比和高度灵活性等优点，相对于传统数据库中心的计算模式，巨大潜力和优越性。
市场研究公司IDC不仅为供应商创造新的机会，且推动传统IT产品的变。
在未来五年里，IT云计算服务开支将增长近三倍，到2012年将达到420亿美元。
云计算的收入占五个关键细分市场收入的9%。
更重要的是，云计算开支在整个预测期内的增长速度将加快，到2012年占整个IT开支增长的25%，在7>2013年将占整个IT开支增长的将近三分之一。
亚马逊最早推出云计算服务。
早在2006年，在不到一年的时间里，就存储了50亿个对象。
目前云计算的服务对象多是企业，亚马逊也在尝试将其应用到政府、科研等研究领域和大型企业的关键应用当中――亚马逊推出了针对大型数据库的简单数据库服务，该服务在安全性、登录管理、账户管理方面都有独特的设置方式。
尤其在账户管理方面，不仅有整体的账户，还会有分账户的复杂管理。
该服务将按照字节单独计费。
值得一提的是，美国某些地方的个税系统已经开始应用云计算架构，也许让云架构涉及核心应用已经为时不远。
Google能够以极低的成本增添运算能力。
如图4所示，其云计算架构主要包括集群管理和控制系统Cluster、分布式并行计算MapReduce、分布式数据管理BigTable、分布式文件存储GFS、分布式数据并发访问控制Chubby和工作队列G等。
此外，在2007年10月，Google还和IBM达成协议，同美国卡耐基-梅隆大学、麻省理工大学、斯坦福大学、加州大学伯克莱分校、马里兰州大学和华盛顿大学等六所大学展开合作，为其计算机专业学生和研究人员提供硬件、软件和服务支持。
Google-IBM云将会提供由数百台计算机组成的数个集群，这些计算机包括Google的定制机器、IBM的BladeCenter和SystemX服务器。
图5IBM蓝云计划
除了与Google合作，为美国高校提供相应云服务，推动云计算的研究，IBM在2007年也推出其云计算计划，即蓝云计划（BlueCloud），参见图5。
它基于由IBM软件、系统技术和服务支持的开放标准和开源软件，包括一系列的云计算产品。
而且，IBM还计划将大多数服务器产品都升级为支持蓝云的产品，将蓝云渗透到IBM的软件、硬件以及服务之中。
谷歌和IBM两家公司也计划将他们的云合作拓展到企业级领域。
在云计算领域，IBM有着许多得天独厚的优势，如在其产品线中，应用服务器、存储和管理软件样样具备。
此外，IBM还可以绕开数据从本地转移到互联网过程中的安全问题这一障碍，通过向客户出售云计算方案与终端，为企业建立属于自己的云计算数据中心来发展这一计划。
IBM已拥有了最为完整的包括硬件、软件与服务的云计算解决方案，来帮助企业客户利用云实现成本与效率的优势。
近日，IBM在全球获得了伊丽莎白?
雅顿、Nexxera、美国高尔夫协会TheUnitedStatesGolfAssociation、IndigoBioSystems以及TOTVS等5家云计算客户IBM最新软件产品可管理并确保云计算环境安全IBM全球服务部GlobalServices不仅为企业提供可安全测试应用的全新IBM云环境，还将通过云为企业提供数据保护方面的软件服务IBM与JuniperNetworks联手合作混合云能力，演示“溢流云overflowcloud”。
图6WindowsAzure提供计算及存储服务
在PDC2008的主题演讲中，微软首席软件架构师RayOzzie宣布了微软的云计算战略以及云计算平台――WindowsAzure。
WindowsAzure提供了一个基于Windows的虚拟计算环境和存储，可以把WindowsAzure理解为云端的操作系统。
它的底层是数据中心中数量庞大的Windows64位服务器。
WindowsAzure通过底层的结构控制器（FabricController）有效地将这些服务器组织起来，给前端的应用提供计算和存储能力，并保证其可靠性。
在WindowsAzure之上，AzureservicesPlatform提供了很多针对不同用途的服务，如图7所示。
?
?
Live服务：
微软将WindowsLive的很多功能和资源，通过Live服务器封装以后提供给软件厂商和开发人员使用。
通过LiveServices，可以存储和管理WindowsLive用户的信息和联系人，将LiveMesh中的文件和应用同步到用户的不同设备上去。
?
?
.NET服务：
最初被命名为BizTalk服务，它提供了一个基础架构，来构建基于Internet的分布式应用，初步实现了Internet服务总线的一些功能。
不仅可以提供给云计算平台使用，同时企业自由的服务器程序也可以使用。
.NETServices由访问控制、服务总线和工作流三个模块组成。
?
?
SQL服务：
是一个云计算平台之上的数据库服务。
现在，提供了类似于SQLServer的数据存储、查询能力。
不就的将来，会提供报表、数据分析、数据同步等功能。
SQL服务是构建在企业级的SQLServer数据库和Windows服务器之上。
图7AzureServicesPlatform
2.2对上述云计算应用的评述
总体而言，微软、Oracle、IBM、Sun、英特尔等IT巨头都面临着云计算的挑战，而依靠其搜索引擎后来居上在此领域一枝独秀有微软等软件巨头竞风流的实力，有客观理由有“数据”的云，才有计算的云。
搜索引擎就是从海量数据中寻找信息的技术。
随着信息量的，用户的增，搜索引擎技术更多的硬件和软件群集参与计算，就是云计算的。
全球数以亿计的用户和的搜索平台形成了这样的关系：
只需要通过IE这种简单的客户端就能Google提供的搜索服务。
这是“云计算”的软件服务模型，也形成了现在的商业服务模式。
，微软、Oracle、Sun等专注于功能软件的研发，这些功能软件必须依靠单台PC或者服务器，给用户一种复杂和冗余的体验。
的搜索引擎成了每个人都需要的工具，并成为全球最大的搜索引擎平台，拥有全球的用户。
谷歌能分析出最关心什么最感兴趣的是什么以及这些人的范围和特点，。
微软、Oracle、Sun等长期专注于某一功能软件的研发，他们的产品不是在寻找信息、搜索信息，而是用于产生信息、输出电子文档，就人的需要程度而言远远比不上的搜索平台。
微软、Oracle、Sun等云计算自身局限微软在98年之前就提出了WindowsDNA，即基于Windows平台的网络分布式应用体系结构，还在COM（组件对象模型）上提出了DCOM，COM＋，也就是分布式的组件对象模型后来微软又提出了.net，.net的思想是扩展服务器和客户端模型为松耦合服务的丰富的、分布式计算范例。
由上可见，微软分布式是一种基于组件之间的分布式，重点在应用程序之间协同和调用。
类似Oralce、Sun、IBM等所谓的“云计算”也。
微软Oralce、Sun、IBM的云计算局限于应用程序的层次上是因为们长期依靠这样的商业模式：
客户通过购买软件介质安装在PC上实现单点服务，软件功能越多价值就越高。
这让用户体验过程复杂、繁琐，也不是软件即服务的简洁模式。
因此不论从概念上，还是技术上，他们的云计算。
?
云计算应用类型
图8云计算应用类型
如图8所示，根据目前主流云计算服务商提供的服务，云计算应用可分为：
?
软件即服务（SaaS）
云计算是采用multitenant架构通过网络浏览器将单个的应用软件推广到数千用户。
从用户角度来说，这意味着他们前期无需服务器或软件许可证授权进行投资；从供应商角度来看，与常规的软件服务模式相比，维护一个应用软件的成本要相对低廉。
迄今为止Salesforce是企业应用软件领域中最为知名的供应商，SaaS在人力资源管理软件方面运用比较普遍。
2）效用计算（Utilitycomputing）
想法本来并无新意，但有了AmazonSun,、IBM和其从事存储服务和IT随需访问的虚拟机厂商的参与焕发出了新的生命力。
早期的企业主要将效用计算作为补充，不会应用在关键性任务上。
但是时至今日效用计算逐渐在数据中心开始占据一席之地。
一些供应商向用户提供解决方案帮助IT企业从商业服务器开始创建数据中心，如3Tera的AppLogic和CohesiveFlexibleTechnologies的ElasticServer都提供随需服务。
LiquidComputing公司的LiquidQ也有类似的服务，能帮助企业将内存I/0、存储和计算容量通过网络集成为一个虚拟的资源池来使用。
3云计算的网络服务
网络服务与SaaS密切相关，网络服务供应商提供API帮助开发商通过网络拓展功能，而不只是提供成熟的应用软件。
服务范围从提供分散的商业服务（如StrikeIron和Xignite）到涉及到GoogleMaps,ADP薪资处理流程美国邮电服务Bloomberg和常规的信用卡处理服务等的全套API服务。
4平台即服务（Paa）
平台即服务（Platformasaservice）是SaaS的，云计算将开发环境作为服务来提供。
可以创建自己的应用软件在供应商的基础架构上运行，然后通过网络从供应商的服务器上传递给用户。
乐高公司（Legos）。
但服务会受到厂商设计和容量的限制，因此用户就没有足够的自由。
代表公司包括SalesfCoghead。
5管理服务
管理服务是云计算最古老的形式之一是面向IT厂商而并非最终用户的一种应用软件，用于电子邮件的病毒扫描服务或者应用软件监控服务。
由SecureWorksIBM和Verizon公司提供的管理安全服务此类被Google收购的Postini反垃圾邮件服务CenterBeam和Everdream提供的桌面系统管理服务。
服务商业平台
服务商业平台是SaaS和管理服务供应商（MSP）的混合体，这种云计算服务提供了一种与用户相结合的服务采集器在贸易领域中应用最为普遍，如费用管理系统允许用户在设定的规格范围内从普通平台上订购与所要求的服务和价格相符的旅游产品或者秘书台服务，一个自动化服务局，知名公司包括ReardenCommerce和Ariba。
7网络集成
云基础服务的集成尚处于初始阶段。
软件服务供应商OpSource推出了OpSourceServicesBus，使用的就是被为Boomi的云集成技术。
软件即服务供应商Workday最近收购了这一领域中的另外一家公司CapeClear，这家ESB（企业服务总线）供应商主要从事B-TO-B商业模式的服务。
GrandCentral公司也致力于向用户提供集成解决方案，日前被Google所收购。
Gmail、YahooMail、Wikipedia、EncyclopediaBritannica以及各类搜索引擎就属于云端的软件应用。
服务提供商在互联网上向用户提供一些软件服务，用户通过登录认证来享用这些服务。
用户无须考虑自己的计算及存储资源是由谁，在哪里以及是如何提供的。
这也正是上面提到的软件即服务（SAAS）。
它将是云计算的基本的服务提供方式。
云端的开发平台
云端可以给开发人员提供一个全新的开发平台。
开发人员可以开发各类不同的应用，然后将相关的代码上载到云端运行。
比如，GoogleAppEngine以及Force。
云计算给这些应用带来的一个最大的好处就是：
当这些应用的规模增大的时候，云端会相应地分配更多的存储及计算资源给这些应用。
也就是说，云端的扩展性会非常好。
云端的信息基础设施
云计算的一大优点就是可以将各类资源，比如服务器、存储、网络产品以池的形式组合到大型云当中，并按照需要提供资源这样可以明显降低成本和提高资源使用率。
按需租用的计算和存储简化资源获取流程，GFS
图9GFS系统
Google简称GFS是由Google设计并实现的一个分布式文件系统，也是基于大量安装有Linux操作系统的普通PC构成的集群系统。
整个集群系统由一台Master通常有几台备份和若干台TrunkServer构成。
GFS中的文件被分成固定大小的Trunk，这些Trunk分别存储在不同的TrunkServer上。
每个Trunk有多份拷贝，也存储在不同的TrunkServer上。
Master负责维护GFS中的Metadata，即文件名及其Trunk信息。
客户端先从Master上得到文件的Metadata，根据要读取的数据在文件中的位置与相应的TrunkServer通信，获取文件数据。
高可靠性是GFS最重要的特点。
HDFS
图10HDFS架构
Hadoop文件系统（HDFS）是一个运行在普通的硬件之上的分布式文件系统，它和现有的分布式文件系统有着很多的相似性，然而它们之间的区别也是很明显的。
HDFS是高容错性的，可以部署在低成本的硬件之上。
当访问应用程序数据时，HDFS可以提供高吞吐量，因而它适合大数据集的应用程序。
MapReduce
图11MapReduce技术
MapReduce是Google开发的C++编程工具，用于大规模数据集（大于1TB）的并行运算。
概念"Map（映射）"和"Reduce（化简）"，及其主要思想都是从函数式编程语言和矢量编程语言借鉴而来的。
当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。
BigTable
图12BigTable技术
BigTable是Google内部开发的一个用来处理大数据量的系统。
这种系统适合处理半结构化的数据（如RSS数据源）。
它的设计使它能够管理2^50bytes（petabytes）数据，并可以部署到上千台机器上，从而完成了应用广泛、可扩展、高性能和高可用性等目标。
其实现让Google在提供新服务时的运行成本降低，最大限度地利用了计算能力。
BigTable是建立在GFS、Scheduler、LockService和MapReduce之上的。
Chubby
图13Chubby结构
Chubby系统提供粗粒度的锁服务，并且基于松耦合分布式系统设计可靠的存储。
软件开发者不需要使用复杂的同步协议，而是直接在程序中调用chubby的锁服务，来保证数据操作的一致性。
这种锁是建议性的，而不是强制性的锁，具有更大的灵活性。
客户端缓存数据，减少对主服务器的访问量。
主服务器通过通报机制，定期向客户端发送更新消息。
Chubby系统本质上是一个分布式的文件系统，存储大量的小文件。
每一个文件就代表了一个锁，并且保存一些应用层面的小规模数据。
用户通过打开、关闭和读取文件，获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息。
GoogleWorkQueue
图14Condor架构
目前无公开的GoogleWorkQueue的文档说明，但我们从一些材料可以知道，GoogleWorkQueue和Condor具有类似的结构和功能。
所以目前以Condor的情况说明GoogleWorkQueue的架构。
Condor是一个用来管理计算密集型的任务的批处理队列系统。
这是通过提供一个高吞吐量的计算（HTC）环境实现的。
HTC环境在为这些任务提供高吞吐量的同时，可以有效且最好地利用所有的可用资源。
它提供了传统的队列和调度功能，以及创新技术，例如资源分类。
在典型的使用情景中，用户将任务提交给Condor，它会对任务进行排队并监视，然后在任务完成时将结果表示出来。
历史上提供这种功能的批处理系统使用单个组织所有的专用机器。
4.2WebService技术
Webservices是建立可互操作的分布式应用程序的新平台。
WebService技术的出现，提供了一个跨语言，松散耦合，开放的技术架构，使分散在不同技术平台上的资源，采用不同技术实现的功能，以服务的形式进行动态的交互。
与SaaS有些类似，WEB服务厂商通过提供API让开发人员来开发互联网应用，而不是自己来提供功能全面的应用软件。
这种云计算的服务范围非常广泛，从分散的商业服务诸如StrikeIron和Xignite，到GoogleMaps、ADP薪资处理、美国邮政服务、Bloomberg和常规信用卡处理服务等的全套API服务。
如图所示，基本的Web服务架构包含了SOAP、WSDL、UDDI等支持服务请求者与服务提供者进行交互，以及用于Web服务发现的规范。
服务提供者通常用WSDL来描述它所提供的Web服务，然后将该WSDL描述发布；服务请求者可以通过UDDI或其他注册库（registry）来获取WSDL描述，并通过向服务提供者发送一个SOAP消息来请求执行服务。
图基本的Web服务架构基本的Web服务XML?
（ExtensibleMarkupLanguage，可扩展标记语言）和XSD（XMLSchemasDefinition，XML结构定义可扩展的标记语言XML是Webservice平台中表示数据的基本格式。
XML是一种简单的数据存储语言，使用一系列简单的标记描述数据，而这些标记可以用方便的方式建立，虽然XML占用的空间比二进制数据要，但XML易于掌握和使用。
XML主要的优点在于它既平台无关，又厂商无关，是当前处理结构化文档信息的有力工具。
XML解决了数据表示的问题，但它没有定义一套标准的数据类型，更没有说怎么去扩展这套数据类型。
W3C制定的XMLSchemaXSD就是专门解决这个问题的一套标准。
它定义了一套标准的数据类型，并给出了一种语言来扩展这套数据类型。
Webservice平台就是用XSD来作为其数据类型系统的。
当用某种语言如VB.NET或C#来构造一个Webservice时，为了符合Webservice标准，所有使用的数据类型都必须被转换为XSD类型。
SOAP?
（SimpleObjectAccessProtocol，简单对象访问协议）
SOAP是在分散或分布式的环境中交换信息并执行远程过程调用的轻量级协议。
Webservice建好以后，其他人就会去调用它。
简单对象访问协议SOAP提供了标准的远程过程调用RPC方法来调用Webservice。
SOAP规范定义了SOAP消息的格式，以及怎样通过HTTP协议来使用SOAP。
SOAP也是基于XML和XSD的，XML是SOAP的数据编码方式。
WSDL（WebServicesDescriptionLanguage，Web服务描述语言）
WSDL是WebServices的描述工具，以XML为基础，可以将任何语言开发的WebService进行描述，包括数据类型，消息结构和使用的传输协议，具有与开发语言无关的特点。
WSDL文件就像服务的说明书一样告诉服务的消费者如何同服务进行交互一些最新的开发工具既能根据你的Webservice生成WSDL文档，又能导入WSDL文档，生成调用相应Webservice的代码。
UniversalDescription，Discovery，andIntegration，统一描述、发现和集成）
面对极度丰富的服务，最常出现的问题是“在哪里以及如何找到需要的信息”。
统一UDDI规范在底层协议的基础上又定义了一层，在这一层，不同的企业能够以相同的方式描述自己提供的服务和查询对方提供的服务。
UDDI是一套基于Web的、分布式的、为Web服务提供的信息注册中心的实现标准规范，同时也包含一组使企业能将自身提供的Web服务注册以使别的企业能够发现的访问协议的实现标准。
WSFLWebServicesFlowLanguage，网络服务流程语言IBM制订，包括流程模型（Flowmodels）和总体模型（Globalmodels）。
流程模型说明了如何使用网络服务所提供的功能，并叙述商业交易流程。
而总体模型则详细说明所有交易伙伴的交易情形，即网络服务如何与其它网络服务作交谈。
基本的Web服务标准，已经适于构建基于SOA的应用了，但还不足以构建其他应用。
除基本的Web服务规范（SOAP和WSDL）以外，其他各种用于安全性（security）、可靠性（reliability）、事务性（transactions）、元数据管理（metadatamanagement）以及服务编制（orchestration）等方面的补充Web服务规范也正在标准化的过程之中，这些都为基于SOA的解决方案提供了必需的企业级服务质量，以支持各类任务关键型（mission-critical）、企业级的项目。
图16webservice协议栈
4.3虚拟化技术
图17VMwareInfrastructure
虚拟化是一个抽象层，它允许具有异构操作系统的多个虚拟机在同一台物理机上独立并行运行，从而物理硬件与操作系统彼此分离。
VMWare解决方案可简化IT，使公司可以充分利用它们的存储、网络和计算资源来控制成本，并提高响应速度。
VMwareInfrastructure是部署范围最广、通过虚拟化优化和管理业界标准IT环境的软件套件，也是唯一可用于生产的虚拟化软件套件。
它可以提供内置管理、资源优化、应用程序可用性和操作自动化功能，不仅可节约改造成本，也可提高运营效率、灵活性和IT服务级别。
VM管理工
升级会员 