云计算产品及技术方案分析报告.docx
《云计算产品及技术方案分析报告.docx》由会员分享,可在线阅读,更多相关《云计算产品及技术方案分析报告.docx(25页珍藏版)》请在冰豆网上搜索。
云计算产品及技术方案分析报告
云计算产品及技术方案分析报告
北京邮电大学
网络与交换技术国家重点实验室
2010年11月19日
名目
1引言
当前,云运算技术成为IT领域的研究热点。
目前的云运算产品和技术方案层出不穷,国内外研究机构、IT软硬件厂家、标准化组织、开源软件组织都在十分主动的推出云运算产品和技术解决方案。
本报告在学习和了解有关云运算技术资料、产品白皮书以及软件手册的基础上,期望对现有产品和技术解决方案给予归纳、整理和分析,实现对各类产品的清晰认识,以便于选择和使用。
2云运算产品分类
云运算产品大体分软件和硬件产品两大类。
其中硬件产品是要紧依靠于大型服务器设备的提供商实现的面向云特点的具有分布式并行运算能力的设备,代表有IBM、SUM、曙光机等。
软件产品是云运算产品的主流,包括虚拟机治理平台、数据储备平台、分布式运算平台等,要紧有的平台有Google应用软件引擎(GoogleAppEngine)、微软的Azure平台、亚马逊网络服务(AmazonAWS)、IBM蓝云、PlatformComputing的ISF以及VMware的云产品。
同时,国内的友友系统和美地森公司在云储备方面也走在了云技术进展的前沿。
3国外的主流产品
从Google提出云运算技术,到现在,国际上几乎所有一线的IT企业都主动参与进入这块新兴领域,并依据自己传统的技术领域和市场策略提出自己的云运算架构。
他们通过深挖技术基础,把大量往常的产品和技术的云运算特点挖掘出来,如软件的虚拟化、分布式储备系统,在此基础上建立自己的云运算产品线。
3.1Amazon云运算方案
3.1.1介绍
专业IT企业提供的云运算多多少少会限制在自己提供的系统之上,亚马逊公司不是IT系统制定者而是应用者,因此Amazon平台是开放的。
技术特点:
弹性虚拟平台
核心技术:
虚拟化技术Xen
企业服务:
EC2S3SimpleDBSQS
开源情形:
开源
3.1.2AmazonWebServices(AWS)
平台类型:
PaaSIaaSSaaS
虚拟化技术:
Xen
支持语言:
多种语言
运行环境:
位于云端的Amazon平台
应用程序间的隔离:
不同的应用运行在不同的虚拟机实现隔离
可扩展性:
手动或通过编程自动增加所需要虚拟机数量
计费方式:
按实际使用量付费(EC2运算服务0.1~0.8美元/小时,S3储备服务每GB大约0.15美元/月)
收费机制较复杂
有免费体验(EC2今年11月1日能够申请一年免费体验)
服务类型:
任意选择服务组合,服务耦合度低
实现功能:
较多
3.1.3弹性运算云EC2
服务类型:
IaaS
虚拟机的使用:
用户按照需要设置虚拟机的硬件配置
模型:
1个AMI+若干实例(每个用户最多20个实例)
当正在使用的实例显现故障,用户只需将弹性IP地址重新映射到一个新的实例
易用性:
稍差(Amazon提供模块供用户组建自己的程序)
运行环境:
用户自行提供运行程序所需的AMI(Amazon机器映像)构建自己的服务器平台
灵活性:
专门好
承诺用户对运行的实例数量和类型自行配置
承诺用户选择实例运行的地理位置
安全性:
专门好
基于密钥对机制的SSH方式访咨询
可配置的防火墙机制
承诺用户对其应用程序进行监控
适用的应用程序:
任意
3.1.4简单储备服务S3
概述:
架构在Dynamo之上,提供一个字节到数GB字节的支持,大致有520亿对象。
结构:
桶——对象两级模式
扩展性:
增加桶中的对象数量进行扩充
手动或编程自动扩容
容错性:
冗余储备数据监听回传Merkle哈希树
不限制桶中对象的个数
数据交互:
用户从获得授权的对象中取得数据
数据缓存:
对Master中元数据进行缓存
数据一致性:
最终一致性模型
后一次操作直截了当覆盖前一次操作
安全性:
身份认证(基于HMAC-SHA1的数字签名)
访咨询操纵列表
负载均衡
数据复原
3.1.5数据库服务SimpleDB
概述:
非传统的关系模型
系统结构:
域—条目—属性—值四级模式
查询语言:
支持有限的SQL
数据类型:
结构化数据
可扩展性:
超级可扩展性
查询功能:
查询结果只包含条目名称不包括相应的属性值
相应时刻不能超过5秒,否则报错
安全策略:
每一个容器数据在微软数据中心有多个备份
数据更新时刻:
有延迟
新数据复制到其他服务器上存在延迟
其他功能:
专门少
没有事务(Transaction)的概念不支持Join操作
实际储备的数据类型过于单一(所有的数据都以字符串形式储备)
备注:
用户相对大的数据储备在S3中
SDB中只储存指向某个特定文件位置的指针
3.2Google云运算方案
3.2.1介绍
建立在其搜索引擎技术的基础上,是一个没有“端”的系统:
用户通过一个简单的搜索框完成对海量运算的搜索
技术特性:
储备及运算水平扩充能力
核心技术:
平行分散技术MapReduce,BigTable,GFS
企业服务:
GoogleAppEngine
开源情形:
不开源
3.2.2GoogleAppEngine
平台类型:
PaaS(用户在其上开发软件,在Google基础设施上运行,无需服务器爱护)
应用服务器:
Python应用服务器群低端服务器
虚拟化技术:
没有应用
支持语言:
只支持Python、Java
运行环境:
Google提供在云端的应用程序环境
功能完整的本地开发环境,开发人员能够在本地模拟GoogleAppEngine环境
应用程序间的隔离:
通过沙盒实现(同时也给程序员带来专门多限制)
开发语言支持少
沙盒的使用带来的限制
可扩展性:
自动扩充所需资源并进行复杂均衡
计费方式:
每一个Google账户有一定额度的免费流量和空间支持
存在收费项目
服务类型:
所有服务捆绑在一起,耦合度高
用户通过特定API来使用相应服务
实现功能:
较少
3.2.3运算服务MapReduce
服务类型:
PaaS
虚拟机的使用:
没有应用
模型:
1个Master+若干Worker(分不执行map和reduce)
Master失效,整个MapReduce重新运行
Worker失效,其任务调度到其他Worker重新执行
通用性:
专门好
运行环境:
Google自身提供,用户无法自行调配
灵活性:
稍差(现只是搜索企业的选择)
适用的应用程序:
能够并行处理的程序
3.2.4储备服务GFS(GoogleFileSystem)
概述:
面向不可信服务器节点的分布式文件系统,文件分块储备
结构:
1个Master(储存元数据)+众多ChunkServer(储存文件块)
服务器:
大量分散的一般廉价服务器
扩展性:
动态插入节点(ChunkServer)(一般电脑),自动扩容
容错性:
ChunkServer冗余备份(3份)
Master瘫痪,有Shadow作为替补
访咨询效率:
高效
通过GFS上层的BigTable实现
数据交互:
一样情形下,Application和ChunkServer在同一台服务器上
Application与ChunkServer进行数据交互
能够被多个用户同时访咨询
数据缓存:
对Master中元数据进行缓存
数据一致性
负载均衡
数据复原
备注:
不完全适应海量小文件储备
3.2.5数据库服务DataStore
概述:
分布式储备数据库,随着应用程序访咨询量的增加而增加
系统结构:
Model—实体组—实体三级模式
查询语言:
GQL
数据类型:
结构化和半结构化数据
可扩展性:
无限扩展
查询功能:
查询结果以Model类的实例形式来返回实体
返回的结果不能超过1000条
事务功能:
通过乐观锁定实现事务的并发操纵
一个事务操作一个实体组,同一组内的实体储备在一起(应用程序能够在实体创建时将实体分配到组)
数据库在一个事务中执行多种操作,有一个操作失败则回滚整个事务
数据更新时刻:
有延迟,但不是常态
3.3Mirosoft云运算方案
3.3.1介绍
“云+端”云运算构想
最新的WindowsServer被设计成可让应用在数据中心和云之间迁移,然而只有在两者是专门相似的WindowsServer环境下才能够实现。
技术特性:
整合其所用软件及数据服务
核心技术:
大型应用软件开发技术
企业服务:
Azure平台
开源情形:
不开源
3.3.2WindowsAzure
平台类型:
PaaS
虚拟化技术:
Hyper-V
支持语言:
C#,.NET平台,PHP,Python等多种语言
运行环境:
支持在云中和本地系统中的应用程序
服务类型:
能够任意选择服务组合,耦合度低
应用程序间的隔离:
不同的应用在不同的虚拟机上
计费方式:
按实际使用量付费
储备与运算分开计费
定价机制过于僵硬,成本过高
可扩展性:
需要手动或者编程自动增加所需要的虚拟机数量
用户也能够选择增加虚拟机的功率
实现功能:
较多
3.3.3运算服务
服务类型:
PaaS
虚拟机的使用:
按照用户上传的配置文件XML,系统自动分配、配置虚拟机
虚拟机分为Web和Worker角色
模型:
若干Web(提供Wen服务,与用户交互)+若干Worker(类似于Windows服务)
运行环境:
程序运行在系统自动为用户生成的装有WindowsServer2008的虚拟机上
负载均衡:
当有用户要求时,按照需决定是否运行新的Web角色
按照负载大小自动扩展或减少Worker上实例运行的数量
灵活性:
较好
易用性:
较好
适用的应用程序:
任意可在WindowsServer2008上运行的程序
专门支持运行有大量并行用户的大型应用程序
3.3.4储备服务Blob/Table储备
概述:
用来储备大型数据对象
结构:
容器—Blob两级模式(Blob中的数据再分成Block)
Table—Partition(分区)—Row(实体)
扩展性:
增加容器中的Blob数量进行扩充
手动或编程自动扩容
容错性:
冗余备份
只传输出错的Block
访咨询效率:
Blob访咨询操纵策略
Table分成多个分区,储备在多个服务器,提升访咨询效率
对容器和Blob的数量没有限制
数据交互:
用户从获得授权的Blob中取得数据
数据缓存:
Table相同分区的实体储备在一起进行高效缓存
数据一致性:
Timestamp(时刻戳)
单表一致性(事务性的快照隔离)跨表一致性
负载均衡:
数据复原
备注:
Blob适宜储备无结构数据
Table适宜储备结构性专门强的数据
另有:
Queue储备应用程序各个部分之间的交互信息(例如Web和Worker的通信)
3.3.5数据库SQL服务(SDS)
概述:
非传统的关系模型
系统结构:
Authority—容器—实体三级模式(ACE模型)
查询语言:
SQL
数据类型:
结构化、半结构化和非结构化数据
可扩展性:
全球可扩展性
查询功能:
查询对象为容器
查询结果返回若干数量的实体
返回的结果不能超过500页
安全策略:
每一个容器数据在微软数据中心有多个备份
数据更新时刻:
没有延迟
其他功能:
专门多
3.4IBM蓝云
3.4.1概述
高端服务器战略(X86刀片服务器)
为用户在自己已有的IT环境中建立自己的私有云,并提供与公有云的无缝连接;同时,IBM也提供可供用户及合作伙伴直截了当使用的云服务和软件
技术特性:
整合其所有软件及硬件服务
核心技术:
网格技术、分布式储备、动态负载
企业服务:
虚拟资源池提供,企业云运算整合方案
开源情形:
不开源
3.4.2云运算架构
3.4.3云运算有关产品
①IBMWebSphereCloudBurst
云环境治理工具,以物理器件形式公布,即插即用,WebSphereCloudBurst使用户能够在“私有云”中轻松的创建、安全的部署和治理应用环境,同时让用户将自己在SOA方面的投资无缝的扩展到云服务环境。
②WebSphereVirtualEnterprise
软件解决方案,对中间件和应用栈进行虚拟化,为应用创建一个共享的应用云或是共享的资源池而不必考虑特定的应用容器,并实行负载均衡和资源调度。
③XIV
IBM的新一代云储备产品,基于网格技术,具有海量储备设备+大容量文件系统+高吞吐量互联网数据访咨询接口+治理系统的设计特点。
内置虚拟化技术,快照功能,瞬时克隆数据卷。
关心用户部署可靠、多用途、可用的信息基础结构,同时可提升储备治理、配置,以及改进的资产利用率。
3.5Platform云运算方案
3.5.1介绍
在HPC方面有专门强的技术力量,建立在网格运算治理软件的基础上
3.5.2PlatformISF(InfrastructureSharingFacility)运算服务
平台类型:
IaaS
端到端的私有云治理软件
要紧特点:
可配置程度高
资源整合:
将分布式和异构IT资源整合
从众多异构服务器、储备设备以及互联中创建一台共享运算机
支持要紧行业的标准硬件
支持的操作系统:
LinuxWindows
虚拟技术:
VMwareESX,Xen,CitrixXenServer,MicrosoftHyper-V和RedHatKVM
服务类型:
专门多即开即用的第三方工具(名目服务、安全、监控和报警)
交付服务:
自主入口——用户在几分钟(<=15min)之内要求和获得物理服务器和虚拟机
应用程序编程接口(API),自动调配资源
为多级商业应用程序配置模板,实现其生命周期治理的自动化
承诺启动多级应用程序的各个部分,添加或者去除一个资源,监控和复原故障
负载调度:
支持负载调度软件(例如AutoSys和PlatformLSF)
付费方式:
PlatformISF收集全部资源使用数据,提供报告和生成帐单信息
云治理员能够选择将使用数据反馈到特定场所的生成报告和索回工具之中
资源分配:
单位的资源共享优先权
资源均衡和应用程序均衡
要紧方式:
1预约要紧针对关键业务要求
2按需分配①时刻顺序相应用户要求
②用户的要求,按每次使用付费的模式分配资源
安全性:
分角色用户身份认证
审查跟踪(AuditTrail)
支持LDAP(轻量名目访咨询协议)和活动名目
储备支持:
Operatingsystemimage/Extradisks/SharedNFS
/Post-Provision/NetApp/AmazonS3/EMC/EqualLogic
3.6VMware(EMC)云运算方案
3.6.1介绍
EMC——自动化网络储备解决方案
VMware——虚拟化技术
技术特性:
信息储备系统及虚拟化技术
核心技术:
VMware的虚拟化技术,一流储备技术
企业服务:
Atoms云储备系统,私有云解决方案
开源情形:
不开源
3.6.2VMwarevSphere
业界第一个云运算操作系统
能够关心企业构建实现数据中心资源的治理,同时实现内部云和外部云之间的无缝连接
电源治理:
利用DPM
集群需要的资源减少时,将工作负载整合到较少的服务器上
保证服务级不的同时最大限度的减少电力消耗
资源调度:
分布式资源调度程序DRS
动态负载均衡——跨资源池动态调整运算资源
连续智能优化——基于预定义的规则智能分配资源
访咨询速率:
>30万次IPOS\每秒
延迟:
<20微秒
数据备份:
支持虚拟机集中式脱离主机备份
支持虚拟机的增量、差异和完整映像备份和复原
为Windows和linux虚拟机提供文件级备份支持
可用性:
拥有经济有效的适用于所有应用的高可用解决方案
当服务器故障时,自动重新启动虚拟机
容错性:
使用DRS和VMotion(在线迁移虚拟机)排除打算内宕机
在不同的主机上同步运行相同的虚拟机
显现硬件故障,所有虚拟机均可实现零宕机时刻、零数据缺失故障切换
数据复原:
通过vCenter实现集中式治理
虚拟机的无代理、基于磁盘的备份和复原
支持虚拟机、文件级不的复原
安全性:
API通过检查与治理程序一起使用的虚拟组件来爱护虚拟机
动态防火墙策略
动态安全容量
安全策略自动适应网络重新配置或升级
可扩展性:
按照需要和优先级调整容量
热添加CPU和内存
热添加和删除储备设备和网络设备
热扩展虚拟磁盘
以零宕机时刻横向扩展虚拟机
3.6.3云储备服务EMCAtoms
特色:
采纳基于策略的治理系统来创建不同层次的云储备
——重要数据,多份复制,分布储备
——不常用数据,复制份数和储备地点较少
——不再使用的数据,压缩,复制备份在更少的地点
为非付费用户和付费用户创建不同的服务级不
多样的治理服务:
复制,版本操纵,压缩,重复数据删除,磁盘休眠等
可用性:
应用程序接口包括Rest和Soap,能够整合所有的应用程序
多租户:
支持多客户共享功能,同一基础架构执行多种应用程序,并被安全隔离
现有版本:
120TB240TB360TB
基于X86服务器并支持千兆或10GbE以太网连接
4国内云储备产品
4.1美地森
概述:
分布式储备,网络容错,集群储备
结构:
元数据服务器MDS+块数据服务器CDS
文件分块储备(每一块大小固定在50MB)
服务器:
低成本、符合工业标准的通用硬件设备(Linux系统)
扩展性:
动态插入节点,无需复杂配置
自动在线扩容(几秒)
容量与节点成线性增长关系
容错性:
CDS冗余备份(3份)
存在3~5台MDS,储存相同元数据,同一时刻只有一台工作,一旦瘫痪,备用的赶忙替补
通用性:
通过NAS集群网关的方式为Windows、Linux、Unix、Mac等操作系统提供NFS协议访咨询接口
兼容所有操作系统平台
易用性:
单一名字命名空间
所有应用服务器看到所有的文件
访咨询效率:
每秒数十万个文件查询
同时多条数据通道读写数据
数据交互:
用户与CDS进行数据交互
数据缓存:
对MDS中元数据进行缓存
负载均衡:
自动进行负载均衡
数据复原:
本地数据储备两份,自动复原
2TB数据复原时刻<15min
备注:
不完全适应海量小文件储备
实时性?
局域网内,100台服务器左右,异地备份?
WSS?
4.2友友系统
4.2.1DataCell介绍
DataCell能够有效地解决业务系统在运营过程中收集和产生的大量实时数据以及企业在长期的业务进展过程中积存下来的海量数据的储备和处理系列咨询题,专门面对PB数量级的数据容量和上亿个储备文件的处理需求时,在降低整体成本提升系统整体可用性上能够发挥突出作用。
虚拟技术:
采纳
扩容性:
在新加入的硬件上安装DataCell,即可加入虚拟储备机
可移植性:
DataCell软件具有高度的可移植性,没有实际系统软硬件的限制
数据传输:
结合数流平台(Bitsflow),高效
4.2.2DataCellFS
非结构化储备系统——针对非结构化数据
架构:
1个操纵节点(储备元数据等)+若干的储备节点(细分为各储备块)
可扩展性:
热部署(TB—PB—更高级不的平滑扩展),性能线性增长
灵活性:
基于业务策略自动切分数据进行储备(储备块的大小是不固定的)
用户能够通过定义策略来实现让适当的数据在适当的时刻自动储存在适当的位置
虚拟技术:
将用户所使用的各类储备硬件无缝虚拟化
多租户:
同一储备结构服务于多个应用程序,数据分区隔离
容错性:
冗余备份
热备操纵节点
数据复原:
自动检测故障节点自动复原
访咨询效率:
支持并发访咨询
用户可为云服务构建自定义查询
负载均衡:
所有系统节点间透亮地移动数据
自动动态调整数据备份数
安全性:
访咨询操纵权限
应用程序能够不做修改即可迁移数据平台
4.2.3DataCellDB
结构化数据储备系统——针对结构化和半结构化数据
解决了目前通用关系型数据库在面对multi-TB或PB量级结构化数据的储备和处理需求时显现的性能和容量瓶颈咨询题
不完全支持关系数据库,但支持常用的关系操作(select、insert、delete、update)
架构:
完全无中心节点的分布式系统
逻辑环
容错性:
相邻节点互为热备份
简单快捷的数据导出工具
自定义冗余策略
可扩展性:
热部署
同时支持内存和磁盘数据库
访咨询效率:
在内存储备模式下,多进程并发随机读写支持超过20万次/秒
专门适用于海量小文件储备与访咨询的应用场景
支持语言:
C++、Java
其他功能:
支持包括哈希表、树、数组在内的多种内部结构
支持包含内存、硬盘、网络储备等多种不同储备机制
基于策略的的数据存取方式,支持包括冗余数和储备位置等在内的自定义策略
支持数据表操作类似的查询机制和简单的条件查询
支持用户定义的记录类型和数据字典
支持事务处理
支持复杂的索引规则
异步储备拷贝,支持snapshot
提供binarylog,支持服务器热备和冗余
完全支持多进程、多线程的高并发访咨询
支持分布式事务
远程图形化治理界面
4.2.4其他有关产品
①数流平台(Bitsflow)
高容错、高性能的数据传输中间层工具
②DataCellEcho
有效实现跨区域、异构分布式数据库的实时数据同步。
它能够同时处理同一系统内的多个异构数据库系统之间的数据交换和同步。
通过对各个数据库系统内数据的动态划分和治理,Echo还可在一个或多个数据库中支持多个Master和Slave并存
5几种开源云平台
5.1Hadoop(Apache基金会)
完全仿照Google体系架构做的一个开源项目,要紧包括Map/Reduce和HDFS文件系统。
Java语言开发,主从式的HDFS文件系统位于下层,主从式的Map/Reduce处理位于上层,差不多思想是“运算向储备迁移”——运算时各节点读取储备在自己节点的数据进行处理。
Map处理过程中一样没有数据的传输,只是在Reduce过程中需要向主节点传送运算结果,有效的解决了并行运算中网络数据传输的瓶颈咨询题。
HDFS以64MB为单位对文件分块,关于小文件及频繁存取的数据没有太大的优势。
5.2Ecualyptus项目(加利福尼亚大学)
创建了一个使企业能够使用它们内部IT资源(包括服务器、储备系统、网络设备)的开源界面,来建立能够和AmazonEC2兼容的云。
选择Xen和KVM作为虚拟化的治理程序。
差不多架构:
5.3AbiCloud(Abiquo公司)
用于公司的开源的云平台,使公司能够以快速、简单和可扩展的方式创建和治理大型、复杂的IT基础设施(包括虚拟服务器、网络、应用、储备设备等)
5,.4MongoDB(10gen)
高性能、开源、无模式的文档型数据库,在许多场景下可用于替代传统的关系型数据库或键/储备方式
5.5Enomalism弹性运算平台
提供了一个功能类似于EC2的云运算框架。
Enomalism基于Linux,同时支持Xen和KVM。
与其他的纯IaaS解决方案不同的是,Enomalism提供了一个基于TurboGearsWeb应用框架和Python的软件栈
5.6Nimbus(网格中间件Globus)
Nimb