云计算专业技术综述.docx
《云计算专业技术综述.docx》由会员分享，可在线阅读，更多相关《云计算专业技术综述.docx（28页珍藏版）》请在冰豆网上搜索。
云计算专业技术综述
云计算技术综述
胡经国
本文作者的话
本文是根据有关文献和资料编写的《漫话云计算》系列文稿之一。
现作为云计算学习笔录，奉献给云计算业外读者，作为进一步学习和研究的参考。
希望能够得到大家的指教和喜欢！
下面是正文
一、云计算关键技术
1、虚拟化技术
在云计算中，虚拟化（Virtualization）是一种资源管理技术。
虚拟化技术，是指计算元件在虚拟的基础上而不是在真实的基础上运行。
它可以扩大硬件的容量，简化软件的重新配置过程，减少软件虚拟机相关开销和支持更广泛的操作系统。
通过虚拟化技术，可实现软件应用与底层硬件相隔离。
它包括将单个资源划分为多个虚拟资源的裂分模式；也包括将多个资源整合为一个虚拟资源的聚合模式。
例如，可以将一台物理服务器虚拟成为多台逻辑机器；也可以将多台物理服务器虚拟成为一台逻辑机器。
虚拟化技术根据对象可分为：
计算虚拟化、存储虚拟化、网络虚拟化等。
计算虚拟化又分为：
系统级虚拟化、应用级虚拟化和桌面虚拟化。
在云计算实现中，计算系统虚拟化，是一切建立在“云”上的服务与应用的基础。
虚拟化技术目前主要应用在CPU、操作系统、服务器等多个方面，是提高服务效率的最佳解决方案。
2、分布式海量数据存储
云计算系统由大量服务器组成，同时为大量用户服务。
因此，云计算系统采用分布式存储的方式存储数据；用冗余存储的方式（集群计算、数据冗余和分布式存储）保证数据的可靠性。
冗余存储的方式，通过任务分解和集群，用低配置机器替代超级计算机的性能，来保证低成本。
这种方式保证分布式数据的高可用、高可靠和经济性，即为同一份数据存储多个副本。
云计算系统中广泛使用的数据存储系统，是Google的GFS和Hadoop团队开发的GFS的开源实现HDFS。
链接：
GFS
GFS（GoogleFileSystem，Google文件系统），是Google公司为了存储海量搜索数据而设计的专用文件系统。
GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。
它运行于廉价的普通硬件上，并提供容错功能。
它可以给大量的用户提供总体性能较高的服务。
链接：
HDFS
HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）被设计成适合运行在通用硬件（commodityhardware）上的分布式文件系统。
它和现有的分布式文件系统有很多共同点。
但是同时，它和其他的分布式文件系统的区别也是很明显的。
HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。
HDFS具有高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。
而且，它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些具有超大数据集（largedataset）的应用程序。
3、海量数据管理技术
云计算需要对分布的、海量的数据进行处理、分析。
因此，数据管理技术，必需能够高效地管理大量的数据。
云计算系统中的数据管理技术，主要是Google的BTsT～lO数据管理技术和Hadoop团队开发的开源数据管理模块HBase。
由于云数据存储管理形式，不同于传统的RDBMS数据管理方式，如何在规模巨大的分布式数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。
同时，由于管理形式的不同，造成传统的SQL数据库接口，无法直接移植到云管理系统中来。
目前，一些研究在关注为云数据管理提供RDBMS和SQL的接口，如基于Hadoap子工程HBase和Hive等。
另外，在云数据管理方面，如何保证数据安全性和数据访问高效性，也是研究关注的重点问题之一。
链接：
HBase
HBase（HadoopDatabase，Hadoop数据库），是一个分布式的、面向列的开源数据库。
HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库。
另一个不同的是，HBase基于列的而不是基于行的模式。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
链接：
RDBMS
RDBMS（RelationalDatabaseManagementSystem，关系型数据库管理系统），是将数据组织为相关的行和列的系统；而管理关系型数据库的软件就是关系型数据库管理系统。
常用的管理关系型数据库的软件有Oracle、SQLServer等。
链接：
SQL
SQL（Structured Query Language，结构化查询语言），是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系型数据库系统；同时也是数据库脚本文件的扩展名。
链接：
Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。
其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
链接：
MapReduce
MapReduce是一种分布式并行编程模型，用于大规模数据集（大于1TB）的并行运算。
概念“Map（映射）”和“Reduce（归约）”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。
它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。
4、编程模式
云计算提供了分布式计算模式，客观上要求必须有分布式编程模式。
云计算采用了一种思想简洁的分布式并行编程模型MapReduce。
MapReduce是一种编程模型和任务调度模型。
主要用于数据集的并行运算和并行任务的调度处理。
在该模式下，用户只需要自行编写Map函数和Reduce函数，即可进行并行计算。
其中，在Map（映射）函数中定义各节点上的分块数据的处理方法；而在Reduce（归约或化简）”函数中定义中间结果的保存方法以及最终结果的归纳方法。
5、云计算平台管理技术
云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用。
如何有效地管理这些服务器，保证整个系统提供不间断的服务，是巨大的挑战。
云计算系统的平台管理技术，能够使大量的服务器协同工作，方便地进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。
云计算平台，也称为云平台。
云计算平台可以划分为3类：
以数据存储为主的存储型云平台，以数据处理为主的计算型云平台，以及计算和数据存储处理兼顾的综合云计算平台。
转向云计算（CloudComputing），是业界将要面临的一个重大转变。
各种云平台（CloudPlatforms）的出现是该转变的最重要环节之一。
顾名思义，云平台允许开发者们或是将写好的程序放在“云”里运行，或是使用“云”里提供的服务，或是二者皆有。
二、云计算的技术基础
图2云计算的技术基础
在技术变革不断发生的过程中，网络逐步从基本互联网功能，转换到Web服务时代（典型的Web2.0时代）；IT也由企业网络互通性，转换到提供信息架构全面支撑企业核心业务。
技术驱动力，也为云计算提供了实现的客观条件，如上图所示，在关键领域云计算技术已经就绪。
1、标准化
标准化：
公共技术、开源技术、硬件标准接口、高度可扩展硬件体系、基础架构平台化、异构相容。
公共技术的长期发展，使得基础组件的标准化非常完善，硬件层面的互通已经没有阻碍（即使是非常封闭的大型机，目前也开始支持对外直接接出IP接口）。
大规模运营的云计算，能够极大降低单位建设成本。
链接：
开源软件技术
开源软件（OpenSourceSoftware）技术，是指向公众开放软件源代码的技术。
它源于一些软件技术发烧友出于技术展现目的或者说是对软件的一种热爱，将自己辛勤开发的软件源代码无私地发布到互联网社区上与社会共享。
他们坚信，好的软件应该是开放的，应该由任何有能力的人参与共同完善，这就是开源技术的理念。
互联网企业通过开源软件全面替代传统商业软件，从而得到信息化自主把控能力的过程，被称为软件开源化。
2、虚拟化与自动化
虚拟化与自动化：
计算虚拟化、存储虚拟化、网络安全虚拟化、资源整合、自动化调配、自动化响应、屏蔽基础架构不同组件的异构。
虚拟化技术不断向纵深发展，IT资源已经可以通过自动化的架构提供全局动态调度能力，自动化提升了IT架构的伸缩性和扩展性。
3、并行、分布式架构
并行与分布式：
大规模集群技术、分布式数据库、分布式文件系统、可伸缩可扩展的大型软件架构。
大规模的计算与数据处理系统，已经在分布式、并行处理的架构上得到广泛应用。
计算密集、数据密集、大型数据文件系统，成为云计算的实现基础。
从而，要求整个基础架构，具有更高的弹性与扩展性。
链接：
集群技术
集群（Cluster）技术是一种较新的技术。
通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益。
其任务调度则是集群系统中的核心技术。
在这里，集群，是指一组相互独立的、通过高速网络互联的计算机（服务器）。
它们构成了一个组即一个集群，并以单一系统的模式加以管理。
一个客户与集群相互作用时，集群像是一个独立的服务器。
集群配置是用于提高可用性和可伸缩性。
链接：
分布式数据库
分布式数据库（DistributedDatabase，DDB），是指数据分别存放在计算机网络中的各台计算机上的数据库。
分布式数据库系统，通常使用较小的计算机系统，每台计算机可单独放置在一个地方，每台计算机中都可能有DBMS（数据库管理系统）的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库；位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。
分布式数据库，是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。
分布式数据库的基本思想，是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。
链接：
网络节点
网络节点，是指具有独立地址的一台计算机、服务器或其他设备与具有传送或接收数据功能的网络相连。
节点可以是计算机、服务器，或工作站、网络用户、打印机和其他与网络连接的设备。
在网络中拥有自己唯一网络地址的计算机、服务器等设备都是网络节点。
整个网络就是由这许许多多的网络节点组成的；把许多的网络节点用通信线路连接起来，形成一定的几何关系，这就是计算机网络拓扑结构。
4、带宽
带宽：
服务器规模的急剧增长、服务器集群对外提供密集服务、互联网终端数量急剧增长、10G/40G/100G。
大规模的数据交换，需要超高带宽的支撑。
网络平台在40G/100G能力下，可具备更扁平化的结构，这使得云计算的信息交互以最短路径快速执行。
因此，从传统Web服务向云计算服务发展，已经具备技术基础；而企业的IT从信息架构演进到弹性的IT服务，也成为必然。
链接：
带宽
带宽（BandWidth）又叫频宽，是指在固定的时间内可传输的资料数量，亦即在传输管道中可以传递数据的能力。
在数字设备中，带宽通常以bps表示，即每秒可传输的位数。
在模拟设备中，带宽通常以每秒传送周期或赫兹（Hz）来表示。
网络带宽，是指在一个固定的时间内（1秒），能通过的最大位数。
就好象高速公路的车道一样，带宽越大，好比车道越多。
网络带宽作为衡量网络使用情况的一个重要指标，日益受到人们的普遍关注。
它不仅是政府或单位制订网络通信发展策略的重要依据，也是互联网用户和单位选择互联网接入服务商的主要因素之一。
链接：
网络扁平化结构
网络传统结构是由路由器到中心交换机，再向下连接到分交换机的结构。
网络扁平化就是取消这种结构，而是由路由器直接到交换机，交换机就开始带工作站了；然后此交换机又连接到另一个交换机，而那个交换机也直接带工作站了。
如果需要增加工作站，那么就再增加一个新交换机即可。
这使得云计算的信息交互以最短路径快速执行。
三、云计算八项核心技术全面解读
确切地说，云计算是大规模分布式计算技术及其配套商业模式演进的产物。
它的发展主要有赖于虚拟化、分布式数据存储、数据管理、编程模式、信息安全等各项技术、产品的共同发展。
近些年来，托管、后向收费、按需交付等商业模式的演进，也加速了云计算市场的转折。
云计算不仅改变了信息提供的方式，也颠覆了传统ICT系统的交付模式。
与其说云计算是技术的创新，不如说云计算是思维和商业模式的转变。
云计算技术，以虚拟化技术、分布式数据存储技术、编程模型、大规模数据管理技术、分布式资源管理、信息安全、云计算平台管理技术、绿色节能技术最为关键。
链接：
ICT
ICT是信息、通信和技术三个英文单词（Information，Communication，Technology）第一个字母的组合。
它是信息技术与通信技术相融合而形成的一个新的概念和新的技术领域。
1、虚拟化技术
虚拟化是云计算最重要的核心技术之一。
它为云计算服务提供基础架构层面的支撑，是ICT服务快速走向云计算的最主要驱动力。
可以说，没有虚拟化技术，也就没有云计算服务的落地与成功。
随着云计算应用的持续升温，业内对虚拟化技术的重视也提到了一个新的高度。
与此同时，我们的调查发现，很多人对云计算和虚拟化的认识都存在误区，认为云计算就是虚拟化。
事实上并非如此。
虚拟化是云计算的重要组成部分，但不是全部。
从技术上讲，虚拟化是一种在软件中仿真计算机硬件，以虚拟资源为用户提供服务的计算形式。
其宗旨在于合理调配计算机资源，使其更高效地提供服务。
它把应用系统各硬件间的物理划分打破，从而实现架构的动态化，实现物理资源的集中管理和使用。
虚拟化的最大好处，是增强系统的弹性和灵活性，降低成本、改进服务、提高资源利用效率。
从表现形式上看，虚拟化又分两种应用模式：
一种是将一台性能强大的服务器虚拟成多个独立的小服务器，服务于不同的用户。
另一种是将多个服务器虚拟成一个强大的服务器，完成特定的功能。
这两种模式的核心，都是统一管理，动态分配资源，提高资源利用率。
在云计算中，这两种模式都有比较多的应用。
2、分布式数据存储技术
云计算的另一大优势就是能够快速、高效地处理海量数据。
在数据爆炸的今天，这一点至关重要。
为了保证数据的高可靠性，云计算通常会采用分布式数据存储技术，将数据存储在不同的物理设备中。
这种模式不仅摆脱了硬件设备的限制，同时扩展性更好，能够快速响应用户需求的变化。
分布式存储与传统的网络存储并不完全一样。
传统的网络存储系统，采用集中的存储服务器存放所有数据。
存储服务器成为系统性能的瓶颈，不能满足大规模存储应用的需要。
分布式网络存储系统，采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。
它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
在当前云计算领域，Google的GFS和Hadoop开发的开源系统HDFS，是比较流行的两种云计算分布式存储系统。
GFS（GoogleFileSystem，Google文件系统）技术：
谷歌的非开源的GFS（GoogleFileSystem）云计算平台，满足大量用户的需求，并行地为大量用户提供服务。
这使得云计算的数据存储技术，具有了高吞吐率和高传输率的特点。
HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）技术：
大部分ICT厂商，包括Yahoo、Intel的“云”计划，采用的都是HDFS的数据存储技术。
未来的发展将集中在超大规模的数据存储、数据加密和安全性保证、以及继续提高I/O速率等方面。
3、编程模式——分布式并行编程模式
从本质上讲，云计算是一个多用户、多任务、支持并发（行）处理的系统。
高效、简捷、快速是其核心理念。
它旨在通过网络把强大的服务器计算资源方便地分发到终端用户手中，同时保证低成本和良好的用户体验。
在这个过程中，编程模式的选择至关重要。
在云计算工程中，分布式并行编程模式将被广泛采用。
分布式并行编程模式创立的初衷是更高效地利用软、硬件资源，让用户更快速、更简单地使用应用或服务。
在分布式并行编程模式中，后台复杂的任务处理和资源调度，对于用户来说是透明的。
这样，用户体验能够大大提升。
MapReduce是当前云计算主流分布式并行编程模式之一。
MapReduce模式将任务自动分成多个子任务，通过Map和Reduce两步，实现任务在大规模计算节点中的高度与分配。
MapReduce是Google开发的java、Python、C++编程模型，主要用于大规模数据集（大于1TB）的并行运算。
MapReduce模式的思想，是将要执行的问题分解成Map（映射）和Reduce（化简或归约）的方式；先通过Map程序将数据切割成不相关的区块，分配（调度）给大量计算机处理，达到分布式计算的效果；再通过Reduce程序将结果汇整输出。
4、大规模数据管理技术
海量数据管理是云计算的一大优势。
如何管理涉及到很多层面的东西。
因此，高效的大规模数据管理技术，也是云计算不可或缺的核心技术之一。
对于云计算来说，数据管理面临巨大的挑战。
云计算不仅要保证数据的存储和访问，还要能够对海量数据进行特定的检索和分析。
由于云计算需要对海量的分布式数据进行处理、分析，因而数据管理技术必需能够高效的管理大量数据。
Google的BT（BigTable）数据管理技术和Hadoop团队开发的开源数据管理模块DBase，是业界比较典型的大规模数据管理技术。
⑴、BT（BigTable）数据管理技术
BigTable是非关系型数据库，是一个分布式的、持久化存储的多维度排序Map。
BigTable与传统的关系型数据库不同。
它把所有数据都作为对象来处理，形成一个巨大的表格，用来分布式存储大规模结构化数据。
BigTable的设计目的，是可靠地处理PB级别的数据，并且能够部署到上千台服务器上。
⑵、开源数据管理模块HBase
HBase定位于分布式、面向列的开源数据库。
HBase不同于一般的关系型数据库。
它是一个适合于非结构化数据存储的数据库。
另一个不同的是，HBase基于列的而不是基于行的模式。
作为高可靠性分布式存储系统，HBase在性能和可伸缩方面，都有比较好的表现。
利用HBase技术，可在廉价PCServer（PC服务器）上搭建起大规模结构化存储集群。
5、分布式资源管理技术
由于云计算采用了分布式存储技术存储数据，因而自然要引入分布式资源管理技术。
在多节点的并发执行环境中，各个节点的状态需要同步。
并且，在单个节点出现故障时，系统需要有效的机制保证其它节点不受影响。
而分布式资源管理系统恰是这样的技术。
它是保证系统状态正常的关键技术。
另外，云计算系统所处理的资源往往非常庞大，少则几百台服务器，多则上万台服务器；同时可能跨跃多个地域。
而且，云平台中运行的应用，也是数以千计。
如何有效地管理这批资源，保证它们正常提供服务，需要强大的技术支撑。
因此，分布式资源管理技术的重要性，可想而知。
全球各大云计算方案／服务提供商们，都在积极开展相关技术的研发工作。
其中，Google内部使用的Borg技术，很受业内称道。
另外，微软、IBM、Oracle/Sun等云计算巨头，都有相应解决方案提出。
链接：
云应用
云应用（CloudApply）是云计算概念的子集，是云计算技术在应用层的体现。
云应用跟云计算最大的不同在于：
云计算作为一种宏观技术发展概念而存在；而云应用则是直接面对客户解决实际问题的产品。
链接：
Borg
Borg，是谷歌公司的内部容器管理系统。
早在十几年前，该公司就已经部署Borg系统对来自于几千个应用程序所提交的job（工作）进行接收、调试、启动、停止、重启和监控。
该工程的目的是实现资源管理的自动化以及跨多个数据中心的资源利用率最大化。
6、信息安全
调查数据表明，安全已经成为阻碍云计算发展的最主要原因之一。
数据显示，32%已经使用云计算的组织，和45%尚未使用云计算的组织的ICT（信息和通信技术）管理，将云安全作为进一步部署云的最大障碍。
因此，要想保证云计算能够长期稳定、快速发展，安全是首要需要解决的问题。
事实上，云计算安全也不是新问题；传统互联网存在同样的问题。
只是云计算出现以后，安全问题变得更加突出。
在云计算体系中，安全涉及到很多层面，其中包括：
网络安全、服务器安全、软件安全、系统安全等等。
因此，有分析师认为，云安全产业的发展，将把传统安全技术提到一个新的阶段。
现在，不管是软件安全厂商，还是硬件安全厂商，都在积极研发云计算安全产品和方案。
包括传统杀毒软件厂商、软硬防火墙厂商、IDS/IPS厂商在内的各个层面的安全供应商，都已加入到云安全领域。
相信在不久的将来，云安全问题将得到很好的解决。
链接：
IDS/IPS
IDS（IntrusionDetectionSystems，入侵检测系统），从专业上讲就是依照一定的安全策略，通过软、硬件，对网络、系统的运行状况进行监视，尽可能发现各种攻击企图、攻击行为或者攻击结果，以保证网络系统资源的机密性、完整性和可用性。
IPS（IntrusionPreventionSystem，入侵防御系统），是电脑网络安全设施，是对防病毒软件（AntivirusPrograms）和防火墙（PacketFilter包过滤，ApplicationGateway应用网关）的补充。
入侵预防系统是一部能够监视网络或网络设备的网络资料传输行为的计算机网络安全设备，能够即时中断、调整或隔离一些不正常或是具有伤害性的网络资料传输行为。
链接：
防火墙
防火墙（Firewall），也称防护墙，是一种位于内部网络与外部网络之间的网络安全系统，一项信息安全的防护系统；依照特定的规则，允许或是限制传输的数据通过。
所谓防火墙，是指一个由软件和硬件设备组合而成、在内部网和外部网之间、专用网与公共网之间的界面上构造的保护屏障，是一种获取安全性方法的形象说法。
它是一种计算机硬件和软件的结合，使Internet与Intranet（内部网络）之间建立起一个安全网关（SecurityGateway），从而保护内部网免受非法用户的侵入。
防火墙主要由服务访问规则、验证工具、包过滤和应用网关4个部分组成。
防火墙就是一个位于计算机和它所连接的网络之间的软件或硬件。
该计算机流入流出的所有网络通信和数据包均要经过此防火墙。
7、云计算平台管理技术
云计算资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用。
如何有效地管理这些服务器，保证整个系统提供不间断的服务，是巨大的挑战。
云计算系统的平台管理技术，需要具有高效调配大量服务器资源，使其更好协同工作的能力。
其中，方便地部署和开通新业务、快速发现并且恢复系统故障、通过自动化、智能化手段实现大规模系统可靠的运营，是云计算平台管理技术的关键。
对于提供者而言，云计算可以有三种部署模式，即公共云、私有云和混合云。
这三种云计算部署模式，对平台管理的要求大不相同。
对于用户而言，由于企业对于ICT（信息和通信技术）资源共享的控制、对系统效率的要求以及ICT成本投入预算不尽相同，企业所需要的云计算系统规模及可管理性能也大不相同。
因此，云计算平台管理方案，要更多地考虑到定制化需求，能够满足不同场景的应用需求。
包括Google、IBM、微软、Oracle/Sun等在内的许多厂商，都有云计算平台管理方案推出。
这些方案能够帮助企业实现基础架构整合、实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破应用对资源的独占，让企业云计算平台价值得以充分发挥。
升级会员 