云存储.docx
《云存储.docx》由会员分享，可在线阅读，更多相关《云存储.docx（16页珍藏版）》请在冰豆网上搜索。
云存储
1云存储技术
云存储系统与传统存储系统相比，具有如下不同：
第一，从功能需求来看，云存储系统面向多种类型的网络在线存储服务，而传统存储系统则面向如高性能计算、事务处理等应用；第二，从性能需求来看，云存储服务首先需要考虑的是数据的安全、可靠、效率等指标，而且由于用户规模大、服务范围广、网络环境复杂多变等特点，实现高质量的云存储服务必将面临更大的技术挑战；第三，从数据管理来看，云存储系统不仅要提供类似于POSIX的传统文件访问，还要能够支持海量数据管理并提供公共服务支撑功能，以方便云存储系统后台数据的维护。
基于上述特点，云存储平台整体架构可划分为4个层次，自底向上依次是：
数据存储层、数据管理层、数据服务层以及用户访问层。
云存储平台整体架构如图1所示。
（1）数据存储层
云存储系统对外提供多种不同的存储服务，各种服务的数据统一存放在云存储系统中，形成一个海量数据池。
从大多数网络服务后台数据组织方式来看，传统基于单服务器的数据组织难以满足广域网多用户条件下的吞吐性能和存储容量需求[7]；基于P2P架构的数据组织需要庞大的节点数量和复杂编码算法保证数据可靠性[8]。
相比而言，基于多存储服务器的数据组织方法能够更好满足在线存储服务的应用需求[9]，在用户规模较大时，构建分布式数据中心能够为不同地理区域的用户提供更好的服务质量[10]。
云存储的数据存储层将不同类型的存储设备互连起来，实现海量数据的统一管理，同时实现对存储设备的集中管理、状态监控以及容量的动态扩展，实质是一种面向服务的分布式存储系统。
（2）数据管理层
云存储系统架构中的数据管理层为上层提供不同服务间公共管理的统一视图。
通过设计统一的用户管理、安全管理、副本管理及策略管理等公共数据管理功能，将底层存储及上层应用无缝衔接起来，实现多存储设备之间的协同工作，以更好的性能对外提供多种服务。
（3）数据服务层
数据服务层是云存储平台中可以灵活扩展的、直接面向用户的部分。
根据用户需求，可以开发出不同的应用接口，提供相应的服务。
比如数据存储服务、空间租赁服务、公共资源服务、多用户数据共享服务、数据备份服务等。
（4）用户访问层
通过用户访问层，任何一个授权用户都可以在任何地方，使用一台联网的终端设备，按照标准的公用应用接口来登录云存储平台，享受云存储服务。
与传统的购买存储设备和部署存储软件相比，云存储方式存在以下优点：
（1）成本低、见效快
传统的购买存储设备或软件定制方式下，企业根据信息化管理的需求，一次性投入大量资金购置硬件设备、搭建平台。
软件开发则经过漫长的可行性分析、需求调研、软件设计、编码、测试这一过程。
往往在软件开发完成以后，业务需求发生变化，不得不对软件进行返工，不仅影响质量，提高成本，更是延误了企业信息化进程，同时造成了企业之间的低水平重复投资以及企业内部周期性、高成本的技术升级。
在云存储方式下，企业除了配置必要的终端设备接收存储服务外，不需要投入额外的资金来搭建平台。
企业只需按用户数分期租用服务，规避了一次性投资的风险，降低了使用成本，而且对于选定的服务，可以立即投入使用，既方便又快捷。
（2）易于管理
传统方式下，企业需要配备专业的IT人员进行系统的维护，由此带来技术和资金成本。
云存储模式下，维护工作以及系统的更新升级都由云存储服务提供商完成，企业能够以最低的成本享受到最新最专业的服务。
（3）方式灵活
传统的购买和定制模式下，一旦完成资金的一次性投入，系统无法在后续使用中动态调整。
随着设备的更新换代，落后的硬件平台难以处置；随着业务需求的不断变化，软件需要不断地更新升级甚至重构来与之相适应，导致维护成本高昂，很容易发展到不可控的程度。
而云存储方式一般按照客户数、使用时间、服务项目进行收费。
企业可以根据业务需求变化、人员增减、资金承受能力，随时调整其租用服务方式，真正做到“按需使用”。
2云备份应用
云存储可以支持多种应用方式，如云备份、云数据共享、云资源服务等，也可以提供标准化的接口给其他网络服务使用。
下面以我们自行研制的B-Cloud云备份为例，简单介绍云存储应用的具体技术细节。
B-Cloud的部署结构如图2所示。
云备份系统包括3个层次的备份云：
云存储是在云计算概念上延伸和发展出来的一个新概念。
云计算是分布式处理、并行处理和网格计算的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。
云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
近一两年，国内外在云存储领域公开了相应的的一些专利，概述如下：
1、国内
国内申请与云存储技术相关专利的企业主要有中兴通讯股份有限公司、成都市华为赛门铁克科技有限公司和浪潮（北京）电子信息产业有限公司。
中兴通讯股份有限公司公开的发明专利“ 一种云存储系统和方法”（申请号：
CN200910188892.1申请日：
2009.12.11公开日2010.06.23），包括全局调度层和云存储层，其中：
所述全局调度层，用于根据接受到的访问请求，根据所述访问请求的资源，定位所述资源所在所述云存储层的位置；所述全局调度层由一个或一个以上的服务器组成；所述云存储层由至少一个云存储节点组成。
通过使用全局调度层和云存储层，使得既能够利用全局调度层所具有的传统存储架构的优点，同时也能够利用云存储层所具有的可扩展性强，成本低的优点。
成都市华为赛门铁克科技有限公司的“一种移动终端访问云服务的方法、装置和通信系统”（申请号：
CN200910137558.3申请日：
2009.05.11公开日：
2009.10.14），公开了一种移动终端访问云服务的方法、装置和通信系统。
该发明实施例的移动终端可以通过预置的客户端发送需要处理的任务给网络侧设备，由网络侧设备利用云计算和云存储处理所述任务，然后返回处理结果给移动终端，也就说是，将移送终端上的任务通过预置的客户端直接推送到远程执行，实现对云服务的访问，以丰富移动终端的功能。
浪潮（北京）电子信息产业有限公司的“一种在线存储系统及方法”（申请号：
CN201010104358.0申请日：
2010.02.01公开日：
2010.06.16），涉及一种在线存储系统及方法，增强在线存储技术的环境适应能力。
其中该方法主要包括：
从远程数据中心获取待处理文件的文件元数据以及文件内容；根据文件元数据生成虚拟磁盘；用户通过虚拟磁盘对文件内容进行编辑；从虚拟磁盘上的配置文件中获得配置信息；获得待处理文件在远程数据中心和虚拟磁盘之间的差量信息；根据配置信息及差量信息生成待传输数据；提供协议接口，并根据协议接口向远程数据中心传输待传输数据。
另有个人申请的一项发明专利“云存储的并行系统的架构方法”（申请号：
CN200910143245.9申请日：
2009.05.21公开日：
2009.12.16），主要特点包括：
（1）创立了一套新颖的、网络中央存储化的化整为零的技术方案，即：
存储前，程序把一个母文件分解为多个子体，称之为数据元，以此为存储的最小单元；
（2）以云阵存储技术，取代现有的网络中央存储方法，一个云阵是由专门编号设定的多服务器组成，按编号建立数据元与服务器对应的存取关系，把原文件分解为数据元分别存储于云阵；（3）数据元存取以多进程并行方式，一个进程执行一个数据元的存取，N个数据元，则有N个进程执行其存取，因其进程并行，可改善存取速度；（4）数据元须加密压缩，原始密码不许保存；（5）服务器操作系统为Unix。
2、国外
国外申请与云存储技术相关专利的企业主要包括以色列的CTERANetworks，美国的云存储供应商Nasuni和美国的思杰（Citrix）系统公司。
以色列云存储和数据保护厂商CTERANetworks公开的专利“关于集成云存储服务网络附加存储的存储设备和方法”（专利号：
US2010161759申请日：
2009.12.18公开日：
2010.06.24），涉及一个网络附加云存储设备，用来执行基于云存储服务的网络附加存储操作。
这个设备包含至少一个网络控制器用于局域网（LAN）客户端的通信，并且通过广域网（WAN）来使用云存储服务；本地数据存储设备；一个至少在本地存储设备中存储的数据和存储在云存储服务数据的同步云存储服务模型；和一个使客户端运行在使用文件共享协议设备上的基于文件操作的处理器。
附图如下：
美国Nauni公司的专利“与云存储建立接口的方法和系统”（专利号：
WO2010085579申请日：
2010.01.22公开日：
2010.07.29），是在本地文件系统和数据存储（例如，“一次写入”存储）生成输出到数据存储器“版本的”文件系统之间的一个接口。
给定时间点的本地文件系统状态可以决定使用这个版本文件系统。
这个版本的文件系统包括一组结构化的由真实文件系统数据的元数据组成的数据表示（如XML）。
在操作中，这个接口创建和输出到数据存储器结构化的数据表示中，它们就是本地文件系统的版本，也是这些结构化数据表示所表示的真实文件数据。
一个关联到接口的缓存用来存储最近使用的数据和元数据，也包括所有写入数据和等待传输到数据存储器的元数据。
在传输之前，数据转换如压缩，加密，冗余删除等等，可能被应用到数据和元数据中。
这个数据存储器包括任何类型的后端存储设备，系统或架构。
在实施过程中，数据存储器包含云存储服务供应商。
需要时，一个给定的结构化数据表示可以用来找回文件系统的关联版本。
如此，这个版本的文件系统只需要从数据存储器一次写入行为来保存它在任何时间点完整的状态。
缓存设备能够恢复文件系统。
当接口被放置在通用数据存储器“前”，接口就影响了数据存储器转变为一个“版本的文件系统”（"VFS"）。
另外，一个内容控制系统（CCS）用来配置和管理接口。
附图如下：
美国思杰系统公司公开的专利“在云计算环境中存储系统找回给定数据转换的方法和系统”（专利号：
WO2010090883申请日：
2010.01.22公开日：
2010.08.12），该专利包括从云计算环境里的存储系统中找回给定数据转换的方法，还包括通过一个接口对象执行第一个物理计算设备的接收，以及通过存储系统虚拟存储资源运行、管理、维护和预置的请求。
接口对象从存储系统接口对象中请求虚拟存储资源的运行、管理、维护和预置。
这个接口对象从存储系统接口对象接收虚拟存储资源的识别。
这个接口对象通过获取一个接口转换文件映射，以专有格式执行转换支持虚拟存储资源的识别。
这个接口对象伴随接收识别转换从第二个物理计算设备中接收响应请求。
附图如下：
从上述国内外专利比较来看，国内的云存储技术研究偏向整体系统与架构，而国外则侧重云存储接口技术。
云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
全球数据量的猛增使得存储日益成为一个更独立的专业问题，越来越多的企业开始将存储作为单独的项目进行管理。
同时，持续增长的数据存储压力带动着整个存储市场的快速发展。
云存储（cloudstorage）这个概念一经提出，就得到了众多厂商的支持和关注。
Amazon在两年前就推出的ElasticComputeCloud（EC2：
弹性计算云）云存储产品，旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。
内容分发网络服务提供商CDNetworks和业界著名的云存储平台服务商Nirvanix发布了一项新的合作，并宣布结成战略伙伴关系，以提供业界目前唯一的云存储和内容传送服务集成平台。
半年以前，微软就已经推出了提供网络移动硬盘服务的WindowsLiveSkyDriveBeta测试版。
近期，EMC宣布加入道里可信基础架构项目，致力于云计算环境下关于信任和可靠度保证的全球研究协作，IBM也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。
云存储变得越来越热，大家众说纷”云”，而且各有各的说法，各有各的观点，那么到底什么是云存储？
1什么是云存储
云存储在云计算（cloudcomputing）概念上延伸和发展出来的一个新的概念。
云计算是是分布式处理（DistributedComputing）、并行处理（ParallelComputing）和网格计算（GridComputing）的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。
通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务。
云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
如果这样解释还是难以理解，那我们可以借用广域网和互联网的结构来解释云存储。
云状的网络结构
相信大家对局域网、广域网和互联网都已经非常了解了。
在常见的局域网系统中，我们为了能更好地使用局域网，一般来讲，使用者需要非常清楚地知道网络中每一个软硬件的型号和配置，比如采用什么型号交换机，有多少个端口，采用了什么路由器和防火墙，分别是如何设置的。
系统中有多少个服务器，分别安装了什么操作系统和软件。
各设备之间采用什么类型的连接线缆，分配了什么xml:
lang=IP地址和子网掩码。
但当我们使用广域网和互联网时，我们只需要知道是什么样的接入网和用户名、密码就可以连接到广域网和互联网，并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器，不需要知道数据是通过什么样的路由到达我们的电脑，也不需要知道网络中的服务器分别安装了什么软件，更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。
广域网和互联网对于具体的使用者是完全透明的，我们经常用一个云状的图形来表示广域网和互联网，如下图：
虽然这个云图中包含了许许多多的交换机、路由器、防火墙和服务器，但对具体的广域网、互联网用户来讲，这些都是不需要知道的。
这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务，无论我们在任何地方，都可以通过一个网络接入线缆和一个用户、密码，就可以接入广域网和互联网，享受网络带给我们的服务。
参考云状的网络结构，创建一个新型的云状结构的存储系统系统，这个存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。
当我们使用某一个独立的存储设备时，我们必须非常清楚这个存储设备是什么型号，什么接口和传输协议，必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量，必须清楚存储设备和服务器之间采用什么样的连接线缆。
为了保证数据安全和业务的连续性，我们还需要建立相应的数据备份系统和容灾系统。
除此之外，对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。
如果采用云存储，那么上面所提到的一切对使用者来讲都不需要了。
云状存储系统中的所有设备对使用者来讲都是完全透明的，任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接，对云存储进行数据访问。
云存储不是存储，而是服务
就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。
使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。
所以严格来讲，云存储不是存储，而是一种服务。
云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。
2云存储的结构模型
与传统的存储设备相比，云存储不仅仅是一个硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。
各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。
云存储系统的结构模型如下：
一、存储层
存储层是云存储最基础的部分。
存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。
云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。
存储设备之上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护。
二、基础管理层：
基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。
基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。
三、应用接口层：
应用接口层是云存储最灵活多变的部分。
不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。
比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台，远程数据备份应用平台等。
四、访问层：
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。
云存储运营单位不同，云存储提供的访问类型和访问手段也不同。
3云存储的技术前提
从上面的云存储结构模型可知，云存储系统是一个多设备、多应用、多服务协同工作的集合体，它的实现要以多种技术的发展为前提。
一、宽带网络的发展
真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接入设备来连接云存储，而不是通过FC、SCSI或以太网线缆直接连接一独立的、私有的存储设备上。
只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务，否则只能是空谈。
二、WEB2.0技术
Web2.0技术的核心是分享。
只有通过web2.0技术，云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储和资料共享。
Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。
三、应用存储的发展
云存储不仅仅是存储，更多的是应用。
应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。
应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。
四、集群技术、网格技术和分布式文件系统
云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。
既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。
如果没有这些技术的存在，云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结构。
五、CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。
如果云存储中的数据安全得不到保证，想来也没有人敢用云存储，否则，保存的数据不是很快丢失了，就是全国人民都知道了。
六、存储虚拟化技术、存储网络化管理技术
云存储中的存储设备数量庞大且分布在多不同地域，如何实现不同厂商、不同型号甚至于不同类型（如FC存储和IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。
云存储中的存储设备数量庞大、分布地域广造成的另外一个问题就是存储设备运营管理问题。
虽然这些问题对云存储的使用者来讲根本不需要关心，但对于云存储的运营单位来讲，却必须要通过切实可行和有效的手段来解决集中管理难、状态监控难、故障维护难、人力成本高等问题。
因此，云存储必须要具有一个高效的类似与网络管理软件一样的集中管理平台，可实现云存储系统中设有存储设备、服务器和网络设备的集中管理和状态监控。
升级会员 