数据存储方案Word文档下载推荐.docx
《数据存储方案Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《数据存储方案Word文档下载推荐.docx(17页珍藏版)》请在冰豆网上搜索。
4.2.1HPEVA磁盘阵列简介10
第5章HP公司及售后简介14
5.1HP公司简介14
5.2HP科技的客户15
5.3HP科技承担的重大项目16
5.4公司自主开发的产品18
5.5HP科技的软件开发实力和大型软件实施工程经验19
5.6强大的系统集成和硬件实施能力20
5.7公司在科技研发方面近年来获得的部分荣誉20
5.8与国际接轨的质量管理体系22
5.9杰出的人才与管理23
5.10快速服务响应23
5.11丰富的应用工程经验24
第1章项目概述和建设需求
1.1项目概述
根据规划,×
此次需要结合数据中心的建立,计划配置一套基于当今先进IT技术的数据集中存储系统,满足×
近期和较远期发展对数据中心存储系统的需求。
1.2建设需求
目前,×
的数据大量以文件的形式存放,如技术文档、图纸等非结构化数据,约占总数据量的70%-80%,而各类数据库、测试数据等结构化数据以数据库的形式存放,约占20%-30%。
存储系统技术架构上,应首先能够同时满足两类数据的存储需求,并能实现两类数据的存储和共享。
在两类数据的存储与访问上,存储系统的性能应能够达到均衡。
在存储系统前端服务器配置上,考虑到应用的复杂程度,应能支持异构平台服务器系统(UNIX、LINUX、WINDOWS等)对存储系统的共享需求,存储系统的光纤接入端口至少具有一定数量。
此次存储需求:
30TB,要求技术先进,高可用,高性能,兼容性强。
前端服务器应用主要为保密系统,共六台服务器,其中四台工作站,一台XP平台,数据图像处理服务器,一台LINUX平台。
1.3建设目标
数据中心存储系统提供研制数据的集中存储和统一管理平台;
数据中心存储系统为研制各阶段、各层面人员提供快捷的数据共享平台,包括研制数据和研制所需的基础数据;
数据中心存储系统提供数据的全方位安全管理,包括硬件安全机制、统一备份机制和灾难恢复机制等,确保研制数据的安全;
数据中心存储系统能够均衡的支持结构化数据和非结构化数据的存储需求,并支持非结构化数据的权限可配置的共享管理;
数据中心存储系统能够支持未来三年内的数据增长能力。
1.4方案设计原则
技术架构上应保证先进,3-5年不落后;
保证数据的安全性和系统的高可靠性;
全系统应具备很高的性能;
存储系统具备高可扩展性/可扩充性;
易管理、易维护性;
经济性和投资保护。
第2章存储技术介绍
早期的存储系统是计算机系统的一部分,大多以存储设备形式出现。
计算机系统可以通过总线连接到磁盘,或者通过输入/输出系统与磁盘系统相连,这时计算机基本上是以单机方式工作的。
随着网络的发展,数据的存储也逐渐由单机向多机方式和专用机发展,数据的共享与传递也逐渐从依赖主机系统向依赖网络系统发展。
当前,在大型企业应用安装数十台服务器已经很常见。
但过于分散的数据资源,会给访问和管理带来困难。
因此,数据存储问题备受关注。
存储系统大致可以分成三种类型:
⏹直接依附存储系统(DirectAttachedStorage,DAS)
DAS又称为以服务器为中心的存储体系。
其特征为存储设备是通用服务器的一部分,该服务器同时提供应用程序的运行。
数据的输入/输出由服务器负责,数据访问与操作系统、文件系统和服务程序紧密相关。
当用户数量增加或服务器正在提供服务时,响应会变慢。
在网络带宽足够的情况下,服务器本身成为数据输入/输出的瓶颈。
当前绝大多数存储系统都属于这种类型。
⏹网络依附存储系统(NetworkAttachedStorage,NAS)
这种存储方式多采用专用数据服务器。
该服务器不再承担应用服务,称之为“瘦服务器”(ThinServer)。
数据服务器通过局域网的接口与应用服务器连接。
由于采用局域网上通用数据传输协议,如NFS,CIFS等,所以能够在异构的服务器间共享数据,这一点在Windows和UNIX混合环境下是十分重要的。
NAS也是一种集中化数据存储形式,便于维护和管理。
⏹存储区域网络(StorageNetworkArea)
SAN采用高速数据连接通道---光纤通道(FiberChannel,FC)连接服务器和存储系统。
从结构上看,服务器和数据存储系统相互独立。
将设备连接到FC集线器或交换机上,便于扩展系统规模。
在SAN中,所有的存储设备和存储数据均可采用中心化管理,使得整个存储系统具有可伸缩性。
并且,可以通过存储设备的集群方式而达到高可用度。
从软件角度看,上述三中类型存储系统的体系结构是不一样的,如下图:
在DAS中,应用与存储是一体化的,通过系统总线访问存储设备;
NAS是应用与存储分离的系统,应用服务器通过局域网(LAN)访问文件存储系统,通常NAS以标准化访问协议(如NFS)提供服务;
在SAN中,文件系统与存储系统完全分离,存储系统实际上成为运行应用程序的服务器设备,二者以高速FC连接。
中心化数据存储系统是企业信息资源建设的发展趋势。
而集中化管理有助于减少维护费用并提高效率。
2.1NAS技术与系统构成
NAS的结构是一网络为中心、面向文件服务的,它采用集中化、高密度、统一管理的方式,应用服务器将NAS视作网络文件系统,通过标准局域网或广域网访问NAS。
由于NAS采用TCP/IP等协议提供NFS、CIFS等服务,因而可以适配异构服务器,例如WindowsNT或UNIX等,尤其对于Windows和UNIX的混合系统具有良好的亲和力,无论是服务器或客户均可通过NAS获取数据。
另外,NAS采用专用服务器,一般可以支持多个I/O节点和网络接口,每个I/O节点都有自己的盘组和磁带设备。
采用这种方式,可以有效地扩大访问带宽,避免形成单服务器接口的带宽瓶颈。
在NAS中服务器与存储系统独立,一台NAS可以支持多个通用应用服务器。
2.2SAN技术与体系结构
SAN的存储结构比较特殊,其核心是FC,存储设备与服务器通过HBA(HostBusAdaptor)、光缆、FC集线器或FC交换机连接。
客户则通过局域网访问服务器。
在存储设备之间交换数据时,可以不通过局域网。
数据存储系统与服务器之间通过FC实现多对多(ANY-TO-ANY)连接。
采用高带宽FC,可以避免大流量数据传输时发生阻塞和冲突,特别适合高速和不间断数据传输。
2.3NAS和SAN技术比较
基于NAS、SAN的存储系统都是完全独立的,不存在与服务器之间紧密的、依赖性物理硬连接,都可以构造中心化的数据存储系统,都具有良好的扩充能力,数据共享能力,都可实现中心化的数据管理,通过冗余的硬件配置和软件支持都能安全可靠的保护数据。
所以,二者都能满足IDC存储系统的基本要求。
在扩展能力方面,SAN通过多个FC交换机的级联,理论上可连接几十万个设备,要优于NAS。
另外,在性能方面,NAS的系统访问能力受限于LAN的速率和服务质量,而SAN采用光纤技术,
能提供高达1Gb/s的速率。
但从具体的系统实施来讲,NAS也有自己非常明显的优势。
⏹结构简单,易于实现。
只需将NAS文件服务器连接到LAN,进行简单的配置即可实现数据共享。
而SAN至少要在每台服务器上安装一块HBA及其驱动程序,当服务器数量较多时,还要添加FC交换机,网络布线和系统配置都较复杂。
⏹初期投资较少。
除了NAS文件服务器本身,存储系统几乎不需购买其他任何设备。
而SAN在HBA和FC交换机上的投资往往与磁盘阵列柜本身相当。
⏹扩展方便。
⏹易于实现多个局域网的存储共享。
2.4SAN为用户带来什么
首先,管理上的方便性,集中式管理软件允许远程配置、监管和无人值守运行;
第二,可扩展性,容量可扩展以符合网络需求,在不影响LAN性能的情况下充分发挥存储硬件的功能;
第三,容错能力、高可靠性和高可获性,SAN就绪的磁带库具备可热插拔的冗余磁带机、介质、电源和冷却系统以确保可靠性;
第四,配置的灵活性,具备长达20公里距离的远程功能以及灵活的网络部件,基于光纤通道的SAN可以根据要求进行配置;
第五,支持异构服务器,UNIX、NT和NetWare服务器可同时连接;
第六,能够有效地减少总体拥有成本(TCO)。
2.5SAN适用的环境
当希望能得到集中化的存储,并要求较低的管理成本时,SAN是理想的解决方案。
对于SAN来说,文件的共享不是主要问题,而重要的是存储的可靠性。
在几种情况下SAN是比较适用的,当存储系统被直接连接到应用服务器上,且能够在服务器间共享;
存储系统可在中央或远程地点管理;
有高带宽能处理与服务器相连系统中包括的数据库应用、群件应用;
集中式存储必须提供高可获性和数据可靠性。
基于以上相关技术介绍,我们建议采用SAN架构来组建高性能,高可用性的网络存储体系;
第3章技术方案整体设计
3.1技术方案整体设计
方案推荐的解决方案整体拓扑如下:
方案建议在数据中心采用惠普公司基于存储虚拟化技术的EVA磁盘阵列系统为核心存储平台,每台EVA磁盘阵列按需配置了磁盘。
光纤磁盘用于存储核心数据。
另外,还可在需要的时候增加FATA磁盘容量,存储不频繁访问的在线保存文件数据。
存储系统采用两台HPStorageWorks4/16SANSwitch光纤通道交换机,配置16个4Gbps光纤接口及相应的光纤线缆。
两台SAN交换机作为存储网络核心交换设备,方案推荐采用双Fabric存储网,以确保无单点故障。
磁盘阵列,采用HPEVA6100,30TB,全光纤磁盘阵列。
在以上所示的企业整体存储结构图中,是结合了原有服务器设备和新增加的企业级存储产品EVA6100的整体解决方案规划,由一台企业级存储系统(推荐采用HP的EVA6100)来作为主要在线的数据库和应用业务服务磁盘存储系统,通过综合用户的不同应用要求和基于SAN架构存储技术的有机结合,真正实现了数据的集中管理,业务分布处理;
同时HPEVA6100磁盘存储系统都是部件完全冗余,并支持在线热插拔,可支撑应用系统7*24的不停机运行;
在备份方式上,除了可以采用专用的磁带库产品和存储自动备份管理软件来实现网络数据自动备份外,还可以通过利用EVA6100的BusinessCopy软件,实现在线的数据复制,充分利用现有存储资源进行相关的测试、在线备份等工作,并且不影响关键业务的性能;
此外,通过原有的FCSwitch还可以在该SAN架构基础上扩展主机和存储设备;
EVA6100是最新一代StorageWorks磁盘阵列家族。
它采用VersaStor虚拟化技术,为高端企业市场提供了一款超高性能、超高容量、超高可用性的“虚拟”RAID(Vraid)存储解决方案。
EVA6100不仅具有226,000IOPS的超高性能,而且最大可扩展容量至56TB,是名副其实的存储产品中的贵族。
3.1.1系统架构
针对用户的业务状况和发展趋势,我们建议用户采用以数据和存储为中心的系统结构。
以数据和存储为中心可以极大地保护用户的投资,有效利用存储空间,降低用户管理费用,从而确保整体拥有成本最低。
降低管理难度,维护数据管理的统一性。
提高了电子化数据管理的可靠性。
数据的集中化管理,能够确保数据的一致性和完整性,保证电子化数据的可靠性。
以数据和存储为中心必然对整个存储系统I/O有很高的要求,所以我们建议用户选用集中式,高性能,大容量,智能化的存储区域网(StorageAreaNetwork,简称SAN)来构建新一代计算中心存储环境。
采用以数据和存储为中心的SAN解决方案,集中的解决了系统体系结构中对存储I/O性能和数据库应用共享的挑战,它的主要特点为:
l)开放的标准,适合于服务器和存储设备之间的共享
SAN标准最早就是为了多个服务器之间通过专用的高速网络来共享存储和更加有效地管理存储设备所设计,经过近十年的发展,已经成为非常完善的标准。
各主流厂商均遵循开放的观念,保证各家设备之间的互连性。
在物理连接上是采用已经成熟的光纤技术实现。
由于ERP系统规模比较大、各项应用和各种设备都比较多,SAN的这一点优势尤为重要,在系统改造、升级中将能够很好的利旧。
凭借惠普在服务器和存储方面丰富的经验和技术,惠普的SAN方案使用户能迅速、方便地建立、整合和管理其多平台的存储环境,让用户对其异构存储局域网拥有无限的扩展能力、管理能力和百分之一百的可用性。
2)高性能的数据存取
SAN采用的链路连接是通过光纤,光纤本身具有抗干扰能力强,传输距离长,传输速度快的特点,目前具有的速度是4Gbit/s。
而且最关键的是,基于SAN架构,服务器和存储设备之间的协议是专为数据密集型存取所设计。
3)具有高度的可扩充性
基于SAN架构的存储设备,本身具有可扩充性。
而且一旦SAN架构构建以后,可以很容易增加存储设备,并且这些存储设备均可以作为一个整体来共享,它们可以作为一个卷或多个卷来共享。
在SAN的架构下,存储是独立于应用的。
4)具有无与伦比的可靠性
作为关键性应用中,设备的可靠性是必须考虑的。
在SAN架构中,主机和光纤交换机,和存储设备之间的连接均是冗余的,冗余的通路带来的好处,在正常情况下,是带宽的扩充,实现自动负载均衡,如果某一通路出现问题,它又可以作为另一选择路径,保证系统的可用性。
SAN的存储设备内部,本身也考虑很多系统的高可用性,如惠普磁盘通常是连接到两台光纤环路上或两个控制器上,内部的总线或连接也均是多通道的,电源,风扇等等均是冗余的。
5)基于SAN的备份恢复、灾难恢复等多种解决方案
目前具有多种基于SAN架构的解决方案,比较典型的是包括远程容灾解决方案和零停机时间备份。
它可以通过异地远程的两台阵列实现数据的同步,独立于操作系统和应用,一旦某地的系统出现问题,可以很快地切换到异地,保证系统的应用。
数据的备份和恢复也是一个数据密集型访问的应用,如果基于LAN,要占用企业内部大量的带宽,前台响应将极为缓慢,因此,在SAN的架构下,可以实现LAN-free的备份解决方案,Severless的备份解决方案和零停机时间的备份解决方案。
6)集中式管理
分布式的设备,包括主机系统、存储系统、交换机和光纤适配器等等,均可以通过一个简单的管理平台从单点管理,可采用HPOpenViewStorageAreaManagement软件平台。
3.1.2选择EVA的理由
1.EVA的拥有独特先进的虚拟存储技术,该技术已成为业届发展方向
惠普"
企业号"
虚拟阵列(ENTERPRISE)是最新一代StorageWorks磁盘阵列家族。
它采用VersaStor虚拟化技术,为高端企业市场提供了一款超高性能、超高容量、超高可用性的“虚拟”RAID(Vraid)存储解决方案,消除了传统存储设计中时间、空间和成本等方面的限制。
HPENTERPRISE专门为数据中心而设计,可以满足数据中心对更高存储利用率和可扩展性的关键需求,同时满足应用对于始终如一的高I/O和MB数据速率交易性能、无缝扩容、即时复制以及简化存储管理的特殊需求。
由于数据中心的容量/复制需求不断增加,业务连续性需求空前增长,并且需要最高性能,而"
虚拟阵列能够节省客户企业的空间、时间和成本,使用户有机会创造极其巨大的价值,因此成为他们最理想的选择。
2.EVA磁盘阵列具备在线扩容能力。
例如在微软全球内部Exchange2000的电子邮件系统中就采用的EVA。
因为只有EVA能提供WindowsBasicDisks在线扩容,不用Reboot,不用停机,其他品牌的阵列都需要停机并作数据迁移。
而在关键业务中,是不可能容许经常停机的。
3.EVA具有卓越的功能:
1.先进的虚拟化技术,不需要大缓存,为用户节约投资成本
EVA采用先进的虚拟化技术及优化的缓存算法,是磁盘阵列的瓶颈集中到了磁盘本身――即磁盘转轴个数,获得了十几个专利技术的缓存算法及高性能设计的控制器物理特性,保证了EVA可以达到141,000IOPS和360MB/S的性能带宽。
大缓存对于Mainframe大机环境比较有效,而在UNIX,Windows等开放环境中,控制器大缓存已经不适用了。
而且如果说大缓存除了能增加用户投资费用,还能提高性能的话,那某些具有高缓存容量产品的性能应该是EVA的数倍,可并不是这样的,EVA在业界目前具备实际领先的性能指标。
2.只要有足够的空间,容许多个硬盘故障,提高了系统的可靠性
虚拟化的RAID采用虚拟化技术,在虚拟存储池中先分配虚拟硬盘,然后在虚拟硬盘上再建RAID保护级。
虚拟磁盘实际上是从整个虚拟存储池当中划分空间,使得虚拟硬盘的数据块实际上均匀分布在所有物理硬盘空间上。
在整个虚拟存储池当中留有相应的保护空间,用来做类似于hotspare盘的工作,但不必单独用某几块物理硬盘来做热盘,避免了用户资源浪费。
VRAID5将整个VDISK(虚拟硬盘)的应用数据和校验数据均匀分配到所有物理硬盘上,同时在物理实现时采用RSS(冗余存储集)保护,使得在同一个存储集内部两个物理块同时损坏的几率降到最低。
所以,在VRAID5的硬盘组中有一块硬盘损坏,后台从虚拟存储池中的剩余空间自动重新分配,保证数据不会丢失。
3.EVA无单点故障的冗余体系结构,对比以前分布式存储而言,大大提高数据的安全性。
在今天的SAN环境当中,数据的集中和数据的可靠性保证已经都有了相应的解决方案。
整体的可靠性保证要靠整个方案的拓扑结构设计和产品的可靠性设计,如整个系统拓扑结构采用双路冗余结构,避免单点故障,从物理结构上先降低了数据危险性系数。
EVA在物理结构设计上采用无单点故障冗余体系结构设计,同时通过增值软件通过多路径能力(SecurePath)消除了服务器到存储之间的单点故障,在数据保护上采用虚拟VRAID技术和虚拟存储池的保护级设置双重保护数据安全性。
4.EVA的SNAPSHOT、SNAPCLONE的优势。
在EVA中采用的虚拟化技术代表了新一代存储高新技术,当中除了关键核心控制器的虚拟化控制器软件采用了虚拟化技术以外,还有很多增加可管理性,数据安全性的软件,如不用占用空间的虚拟快照CapacityFreeSnapshot,即时使用的克隆SnapClone,以及在线动态扩容、应用业务均衡负载等等,都是EVA独有技术。
5.EVA的空间利用率为80%,大于传统阵列的50%
如下图所示,全部是73GB硬盘,其中6块盘做raid5,3块盘做raid0,2块盘做raid1,考虑到将来的可扩展性,每个存储集中剩余空间为50%,所以给raid5剩余可用空间为219GB,raid0剩余可用空间为109.5GB,raid1剩余可用空间为73GB。
可是实际上,全部的剩余可用空间为401.5GB,在EVA中均可作为vraid5,vraid0,vraid1来用。
对于整个存储阵列来说,空间利用率实际上是提高了。
而在虚拟raid重构时,因为虚拟存储池在创建之初就设定了一定的保护级,留有一定的剩余空间用来补充raid重构的空间花销。
同时系统可以设置相应的警告线,如在剩余空间不足10%(这个值可根据用户需求自定)的时候告警,所以系统会提前告诉用户空间不够,需要扩展。
因此,不会造成因为空间不够而造成系统数据丢失。
同样,Snapclone在未完成时,如果系统存储空间不够了,系统同样会做出警告,在这期间,系统会保持现有clone的状态,直到用户扩展了足够的空间后,clone接着进行。
Snapclone的好处在于即时使用,详细特点可见后面附件,vraid,clone必然会占用存储空间,这并不是空间浪费。
Snapclone的好处在于即时使用,vraid,clone必然会占用存储空间,这并不是空间浪费。
3.2磁盘阵列存储系统方案
3.2.1磁盘阵列存储系统设计细节
1.SAN的安全性设计
在SAN存储区域网中的存储设备通常会被多台主机设备所共享,这样,就存在着数据可能会被非法访问的危险。
所以,用户在SAN环境下应使用一个绝对可靠的安全管理器,以防止数据的非法访问,达到光纤通道或存储区域网(SAN)环境中最大的数据安全性和完整性。
EVA磁盘阵列控制器内含的SecureManager可以对用户的数据提供可靠的保障。
它控制不同主机对不同LUN的访问,可以在阵列内设置LUN许可,以保护敏感的数据。
作为一个附加特性,它还可以保护LUN不被XX的服务器或用户删除,不管是意外删除还是故意删除。
HPSecureManager帮助用户控制共享阵列内哪些服务器能够看到哪些LUN。
可以随时修改访问许可,允许其它服务器配置其LUN,向LUN中读写数据,或者不再从他们有权访问的LUN读取数据。
每次建立新的LUN,用户都可以轻松地逐个LUN设置读、写、配置及访问安全参数。
每个有权访问共享阵列的物理连接都记录了一个全球通用名称(WorldWideName),只准许它访问有权查看的LUN。
确保共享阵列环境下数据的绝对安全。
由于每个全球通用名称都是唯一的,因此能够保证合法用户使用合法资源,即使有人非法进入SAN或服务器,他们也无法访问数据。
同时在本方案中的SAN中的核心部件-光纤交换机,也可以通过交换机分区功能实现存储空间的屏蔽功能。
即对交换机端口进行分区,保证同一分区间的端口间可以实现数据的传输,不同区的端口相互隔离,即Zoning技术,这也实现了各应用系统的数据访问的隔离,保证了更高的安全性。
2.存储系统的可靠性设计
在SAN架构中,主机和光纤交换机,和存储设备之间的连接均是冗余的,在带宽扩充基础上,冗余路径间还可实现负载均衡,如果某一通路出现问题,还存在其他路径可供选择,保证系统的可用性。
SAN的存储设备内部,本身也考虑很多系统的高可用性,如EVA磁盘阵列的两个控制器间采用无背板设计,而采用高速冗余链路连接,可完全避免单点故障;
EVA磁盘阵列内的磁盘通常是连接到两台光纤环路上或两个控制器上,任一控制器故障不会导致数据无法访问;
此外,电源,风扇等也均是冗余的。
3.存储系统的高可用性设计
保持业务的持续性是当今企业用户进行数据处理需要考虑的一个重要方面,也是企业用户在选择存储系统的重要指标。
究其根本,保护业务持续性的重要手段就是提高存储系统的高可用性。
高可用性系统必须能够解决各种导致系统失效的意外情况,保护业务应用在7x24小时的时间内的连续运行。
HP公司的EVA磁盘阵列高端磁盘阵列是能够提供真正持续数据可用性的磁盘阵列,可以实现无停止操作和对所有用户数据的持续访问。
磁盘阵列没有单部件故障点,因而即便设备出现故障也不会影响用户对数据的访问。
磁盘阵列有部件和功能冗余性,可为磁盘阵列微处理器、控制存储、控制和数据总线、电源及制冷风扇提供全面容错性。
磁盘阵列能够承受多种部件故障,并在此同时继续提供对存储数据的访问。
4.高度的可扩充性设计
基于SAN架构的存储设备,本身具有可扩充性,惠普公司的EVA系列可以在线扩充存储容量和处理速度,升级到下一代产品