某医院大数据存储归档及容灾整体解决方案设计大型Word文档下载推荐.docx
《某医院大数据存储归档及容灾整体解决方案设计大型Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《某医院大数据存储归档及容灾整体解决方案设计大型Word文档下载推荐.docx(41页珍藏版)》请在冰豆网上搜索。
高性能的存储系统
大量交易处理的数据库系统对后端存储设备的IOPS性能有较高的要求,我们不仅要考虑到此次数据库数据文件的存放,还要考虑到未来文件数据的存放。
当数据库系统面对大量并发用户请求时,其应用响应延迟应保持在用户能够承受的围之,应用系统的快速响应的一个重要环节是要求后端存储系统对IO的快速响应。
存储系统的IOPS性能正是明确存储系统在满足正常的响应延迟时,能够提供的最大并发访问数,这是设计系统时,对存储的对性能进展评估的一个主要考虑。
生产系统存储的扩展性
随着建设计划的逐步实施,应用系统对数据存储量的要求会不断增大,本次一期投入的存储系统必须具备灵活的扩展性,灵活扩展要求表现在以下几个方面:
a、网络化存储结构,存储设备节点灵活增加
b、存储容量以模块化增长,并支持不同类型存储介质模块
c、对未来的SAN系统完善、数据离线备份等有预见性和前瞻性
d、存储设备的升级应以保护用户现有投资为前提
e、提供数据归档功能
生产系统数据保护
为防止生产系统数据的意外丢失,区域性灾难、或是设备故障,必须提供数据备份与容灾机制,为应用系统提供不同级别的数据安全性。
2.2项目建设目标
根据上述的需求分析,并考虑到未来的开展,本次项目中存储藏份系统的建设,从技术角度将采用下述几项技术方案来实现,并达到预期目标:
1.采用SAN存储技术,建设更高性能的集中存储系统,提供整个系统存储的灵活的连接与功能扩展,为数据提供根本的数据安全保护,以满足目前大型数据库快速访问的要求,并在面临数据增长时,要实现无缝的扩容,而且不增加因扩容带来的管理开销。
2.提供冗余的存储系统,并由应用系统提供数据并发存取功能,同时使用两台冗余的存储设备,以提高数据的可用性,防止因设备故障导致应用系统不可用。
3.提供虚拟带库和备份软件实现生产数据的备份和恢复。
4.提供数据长期归档解决方案,将PACS等系统大量的数据归档,以备审查和后期调用。
5.为未来的数据建设,如数据容灾等打好根底,提供在线数据、归档数据的异地容灾方案。
第3章存储整体解决方案
3.1方案设计原如此
经过仔细分析选型容与要求,结合多年的方案设计经验,在方案设计上本着以下原如此来进展:
1.数据安全性和高可靠性
随着IT信息系统的开展,用户对系统数据的依赖性逐步提高,因而数据的安全性显得尤为重要。
数据存储系统是开展正常工作的业务支撑,是整个信息管理重要的组成局部,是典型的关键性业务,所以对系统的高可靠性有着很高的要求。
2.先进性:
能适应未来的体系结构。
计算机技术是一项十分活跃的技术,更新换代很快。
因此系统设计时应考虑到产品的先进性,有利于保护投资。
要求采用的存储架构具有先进性,保证技术和方案在未来三到五年之不落后。
3.良好的兼容性与可扩展性
要与现有的系统有很好的连接性,管理操作方面,能够满足使用性的原如此,能够与现有系统兼容,产品的扩展性,直接影响整体项目的投资保护,良好的扩展性,是产品必不可少的,实现在线的系统升级不影响业务的正常运行。
4.易用性:
管理简单,操作灵活简单,界面友好。
在数据存储网络、资源配置、系统服务和系统管理上有良好的层次设计和统一的管理平台,使集中式的存储结构清晰,便于使用、管理和维护。
5.实用性
着眼于业务、管理的实际需要,合理利用设备资源,建立高效实用的存储系统。
3.2存储集中方案
3.2.1方案拓扑图
图二:
XXX医院数据中心存储系统规划拓扑图
3.2.2方案说明
EMC的集中存储方案是提供一台稳定性极高、高性能、并具有丰富软件功能的全4Gb光纤存储阵列CLARIIONCX4-xxx。
利用EMC分层存储的特点,HIS,PACS等对性能要求较高的业务采用15000转的光纤硬盘;
LIS,体检等业务采用10000转的光纤硬盘;
OA、等等其他业务采用SATA硬盘。
此次规划将HIS,PACS,LIS等业务的多台服务器连接到存储,通过冗余的HBA卡和交换机,构成SAN存储环境。
OA,财务等业务系统可以通过iSCSI链路访问SATA硬盘空间。
配置说明
1.采用CX4-xxx,配置xxx块xxxGB的高性能光纤硬盘;
配置xxx块xxxTB的SATA硬盘。
2.通过SAN连接到存储系统的每台服务器均配备两块光纤通道适配卡〔HBA卡〕,分别连
接到两台EMC专业的4Gb光纤交换机上,交换机又同时与磁盘阵列的两个控制器连接,这就构成了最完善的冗余连接。
3.配合业界最先进的Powerpath链路管理软件,即可实现整个SAN无任何单点故障,保证
了数据乃至整个业务系统的高可用性。
3.2.3集中存储方案特点总结
1.主机层
连接EMC存储的关键主机均安装两块HBA卡,分别通过两台SAN光纤交换机连接到磁盘阵列的主机接口上,无任何单路径故障。
每台主机安装EMCPowerPath数据访问高可用软件,实现主机到存储路径的互相保护和工作量负载均衡。
EMCPowerPath软件功能在处理故障时,能保证对整体系统影响最少。
EMCPowerPath可针对不同的数据访问类型选择操作模式,操作模式主要有如下表中四种:
操作模式
描述
SYMM_OPT
用户根据读写,动态优化或用户自定义优先级策略
Round_Robin
I/O请求路径分配无选择,随机方式,其他厂家只能实现这种策略
Least_I/Os
I/O请求被分配给I/O最少的路径
Least_Blocks
I/O请求被分配给Block最少的路径
2.存储层
EMC本次技术建议将采用的是EMCCX4系列企业级存储系统,该存储系统平均无故障时间:
99.999%,<
<
财富>
>
杂志评价EMC产品质量全球第一。
系统部高度冗余,无任何单点故障,控制器、电源、风扇等硬件均为冗余,并有软件RAID、热备盘、不连续电源保护,可保证整个存储系统的高可用性。
EMC产品提供业界领先的带宽以与能随容量线性扩展的卓越性能。
CLARiiONCX4是针对端到端的4Gb性能而设计的独特产品:
突破目前存储架构的限制,完美引入了PCI-Xpress总线技术和更强的CPU处理能力,新一带CX4系统部的部件都是为4Gb性能而设计,性能表现尤其出众。
CX4系列在与同类产品的竞争中以卓越的性能脱颖而出,成为持续型应用程序的理想阵列选择。
提供基于虚拟LUN迁移的独特能力
使得用户能够在业务不停顿的前提下,在一个ClariionCX阵列将数据从一个LUN〔或metaLUN〕移动到另一个LUN〔或metaLUN〕。
虚拟LUN迁移的独特能力可以轻松实现阵列的存储分级、优化性能、提高存储资源的利用率、迁移到新技术的磁盘。
其它同类竞争产品都不具备这一能力。
缓存调谐-高性能的源泉
与竞争对手的模块化存储产品相比,所有EMC存储系统都有着异常灵活的缓存调整功能,可以确保系统能够根据负载准确调谐缓存,从而带来最优的系统性能。
EMC独有的先进的CACHE算法设计,使CLARiiON能达到88%~96%的CACHE读命中率和100%的CACHE写命中率,同时提供顺序文件读应用的高效RAID3的CACHE技术,大大缩短了存储系统的响应时间,提高了整个存储系统的性能。
每个存储处理器的高速缓存均彼此构成镜像。
换言之,每个存储处理器中的高速缓存既包含它所拥有的磁盘组的根本高速缓存数据,也包含其他存储处理器的根本数据的副本。
如果发生存储处理器失效,如此仍正常工作的存储处理器的高速缓存—包括其根本高速缓存和与其并列的存储处理器的镜像。
保持I/O的连续性。
异常掉电的数据保护
如果发生电源失效的情况,如此备用电池装置可提供需要的电力,从而确保在电源关闭前将全局高速缓存安全地写入磁盘。
阵列的数据保护
CLARiiON系列存储处理器的存是完全受ECC保护的;
硬件可在所有总线上提供奇偶校验保护。
阵列软件可在用户数据的每个局部提供CRC保护,最终确保数据的完整性和可用性。
3.3数据备份方案
结合客户的实际环境和需求,我们建议构建一个集中备份管理系统,对数据实现保护。
备份管理软件建议采用EMC公司的NetWorker备份软件系列。
NetWorker是可以跨平台的企业级备份管理软件。
自1988年创建以来,NetWorker产品已经为全世界超过25,000个用户提供了出色的服务。
3.3.1方案设计原如此
1.集中管理的备份系统;
对业务系统,各个系统集中的专门的管理是提高能效,降低维护本钱的必然方式。
2.快速便捷的灾难恢复手段;
备份系统建设最重要作用是数据丢失后的恢复,但数据恢复的时间长短直接影响业务系统运行情况,也直接反映了备份系统的可用性。
3.备份对业务系统的影响尽可能小;
不增加业务系统的运行压力,防止数据备份与生产竞争系统资源,数据备份工作必须在系统运行的最闲时进展
4.备份数据高可用性;
备份系统作为本地数据保护最后一道防线,在数据恢复时要求用于恢复的备份数据是百分之百可用。
5.能够对各种复杂系统进展高性能的备份;
对业务系统,其业务系统所使用的存储结构,数据性质不尽一样,比如SAN,NAS等等。
要求备份系统可全面支持各种存储架构与备份技术。
6.对存储设备的智能管理与更高的设备利用率;
在很多情况下,硬件设备的投资不断加大,但其使用率却不断降低。
使投资获得最大的回报要求更高的设备使用率和共享能力。
同时也要求更高的管理水平。
7.低维护本钱和高可扩展性。
3.3.2备份系统拓扑图
3.3.3备份系统方案说明
1、新增一台高性能Windows2003ServerPC服务器,通过一块HBA卡连接到SAN网络,
安装NetWorker服务器软件,配置成业务系统的备份服务器。
2、新增一台虚拟带库或磁带库存放备份数据。
3、对HIS,PACS等数据库主机安装Network相应的数据库模块与LAN-Free备份模块,实
现数据库的在线备份,备份数据通过LAN-Free方式备份到带库上。
4、其他服务器安装Network客户端模块,备份数据通过LAN的方式备份到带库上。
5、只需要在备份服务器上统一配置备份策略,即可实现定时自动备份。
3.3.4备份策略的选择
1、全备份:
每次备份定义的所有数据,优点是恢复快,缺点是备份数据量大,数据多时可能做一次全备份需很长时间
2、差分增量:
备份自上一次备份以来更新的所有数据,其优点是每次备份的数据量少,缺点是恢复时需要全备份与多份增量备份
3、累计增量:
备份自上一次全备份以来更新的所有数据,其优缺点介于上两者之间。
我们可以结合这三种方式,灵活应用。
比如:
数据量少时,我们可以每次都用全备份备份数据,这样,恢复时,只需要指定一个数据源即可,可以快速恢复。
数据量大时,如果每天作全备份,效率会很低。
我们可以结合全备份和增量备份方式。
比如每星期作一次全备份〔如星期天〕,其它时间,每天作一个增量备份〔如:
星期一到星期六〕。
恢复时,只要依次恢复最多七个备份介质即可。
〔如:
上周日、星期一、星期二...,直到出事前一天的数据。
〕
数据量特别大时,每星期作全备份对系统的压力也会很大。
这时,我们可以结合全备份、累计增量备份、增量备份三种方式,提供相对效率高,恢复有快的备份手段。
比如每个月作一次全备份〔如每月初〕,然后每星期日作一次累计增量备份,其它时间,每天作一次增量备份。
恢复时,先恢复月初的全备份,再恢复上周日的累计增量备份,在依次恢复以后每一天的增量备份,如星期一、星期二...,直到出事前一天的数据。
✧文件数据备份
每周进展一次全备份,每天增量备份;
备份数据保存1个月;
克隆到磁带库上的数据无限期保存。
✧数据库系统备份
3.4数据归档方案
3.4.1归档存储系统Centera架构介绍
PACS系统处理和保存的都是医疗影像数据,数据量大,增长速度快,原始数据产生后将不会再变更,且数据产生初期的访问频率较高,随着时间推移访问频率将明显降低。
在保证数据安全的前提下,需要保证容量的增加不会使数据访问性能有明显的降低。
根据数据信息生命周期管理〔ILM〕的理论,我们建议PACS系统的数据存储分两个层次考虑:
使用基于SAN架构的存储系统进展短期数据在线存储〔前面集中存储方案已阐述〕;
同时,使用基于CAS架构的存储系统进展数据归档,实现数据近线存储。
EMCCentera是存储业界第一个专门为企业数据归档设计的解决方案,是特为满足“固定容〞——因经常引用、具有长期价值而被保存的不变的数字资产的独特要求而设计的。
它可帮助客户遵从最严格的法规要求,是目前世界领先的在线档案存储系统。
提供了传统磁盘阵列、磁带和光盘解决方案所无法提供的功能,解决企业无法将固定容在线存储这一挑战,极削减了管理本钱,使企业总拥有本钱却更低.
存储单元:
作为海量归档存储系统的Centera是以节点为根本存储单元,每个节点拥有自己的CPU、存、千兆网口和硬盘等根本组成局部。
所以每个节点就是一个具有高性能的微型智能磁盘阵列,随着用户数据的线性增加,节点也灵活堆叠增加。
为用户带来整体存储容量,计算性能、网络带宽的不断增强。
目前每个节点的裸存储容量为2TB,由此看来,用户可以按需投资,不必一次投入太大,保护投资回报。
Centera以4个节点为一个根本存储单元,裸容量为8TB;
每个机柜最大可以包含32个节点,裸容量为64TB;
同时,为了方便管理,4个机柜可以组成一个Cluster,总容量可以达到256TB。
存储模式:
用户形成数据对象文件,然后存入Centera。
同时,Centera计算出该对象的容地址或指纹〔这是一个基于对象本身的全球唯一标识符〕。
Centera然后将容地址返回给应用服务器。
服务器存储容地址〔而不是对象〕以便日后引用。
当服务器需要重新调用该对象时,它将容地址发送到Centera,然后Centera检索此对象。
不需要管理任何文件系统或逻辑单元。
网络带宽和联接:
Centera支持并行访问和多线程操作,每个机柜单元中的节点至少可以提供2个1000兆的对外联接的以太网链路。
而且链路可以根据性能的需要线性增加。
由于Centera是基于IP访问模式,所以用户可通过划分VLAN来隔离广播包、释放带宽、增强管理。
3.4.2归档方案规划拓扑图
3.4.3数据归档方案描述
根据PACS应用系统的数据特点,我们建议把长期的数据迁移到性能略低于SAN磁盘阵列的CAS近线存储系统。
以往的PACS系统是把长期数据归档到传统的光盘和磁带库等离线介质进展保存,存在诸多问题。
一方面当患者再就诊时,医生对历史数据的调用非常费时,往往一幅影像数据就需要数分钟才能取得,不但增加了患者等待时间,也降低了医生的工作效率;
另一方面,传统的数据保存方式非常依赖于介质的存放环境,经常会出现存放时间较长后,光盘或磁带无法读取,造成患者重要的病况信息丢失,无论对患者还是对医院都会造成不良影响。
而当前的CAS系统基于磁盘系统保存数据,通过IP网络向应用系统提供数据存取服务,数据的可靠性、访问速度、应用的灵活性都有非常大的优势,已经成为PACS系统长期保存影像数据的首选方案,取代传统光盘/磁带介质成为大势所趋。
对于本次系统建设,我们建议采用EMC公司成熟的CAS系统——Centera——作为PACS应用系统数据长期保存的平台,根据在线影像数据的特定属性进展定期归档,使在线存储系统的容量保存在一个合理的围。
同时,当医生读取患者的历史病况数据时,能提供快速的反应,缩短患者就诊时间,提高医生工作效率。
Centera设备提供API给应用系统使用,应用系统只需简单的开发,即可利用Centera提供的海量、安全、可靠的归档空间。
另外按照要求,在未来随着数据的逐步增加,要求该海量存储系统具备很高的可扩展性,可直接对Centera实现存储容量的动态扩大,支持用户存储空间的灵活分配和变更。
Centera系统采用独立节点冗余阵列(RAIN)的设计,可在线扩容,即可在线增加节点数量;
这一功能能充分保护用户的投资,需要扩展的容量可通过增加节点数量来实现;
扩容能力达到PB级。
由于每个节部含有相应的CPU、存、硬盘等,所以节点的增加带来的是整体性能的提高;
3.4.4Centera归档方案优势
数据归档采用EMCCAS〔CENTERA)的解决方案,通过千兆IP网络连接EMC综合归档平台Centera和存储设备,作为长期的数据归档,保证数据共享和快速在线访问。
将需要的归档的数据由磁盘阵列来实现短期存储,并依据归档策略,定期自动实现数据的归档操作。
应用优势在于:
•提高生产系统性能、减少备份窗口
–生产系统中的“固定容〞被归档后,需备份的数据减少,所以提高了备份质量、减少备份时间
•基于策略的归档流程
–随时快速访问需要的数据
–按照制定的策略进展迁移、设置保存期
•建立分级存储架构,但不改变原有生产系统的存储平台
–存储的容基于它的商业价值和可访问性的需求
–建立信息生命周期管理
•提高生产系统磁盘空间利用率
–监控用户定义的磁盘空间的极限
–自动的、持续的释放生产系统的磁盘空间
–高效快速的响应时间
3.5数据容灾方案
3.5.1数据容灾的需求
在传统以往的业务系统中,往往仅考虑本地高可用,即通过集群的双机系统(Cluster或HA)对业务应用提供保护,在一台服务器的软硬件发生故障时,将整个业务切换到后备服务器上。
该方法很大程度上防止了服务器的单点故障,提高了整个业务系统的可用性。
但是,随着业务系统的开展,随着需求的不断提高,更好的为客户服务,在一些重要的系统中,客户已经不满足于简单的本地保护。
因为一旦出现异常情况,如火灾、爆炸、地震、水灾、雷击或某个方向线路故障等自然原因以与电源机器故障、人为破坏等非自然原因引起的灾难,导致业务正常无法进展和重要数据的丢失、破坏,造成的损失将不可估量。
因此,越来越多的客户提出了要求更高的系统可用性,要求当业务系统可以在发生上述灾难时快速恢复,将损失降到最低点,甚至要现真正的异地容灾保护。
因为生产过程停顿将会对运营造成相当大的代价,所以业务连续性是一个关系到最终赢利的问题,无中断灾难恢复对于系统来说至关重要,客户必须制定即时业务重启计划,而不是需要数天或数周的恢复计划;
未来采用的应用系统程序要随着生产系统的调成而不断的更新,程序最终投入使用之前,完备的测试工作是必不可少的,采用数据复制技术可以快速的生成现有系统的数据影像,通过对数据影像的测试,完成应用程序的快速部署。
生产系统的高可用设计我们目前已经达到,但是当生产系统所处环境发生“灾难〞,造成整个机房节点的失效,如此本地的任何高可用技术保障都将随之失效;
而要消除“灾难〞对应用系统的影响,如此需要在异地建立容灾备份系统,相对于生产系统建立数据的复制、应用的复制环境,与时地恢复对客户访问的响应。
EMC网络存储提供了业务连续性的解决方案。
因此,针对XXX医院现有的系统情况,项目需求如下:
为现有存储系统核心建立容灾系统,以保证存放在存储系统上的数据具有高安全性,在遇到异常情况的时候,能够快速切换到容灾系统,从而保持业务的连续性。
3.5.2容灾解决方案拓扑
容灾中心存储与生产中心存储实现存储级的容灾保护,采用EMC的MirrorView软件,实现最成熟的容灾方案,系统主要架构如上。
3.5.3容灾方案说明
在容灾机房新增加一个CX4阵列,通过MirrorView软件,将原有的CX4和容灾机房的CX4进展数据同步,两个阵列之间通过光纤连接,由MirrorView实施数据的同步镜像。
在容灾机房增加两个新的光纤交换机,主机房的服务器与存储运行HIS等业务,容灾机房的服务器和存储运行PACS等业务,两台阵列之间通过MirrorView做互为同步。
最后的系统结构如上面的拓扑图所示,搭建的数据容灾架构,充分利用现有资源,完成数据的生产中心与容灾中心建设,为保障数据的高安全性和可靠性打下良好根底。
存储配置:
容灾机房的存储配置为:
3.5.4方案特点
1.基于存储层提供同步或异步选项,性能较好
2.可以从EMCNavisphere软件中方便地管理
3.在阵列上操作并且对所有服务器和应用程序是透明的
4.与SnapView集成以实现高级保护和实用功能
5.通过启用到目标站点的故障切换允许更快的灾难重启
6.任何时候都有一致而且可复原的远程副本
3.5.5容灾方案总结
Mirrorview为CLARiiON