企业网络存储项目技术方案Word文档下载推荐.docx

1、应用逻辑服务器检索并 处理来自数据库、生产业务系统等应用的数据，然后向Web 服务器返回 格式化的结果。通过采用中间件技术（Websphere、WebLogic、MQ）可实现 应用逻辑服务器的高可用性及可伸缩性。 数据库服务器层：数据库服务器层是一个中心存储库，是业务应用系统 中所有数据资源的管理中心。提供包括关系型数据库系统（如Oracle， Sybase，DB2 等）服务和数据仓库（如多维数据库等）服务。 存储与备份层：存储与备份层由磁盘存储阵列和备份软件和备份磁带库 组成，提供数据存储和数据备份、数据恢复服务功能。2.3 系统建设目标 根据设计规划，按照设备集中、集约管理、满足应用、方便

2、扩展、安全稳定 的建设要求，遵循高起点、高标准、高质量的建设原则，立足当前，着眼发展;在数据中心形式的信息化存储系统构建统一的集中运行平台，建立开放式多 层架构体系，优化整合现有设备资源，为数据中心形式的信息数据库建设数据库 和应用系统建设提供统一的运行环境，并实施系统资源的统一管理和维护;提高硬件设备的集约化管理水平和可扩展能力，增强应用系统和数据的运行 效率和管理水平，降低各类应用系统建设成本，满足数据中心形式的信息数据库 建设数据库和应用系统的建设需要;为数据中心形式的信息数据库建设开展应用系统建设、信息数据集中整合、 方便信息分析研判以及信息化建设的健康持续发展奠定良好的硬件设施基础。

3、2.4 系统建设任务 构建专用存储系统，集中存储数据 在多层体系架构中，采用存储区域网络技术，构建专用大容量存储系统，通 过区域划分满足各类信息数据的集中存储，保证存储系统信息存储的灵活性和可 扩展性。构建统一的数据库集中运行平台，提高数据处理能力 按照“运行可靠、性能优良、满足应用”的要求，在多层体系架构中，建设 小型机集群系统，采用并行运行和互为备份的集群技术，保证小型机高效和不间 断运行。同时，通过小型机分区技术，在小型机上构建不同应用数据库（统一采 用Oracle 数据库）的运行区域，满足不同应用数据库系统的运行需要，使各类 应用数据库既集中又相对独立地运行，以降低不同数据库之间相互影

4、响，提高数 据库处理能力。建立多种系统应用平台，提高集中运行平台的适应性 按照各类应用系统所需的不同系统运行环境，在多层体系架构中，建立与之 相适应的多种系统运行平台，提供Unix、Windows 或Linux 操作系统平台上应用 服务和Web 浏览等应用。通过共享统一的存储系统，建立如SQL Server 等其他 主流数据库运行平台，提供数据库服务。为有关部门的不同应用系统提供相应的 运行环境。整合优化现有计算机设备资源，提高集中管理和应用水平 根据系统建设的整体框架要求，按照数据集中整合和应用的需要，对用户现 有计算机设备资源进行调整，纳入统一集中运行管理框架的多层体系架构中。同 时，按照

5、设备集中管理的要求，在数据中心形式的信息数据库建设集中计算机房 建成后，将用户各类服务器及相关设备集中起来，根据不同应用的要求进行整合 优化，实行统一的运行和管理。扩展数据备份系统，提高系统可靠性 数据中心形式的信息数据库建设数据库、其它应用数据库以及衍生的整合分 析数据资源是生产机关极其宝贵的重要资源，必须做到安全上的万无一失，并且 各类应用系统要求7?4 小时?65 天不间断运行，要求基于多层体系架构的集 中运行平台有多层面的系统可靠性保障。集中运行平台中，所有层面要建立相应 的容错机制，确保设备发生故障或升级维护时系统服务不中断；设备自身必须具 备容错能力，尽可能在设备一级就能屏蔽大多数

6、故障。此外，构建存储系统的“快 照”复制和磁带备份系统，包含专业的数据备份系统、备份管理策略与手段，通 过在现有备份系统基础上进行扩展，实现信息数据的快速备份和统一的常规备份 以及高效的数据恢复，使集中运行平台具备高效、全面备份数据的能力，保证信 息数据的安全可靠。建立集中运行管理机制，实现设备和系统资源的统一管理 按照计算机应用系统和数据集中运行的要求，建立设备和系统的集中运行管 理机制，实现对集中设备和系统的性能监控、配置优化和维护服务的统一运行管 理，确保设备和系统的高效、可靠和安全地运行，提高对设备和系统的运行管理 水平。2.5 系统设计原则 数据中心形式的信息化存储系统集中运行平台多

7、层架构体系建设必须既满 足当前的应用需求，又面向未来业务和技术的发展要求。集中运行平台的建设遵 循以下原则：2.5.1 实用性和先进性 采用成熟、稳定、完善的产品和技术，满足当前应用需求。尽可能采用先进 的计算机及网络技术以适应更高的数据处理要求，使整个集中运行平台在一定时 期内保持技术上的先进性，并具有良好的扩展潜力，以适应未来应用的发展和技 术升级的需要。2.5.2 高性能和高负载能力 数据中心形式的信息化存储系统集中运行平台必须能够承载较大的系统和 应用运行负载，提供高性能的数据处理和应用响应能力，确保各类应用系统和数 据库的高效运行。2.5.3 安全性和可靠性 为保证业务应用不间断运行

8、，数据中心形式的信息化存储系统集中运行平台 必须具有极高的安全性和可靠性。对系统结构、网络系统、服务器系统、存储系 统、备份系统等方面须进行高安全性和可靠性设计。系统达到C2 级以上标准安 全级别，具有一定的防病毒、防入侵能力。在采用硬件备份、冗余、负载均衡等 可靠性技术的基础上，采用相关的软件技术提供较强的管理机制和控制手段，以 提高整个系统的安全可靠性。2.5.4 灵活性与可扩展性 数据中心形式的信息化存储系统集中运行平台要能够根据生产信息化不断 发展的需要，方便地扩展系统容量和处理能力，具备支持多种应用的能力。同时 可以根据应用发展的需要进行灵活、快速的调整，实现信息应用的快速部署。2.

9、5.5 开放性和标准化 数据中心形式的信息化存储系统集中运行平台要具备较好的开放性，相关系 统和设备应是业界主流产品，遵循业界相关标准，保证数据中心形式的信息数据 库建设选用的主流系统和设备能够随时无障碍地接入集中运行平台，实现系统和 数据的集中运行和统一维护管理。2.5.6 经济性与投资保护 应以较高的性能价格比构建数据中心形式的信息数据库建设集中运行平台， 使资金的产出投入比达到最大值。以较低的成本、较少的人员投入来维护系统运 转，达到高效能与高效益的要求。尽可能保护已有系统投资，充分利用现有设备 资源。2.5.7 集中运行和逐步过度 数据库和应用系统建设采用集中运行和逐步过度相结合的原则

10、。新的应用要 直接部署在新建的集中运行平台上运行，现有应用及硬件资源将根据需要和可能 分期分批逐步融入集中运行平台，进行统一的管理和资源配置。系统方案设计 3.1 系统总体结构图 根据数据中心形式的信息数据库建设需求分析，系统总体结构 描述如下：本项目的存储网络架构图，通过SAN 能够将多种数据应用全面整合起来，其 中后端的阵列是整个系统的核心，所有的业务数据都存在该阵列中，因此阵列本 身需要完全冗余架构和极高的吞吐性能；SAN 网络采用dual Fabric 设计，采用 两台交换机构成冗余的存储网络；每台主机（关键业务）可以采用两块（甚至更 多）HBA 跨接到两台SAN 交换机上，做的主机到

11、存储接口冗余；主机层采用HA 配 置，因此整个系统是高效而全冗余的。同时也能够平滑过渡到下阶段的容灾系统。备份系统也跨接到SAN 网络上，这样所有的备份工作可以大大减轻对于生产 网络的影响，主机直接通过SAN 将数据读出并写到带库，完全采用FC/SCSI 协议。 在上述架构中，后端的磁盘阵列采用高性能磁盘阵列，作为综合存储磁盘阵 列。该磁盘阵列代表当时行业的最佳性能、100%数据可用性，以及功能丰富的管 理软件。3.2 数据库服务器设计 3.2.1 数据库系统结构 数据库服务平台主要采用动态分区、多机集群、并行数据库等技术，实现多 台数据库主机同时并行访问数据库，应用可以根据需求均衡到不同主机

12、资源上同 时工作，多机互为备份。这种机制依靠系统提供的系统硬件、操作系统集群软件、 与数据库提供的并行技术来满足要求。数据库支持数据分区技术，通过数据库分 区技术提高查询效率。同时，与数据库服务平台相配合，采用专用数据采集处理 服务器，负责数据采集工作，各数据库的数据采取分别汇集，单点入库的数据更 新策略。数据库服务器系统图如下：数据库服务器选用高性能UNIX 服务器，每台高性能UNIX 服务器划分成2 个 分区，配置1.7GHz CPU、16GB 内存、2 块千兆光纤网卡、2 块15000 转73G 硬 盘、2 块2GB 光纤通道卡。对应分区通过软件实现群集。根据设计要求“当前配置tpmC

13、=（TPMC 基准值* 实际CPU 数目* 实际CPU 主 频）/ （基准CPU 数目*基准CPU 主频）” （768,839*16*1.7）/（32*1.7）=384,420tpmC 3.3 存储系统设计 3.3.1 存储系统结构 整体架构采用SAN-存储局域网的架构搭建，分为主机、交换机和存储设备三 个层面：A. 主机层面 前端服务器每台通过两块光纤卡（以下简称HBA 卡）跨接到两台光纤交换机 上，构成冗余链路 B. 光纤交换机 利用两台16 口光纤交换机作为SAN 的骨干设备，连接主机和存储设备；C. 存储设备 主存储设备：核心磁盘阵列存储所有系统的数据。该磁盘阵列通过1 对（2 块）接

14、口卡分别跨接到台光纤交换机上，构成冗余链路近线存储设备：近线备份 目标磁盘阵列使用采用STAT 磁盘的廉价磁盘阵列，离线备份目标带库采用设计 方案已有的带库 3.3.2 主存储系统方案 目前存储区域网（SAN）是解决海量存储问题的主流解决方案，也是本项目 建设要求的解决方案，同时也支持NAS 方式。数据中心形式的信息数据库建设数 据库及其应用系统相关的数据库即将统一存储到大容量高性能的存储设备上，存 储设备与主机群之间通过SAN光纤交换机互联（具有冗余联接），同时数据备份 设备也通过光纤交换机联接以提高备份效率，减轻网络和主机的压力。在本方案中，存储工程师使用高档全光纤磁盘阵列为主存储系统，从

15、用户的 投资、需求综合分析，推荐了极佳的性能价格比的产品，用户可以根据性能要求、 扩展性要求、价格需求等因素来选择。根据数据中心形式的信息数据库建设该设计的需求，为了提高主磁盘阵列的 性能，在该设计中推荐配备15000RPM 的73GB 磁盘。磁盘阵列在各方面均应充分扩展，并能够充分满足今后业务发展过程中数据 迁移、系统 ,容灾的要求：1）硬件方面 所有重要部分均应在线扩容前端接口、磁盘控制卡、缓存、磁盘等。2）软件方面 可选择不同的软件实现性能优化、数据迁移和数据容灾等：3.3.3 近线备份系统 传统的数据存储一般分为在线（On-line）存储及离线（Off-line）存储两级存 储方式。所

16、谓在线存储就是指将数据存放在磁盘系统上，而离线则是指将数据备 份到磁带上。硬盘的优点是速度快，特别是随机访问能力强，但单位容量成本高， 适合需要频繁访问的数据存储；磁带善于传输流式数据，介质与驱动器相分离的 特性决定了其单位容量成本低廉，保存数据的安全性也较高，适合数据备份。 但随着数据量的猛增，这种只使用在线和离线两级存储的策略已经不能适应 企业的需求。一方面，用户有越来越多的数据在一定时期内仍需要访问，如果备 份到磁带上，则读取的速度太慢，而保持在线状态，又会因访问频度不高而占用 宝贵的存储空间；另一方面，用户要求“备份窗口”越来越小，备份设备要具有 更快的速度，以缩短备份时间，而带基设备

17、与盘基设备相比还不够快。由此产生了数据的分级存储管理 分级存储管理是一种将非在线存储与在线存储融合的技术。它以数据生命周期的 不同阶段来决定存储的位置，从而在在线存储与离线存储之间诞生了第三种存储 方式近线（Near-line）存储，使存储网络从“在线离线”的两级架构向“在 线近线离线”的三级架构演变。近线存储的特点是性能接近在线存储，而成 本接近离线存储。根据大型信息数据库存储系统分析结果，存储容量约为16TB，考虑适当冗余 和“快照”备份，存储阵列实配容量应大于20TB，存储阵列最大扩展容量应不低 于64TB。基于存储区域网技术，满足数据中心形式的信息数据库建设数据库和应用系 统相关数据库

18、，以及运行于其上的业务系统、查询系统、数据分析系统的要求， 必须增强数据存储核心，选择高性能存储阵列，LUN 数量应2048，系统IOPS 240000（吞吐量大于1540 M/S）。其基本性能需求分析如下：A. 在存储系统中，处理器主要完成I/O 处理、Cache 控制管理、数据传输 控制以及一些智能化的软件运行功能，处理器的能力直接影响到整个存 储系统的性能。考虑到不同厂商存储所采用的CPU 性能差异较大、主处 理器所承担的任务也有所区别，应在给出实际处理器配置数量的同时给 出性能指标、承载任务分析，CPU 实配数量不低于16 个。B. 磁盘本身性能也决定存储系统整体性能，通常磁盘性能以转

19、速、寻道时 间等技术指标衡量，考虑到性价比，推荐采用15K rpm 的磁盘。C. 对于数据库等大数据量访问应用，缓存越大，性能越好，本项目实配存 储容量应与Cache 的容量配置成比例配置，按大于16GB 考虑，最大可扩 展到128GB。3.5 应用服务器、浏览服务器和数据处理前置机设计 应用服务器层主要负责业务逻辑处理，用户请求的连接处理和数据库端或其 他应用系统的连接处理，以及业务处理过程实现。用户多层体系结构要求应用服 务器与Web 服务器物理独立，考虑到应用服务器对处理能力、系统稳定性的要求 均大大高于数据表现层，关键应用采用Unix 服务器，其他应用可考虑刀片式微 机服务器，建立多机

20、集群环境。数据迁移 数据迁移是数据系统整合中保证系统平滑升级和更新的关键部分。在信息化 建设过程中，随着技术的发展，原有的信息系统不断被功能更强大的新系统所取 代。从两层结构到三层结构，从Client/Server 到Browser/Server。在新旧系统 的切换过程中，必然要面临一个数据迁移的问题。4.1 数据迁移的概念 原有的旧系统从启用到被新系统取代，在其使用期间往往积累了大量珍贵的 历史数据，其中许多历史数据都是新系统顺利启用所必须的。另外，这些历史数 据也是进行决策分析的重要依据。数据迁移，就是将这些历史数据进行清洗、转 换，并装载到新系统中的过程。数据迁移主要适用于一套旧系统切换

21、到另一套新 系统，或多套旧系统切换到同一套新系统时，需要将旧系统中的历史数据转换到 新系统中的情况。银行、电信、税务、工商、保险以及销售等领域发生系统切换 时，一般都需要进行数据迁移。对于多对一的情况，例如由于信息化建设的先后， 造成有多个不同的系统同时运行，但相互间不能做到有效信息共享，所以就需要 一套新系统包容几套旧系统的问题。数据迁移对系统切换乃至新系统的运行有着十分重要的意义。数据迁移的质 量不光是新系统成功上线的重要前提，同时也是新系统今后稳定运行的有力保 障。如果数据迁移失败，新系统将不能正常启用；如果数据迁移的质量较差，没 能屏蔽全部的垃圾数据，对新系统将会造成很大的隐患，新系统

22、一旦访问这些垃 圾数据，可能会由这些垃圾数据产生新的错误数据，严重时还会导致系统异常。相反，成功的数据迁移可以有效地保障新系统的顺利运行，能够继承珍贵的 历史数据。因为无论对于一个公司还是一个部门，历史数据无疑都是十分珍贵的 一种资源。例如公司的客户信息、银行的存款记录、税务部门的纳税资料等。4.2 数据迁移的特点 系统切换时的数据迁移不同于从生产系统OLTP （On-line Transaction Processing），到数据仓库DW（Data Warehouse）的数据抽取。后者主要将生产 系统在上次抽取后所发生的数据变化同步到数据仓库，这种同步在每个抽取周期 都进行，一般以天为单位。

23、而数据迁移是将需要的历史数据一次或几次转换到新 的生产系统，其最主要的特点是需要在短时间内完成大批量数据的抽取、清洗和 装载。数据迁移的内容是整个数据迁移的基础，需要从信息系统规划的角度统一考 虑。划分内容时，可以从横向的时间和纵向的模块两个角度去考虑。横向划分 以产生数据的时间为划分依据，需要考虑比较久远的历史数据如何迁移的问 题。由于信息技术的发展，以及存储工程师对计算机依赖性的增强，新系统每天 往往需要比旧系统存储更多的信息，同时为了解决数据量高增长带来的性能瓶 颈，新系统一般只保留一定时期的数据，比如1 年，而把超过保存周期的数据， 即1 年以前的数据转移到数据仓库中，以便用于决策分析

24、。对于这种新系统的数 据迁移，主要迁移1 年以内的数据，1 年以前的历史数据需要另外考虑。纵向划分 以处理数据的功能模块为划分依据，需要考虑在新系统中没有被包含的功能 模块，其所涉及数据的处理问题。这类数据由于无法建立映射关系，一般不需要 迁移到新系统中。但对于模块间偶合度比较紧密的旧系统，在纵向划分时需要注 意数据的完整性。4.3 数据迁移的三种方法 4.3.1 数据迁移方法 数据迁移可以采取不同的方法进行，归纳起来主要有三种方法，即系统切换 前通过工具迁移、系统切换前采用手工录入、系统切换后通过新系统生成。系统切换前通过工具迁移 在系统切换前，利用ETL（Extract Transform

25、 Load）工具把旧系统中的历 史数据抽取、转换，并装载到新系统中去。其中ETL 工具可以购买成熟的产品， 也可以是自主开发的程序。这种方法是数据迁移最主要，也是最快捷的方法。其 实施的前提是，历史数据可用并且能够映射到新系统中。系统切换前采用手工录入 在系统切换前，组织相关人员把需要的数据手工录入到新系统中。这种方法 消耗的人力、物力比较大，同时出错率也比较高。主要是一些无法转换到新系统 中的数据，和新系统启用时必需要而旧系统无法提供的数据采用这种方法，可作 为第一种方法的有益补充。系统切换后通过新系统生成 在系统切换后，通过新系统的相关功能，或为此专门开发的配套程序生成所 需要的数据。通常

26、根据已经迁移到新系统中的数据来生成所需的信息。其实施的 前提是，这些数据能够通过其它数据产生。4.3.2 数据迁移的策略 数据迁移的策略是指采用什么方式进行数据的迁移。结合不同的迁移方法， 主要有一次迁移、分次迁移、先录后迁、先迁后补等几种方式可供选择。一次迁移是通过数据迁移工具或迁移程序，将需要的历史数据一次性全部迁 移到新系统中。一次迁移的优点是迁移实施的过程短，相对分次迁移，迁移时涉 及的问题少，风险相对比较低。其缺点工作强度比较大，由于实施迁移的人员需 要一直监控迁移的过程，如果迁移所需的时间比较长，工作人员会很疲劳。一次 迁移的前提是新旧系统数据库差异不大，允许的宕机时间内可以完成所

27、有数据量的迁移。分次迁移 分次迁移是通过数据迁移工具或迁移程序，将需要的历史数据分几次迁移到 新系统中。分次迁移可以将任务分开，有效地解决了数据量大和宕机时间短之间 的矛盾。但是分次切换导致数据多次合并，增加了出错的概率，同时为了保持整 体数据的一致性，分次迁移时需要对先切换的数据进行同步，增加了迁移的复杂 度。分次迁移一般在系统切换前先迁移将静态数据和变化不频繁的数据，例如代 码、用户信息等，然后在系统切换时迁移动态数据，例如交易信息，对于静态数 据迁移之后发生的数据变更，可以每天同步到新系统中，也可以在系统切换时通 过增量的方式一次同步到新系统中。先录后迁 先录后迁是在系统切换前，先通过手

28、工把一些数据录入到新系统中，系统切 换时再迁移其它的历史数据。先录后迁主要针对新旧系统数据结构存在特定差异 的情况，即对于新系统启用时必需的期初数据，无法从现有的历史数据中得到。 对于这部分期初数据，就可以在系统切换前通过手工录入。先迁后补 先迁后补是指在系统切换前通过数据迁移工具或迁移程序，将原始数据迁移 到新系统中，然后通过新系统的相关功能，或为此专门编写的配套程序，根据已 经迁移到新系统中的原始数据，生成所需要的结果数据。先迁后补可以减少迁移 的数据量。4.4 数据迁移的实现 数据迁移的实现可以分为三个阶段：数据迁移前的准备、数据迁移的实施和 数据迁移后的校验。由于数据迁移的特点，大量的

29、工作都需要在准备阶段完成，充分而周到的准 备工作是完成数据迁移的主要基础。具体而言，要进行待迁移数据源的详细说明， 包括数据的存放方式、数据量、数据的时间跨度，建立新旧系统数据库的数据字 典，对旧系统的历史数据进行质量分析，新旧系统数据结构的差异分析；新旧系 统代码数据的差异分析；建立新老系统数据库表的映射关系，对无法映射字段的 处理方法，开发、部属ETL 工具，编写数据转换的测试计划和校验程序，制定数 据转换的应急措施。其中，数据迁移的实施是实现数据迁移的三个阶段中最重要 的环节。它要求制定数据转换的详细实施步骤流程；准备数据迁移环境；业务上 的准备，结束未处理完的业务事项，或将其告一段落；对数据迁移涉及的技术都 得到测试；最后实施数据迁移。数据迁移后的校验是对迁移工作的检查，数据校 验的结果是判断新系统能否正式启用的重要依据。可以通过质量检查工具或编写 检查程序进行数据校验，通过试运行新系统的功能模块，特别是查询、报表功能，检查数据的准确性。4.4.1 数据迁移的技术准备 数据转换与迁移通常包括多项工作：旧系统数据字典整理、旧系统数据