数据迁移解决方案.docx

1、数据迁移解决方案数据迁移解决方案篇一：数据迁移解决方案 1 数据迁移解决方案 VNX系列支持在线数据移动和迁移，同时将复杂性和中断降至最低。快速、高效并且无中断地在存储层、平台和站点之间移动数据。EMC公司有众多的工具实现在线数据迁移，为组织提供了选择余地和灵活性，让他们可以在正确的时间使用正确的工具提供正确的服务级别，针对本项目EMC有众多的数据迁移工具包含： 数据块迁移选项 在线 VPLEX基于阵列的透明迁移 VMwareStorageVMotion 适用于VMware环境的迁移 PowerPathMigrationEnabler 基于主机的透明迁移 RecoverPoint/Mirror

2、View 远程复制和灾难恢复 SANCopy 基于阵列的快速迁移，需要宕机 迁移服务 EMC与合作伙伴迁移服务 数据迁移工具 1、EMC PowerPath Migration Enabler (PPME) PowerPath Migration Enabler (PPME) 是基于主机的迁移产品，可在存储系统之间迁移数据。PPME 充分利用 PowerPath 技术并结合使用其他基础技术（如 Open Replicator 或 EMC Invista?）来实际迁移数据。PPME 通过利用基于阵列或 SAN 的复制来提供基于主机的解决方案，几乎不会对主机资源造成影响。PPME 通过三种主要的方

3、式来使数据迁移受益：大大减少或消除因迁移而导致的应用程序中断现象，同时降低迁移风险以及简化迁移操作。PowerPath Migration Enabler 独立于 PowerPath 多路径技术，不需要将 PowerPath 用于多路径。 2、SAN COPY是VNX免费自带的一种数据迁移工具，是一种简单、 开放、经济高效的数据移动、迁移和保护工具，可以实现在VNX、Symmetrix 和第三方阵列(HDS、IBM、HP、Netapp)之间快速拷贝数据,执行从经认可的存储到VNX系列的在线迁移，对主机应用程序的中断最小,以增量更新方式将现有的HDS ASM2300目标卷采用推/拉送方式到VNX

4、系列存储，通过 EMC Uinsphere 管理套件或 EMC Replication Manager/SE 集中化管理， 3、EMC Open Migrator/LM 是一种实现在线数据迁移工具，EMC Open Migrator/LM 支持在 EMC 存储和任何其他来源之间在线迁移 Microsoft? Windows?、UNIX或 Linux 卷的数据。基于主机的 Open Migrator/LM 软件自动执行并简化数据迁移，从而提高整个信息基础架构的效率。无论是整合服务器、升级存储还是调整性能，都可以让卷在迁移期间保持在线并完全可供关键应用程序使用。此外，主机应用程序仍然以峰值性能运行

5、。 4、EMC Open Replicator 是高端存储免费自带一种软件，在多种复杂配置中帮助实现在Symmetrix及其他异构阵列之间移动和迁移数据，最适合大数据量一次性迁移，且迁移速度块。 5、EMC VPLEX是一种软硬件一体的无中断业务的数据迁移工具，可以实现同构或异构阵列不中断业务的在线数据迁移，同时还可以实现存储本地或跨数据中心双活； 6、Federated Tiered Storage (FTS)是高端存储免费自带的一种虚拟化同构和异构存储软件，同时可以用做数据实施在线迁移。 7、联合实时迁移 (FLM) 通过利用阵列自身的智能消除基于主机或基于 SAN 的迁移战略的复杂性，提

6、供第一而且唯一一个真正的无中断迁移解决无需向组织的 SAN 或主机中插入或添加新硬件或软件，支持不同数据移类型的组合，如密集到密集、密集到精简以及精简到精简，还可将多个系统整合到一个 Symmetrix 系统上。 还有众多的数据迁移工具，结合以上前七种解决方案可以实现数据迁移，在项目实施后可任意选择一种方案，实现交警总队关键业务系统在线数据迁移。 针对本项目，EMC原厂实施工程师将详细调研现状后，提供详尽的数据迁移方案来实施数据平滑迁移，保障在交警总队承受范围内实现数据搬迁。目前EMC涉及数据迁移的方法非常多，EMC将按照实际需求会提供最为可靠、宕机 时间最短的方案来实施数据迁移。 本次项目我

7、们假设采用SAN COPY数据迁移工具：该软件在购买VNX系列产品免费附送，是一个跨平台的快速、高效数据移动工具， EMC SAN Copy可以帮助实现 EMC VNX系列和经认可的存储系统之间的高速数据移动、迁移和保护。利用VNX存储系统的强大威力，SAN Copy 提供了无与伦比的部署灵活性 - 允许您选择完整拷贝或增量拷贝能力 - 和对 EMC VNX、EMC Symmetrix、IBM、HDS 及 Sun 存储阵列的支持。并且，使用 SAN Copy/E，您现在能够从部署在部门或分支办公室中的 CX3和 CX4系统向具有更大的VNX系列系统的数据中心进行增量拷贝。SAN Copy 与

8、EMC SnapView 和 EMC Replication Manager 解决方案紧密集成，为保护和恢复 Microsoft Exchange 和其它应用程序环境提供了高度灵活且易于管理的选项。使用 SAN Copy 可以满足多种服务级别要求，而且对运营的影响最小。 SAN Copy RPO：从数小时到数天 ?在存储层、VNX 间移动数据 ?在辅助站点上重新启动副本 ?可在增量或完整模式下使用 ?无距离限制 ?从一个来源复制到多个目标主要辅助 SAN Copy 概述 ?针对数据整合和数据分发问题的软件 在阵列之间拷贝数据 完整拷贝和增量拷贝 双向Symmetrix ?基于阵列 对服务器或L

9、AN 无影响 单点式管理 通过编写脚本来实现自动化 不需要其他硬件 独立于 应用程序和操作系统?VNX、Symmetrix和第三方系统 * CLARiiON CX3 IBM 如图所示，SAN Copy 是一种独特的软件产品，可通过部署它来解决数据整合和分发方面的问题。它实施开放式体系结构；并允许在多个CLARiiON 系统、CLARiiON 和Symmetrix 系统以及CLARiiON 和经认可的第三方系统（如来自IBM、HP、HDS 等的系统）之间快速地进行批量数据传输。 SAN Copy 有两种操作模式：完整模式或增量模式。如果在完整模式下使用源LUN 和SAN Copy，则在拷贝完成之

10、前，源LUN 必须一直处于非活动状态。不过，也可以将SnapView 快照或克隆用作SAN Copy 源；如果源位于Symmetrix 上，则它还可以是TimeFinder 系列BCV。 增量SAN Copy 允许源LUN 处于活动状态，因为它在内部使用SnapView 来跟踪更改。因此，对于增量SAN Copy，您不能使用SnapView 快照作为源LUN。 SAN Copy 通过“拉入”和“推送”功能实现双向拷贝能力 ?能够承载SAN Copy 的CX 和VNX 系统： CX3、CX4 VNX?驻留在承载SAN Copy 的系统上的 完整或增量数据拷贝可以被“推送” 到任何EMC 或受支持

11、的第三方系统?驻留在任何受支持的系统上的完整数据拷 贝可以被“拉入”到承载SAN Copy 的系 统 SAN Copy 可在VNX和CX系列系统上运行。SAN Copy 可以将来自这些系统上的完整或增量数据拷贝“推送”到任何受支持的EMC 或第三方系统。增量更新速度更快：它们可以减少通过网络传输的数据总量，因为SAN Copy 仅拷贝自最后一次SAN Copy 会话后发生的更改。 SAN Copy 还可以在上述系统上从任何支持的系统“拉入”完整的数据拷贝。在这种情况下，被拷贝的数据会驻留在受支持的系统上。对于正在被拉入的数据，仅支持完整卷拷贝。 ? 可以减少风险，降低成本，为存储基础结构增加灵

12、活性 ? 可在需要时随时随地快速拷贝数据。 ? 方便地将数据从经认可的存储系统迁移到VNX系列网络存储系统。 ? 为多种目的创建本地生产卷的远程时间点拷贝 - 从灾难恢复到远 程测试和开发。 ? 通过与EMC Replication Manager/SE Microsoft Exchange 和SQL 环境 ? 消除数据移动任务执行期间对生产活动的影响。 ? 通过高效数据复制实现对行业政策和政府法规的遵从性。 集成保护和管理 篇二：新老系统迁移及整合方案 1 新老系统迁移及整合方案 本次总局综合业务系统是在原有系统的基础上开发完成，因此，新旧系统间就存在着切换的问题。另外，新开发的系统还存在与

13、其他一些应用系统，例如，企业信用联网应用系统、企业登记子网站、外资登记子网站等系统进行整合使之成为一个相互连通的系统。本章将针对新老系统迁移和整合提出解决方案。 新老系统迁移及整合需求分析 系统迁移又称为系统切换，即新系统开发完成后将老系统切换到新系统上来。 系统切换得主要任务包括：数据资源整合、新旧系统迁移、新系统运行监控过程。数据资源整合包含两个步骤：数据整理与数据转换。数据整理就是将原系统数据整理为系统转换程序能够识别的数据；数据转换就是将整理完成后的数据按照一定的转换规则转换成新系统要求的数据格式，数据的整合是整合系统切换的关键；新旧系统迁移就是在数据正确转换的基础上，制定一个切实可行

14、的计划，保证业务办理顺利、平稳过渡到新系统中进行；新系统运行监控就是在新系统正常运转后，还需要监控整个新系统运行的有效性和正确性，以便及时对数据转换过程中出现的问题进行纠正。 系统整合是针对新开发的系统与保留的老系统之间的整合，以保证新开发的系统能与保留的老系统互动，保证业务的顺利开展。主要的任务是接口的开发。 需要进行迁移的系统 需要进行整合的系统 需要与保留系统整合的系统包括： 1、企业登记管理（含信用分类），全国企业信用联网统计分析，不冠行政区 划企业名称核准，大屏幕触摸屏系统与企业信用联网应用，企业登记子网站，属地监管传输，网上业务受理之间的整合； 2、外资企业登记管理（含信用分类），

15、全国外资企业监测分析与属地监管传输，外资登记子网站，网上业务受理，大屏幕触摸屏系统之间的整合； 3、广告监管系统与广告监管子网站之间的整合； 4、12315数据统计分析与12315子网站之间的整合； 5、通用信息查询、统计系统与数据采集转换之间的整合； 数据迁移和转换分析 根据招标文件工商总局新建系统的数据库基于IBM DB2，而原有系统的数据库包括ORACLE，SQL Server，DB2。这种异构数据在总局主要存在于两个方面，即部门内部的异构数据和上下级部门之间的异构数据。同时，系统的技术构件有.NET和J2EE两大类。 对于部门内部的异构数据的集成采用数据移植的方法，如：如果数据有基于D

16、B2管理的，有ORACLE管理的，有SQL Server管理的，就根据新系统DB2的要求，把ORACLE的数据迁移到DB2数据库中，把SQL Server的数据迁移到DB2数据库中。 上下级国工商局之间的异构数据的集成利用数据交换系统来完成，重点在于数据库存储标准、交换标准的制定和遵守，保证数据的共享，这部分工作由数据中心完成。 系统迁移和整合目标 一、系统切换的主要目标： ? 保证系统正常运行 在数据转换过程中，由于原有的系统数据的复杂性，给数据转换工作带来了很大的难度，为了在新系统启动后不影响原系统正常的业务，因此数据转换完成后，必须保证新系统的正常运行。 ? 保证原有系统在新系统中的独立

17、性 原有系统是独立运行的系统，数据在新系统中虽然是集中存放的，但是各个 系统由于存在业务上的差别，数据在逻辑上应当保持一定的独立性。 二、系统整合的目标： 保证直接关联的系统互动，保证业务的正常办理。例如公众服务系统与基本业务系统之间互动，基本业务与协同业务之间互动等等。 系统切换方案 系统切换工作流程 系统切换包括前期调研、数据整理、数据转换、系统切换、运行监控五个阶段。系统切换的整个工作流程如下所示： 图 1-1 系统切换流程示意图 系统切换工作步骤 前期调研阶段 前期调研是数据转换中很重要的一个步骤，也是至关重要的一部分。在进行数据转换工作前，我们需要先认真阅读系统的相关文档，如数据字典

18、、系统概要设计报告等，来熟悉原有的系统。当然在阅读文档的过程中肯定还会有理解不清晰的地方，这时还需要熟悉原有系统的工程师的帮助。数据转换的前期工作就是对原系统做一次彻底的全面了解，主要需要的考虑的有下面一些情况： 1、原系统的网络结构； 2、原系统的业务范围、存在几套业务系统以及他们之间的关系； 3、原系统的开发商、开发工具、开发平台以及采用的数据库； 4、原系统的数据分布状况：包括数据范围、数据量大小等； 5、原系统的业务流程； 6、原系统的数据流程； 7、原系统的数据结构； 在了解这些要素的基础上，需要编写前期调研分析报告。调研报告主要包含如下一些方面： 1、将所有数据表进行分类，如系统参

19、数类、代码类、综合业务类、相关业务类等等。 2、对所有数据表的数据组成、数据来源、用途等进行描述。 3、并非所有的数据都是需要进行转换的，在数据字典分析报告中要指出那些数据表是需要进行转换的，那些是不需要进行转换的，对于不需要转换的表要说明不需要转换的原因。 4、描述数据在各表中的流向，对于关键的或复杂的业务点要做详细说明。 转换设计阶段 转换设计阶段主要是完成新旧数据字典的对照，同时明确各个表中具体数据字段的转换方式。在转换设计阶段主要是编写数据字典对照报告 数据字典对照报告主要描述新旧系统数据表间的对照关系以及代码对照关系。以新系统为准，原系统作参照，将原系统的数据字典对应到相应的系统数据

20、字典中。在对照过程中，需要遵循数据照搬原则，数据尽量不要作处理。 在数据字典对照表中需要进行转换的数据字段应该一一对应，对新旧数据表中字段的名称、类型、精度等都要有详细的描述，同时还要明确数据的转换方式。数据转换方式主要有以下几种： 1. 直接转换。直接转换方式是最常用的方式，就是将原表中对应字段的数据原封不动的搬到新表中来。按照“数据照搬”原则，我们应该应该尽量采用这种方法。 2. 程序转换。对那些需要进行计算才能进行转换的数据将采用程序转换方式进行。 3. 代码对照。某些代码字段，往往新旧系统的编码不相同，这时就需要参照代码对照表进行代码对照转换。 4. 类型转换。少数数据可能需要对类型进

21、行转换，如就表以字符串YYYY-MM-DD来存放日期，而新表中以DATE型来存放日期，这时就需要进行类型转换。 5. 常量转换。新表中某些字段可能存在缺省值，这时将采用常量转换方式，当旧表没有对应字段或旧表对应字段数据为空时，将直接在新表中写入缺省数据。 6. 不转换。对于旧表有但新表中没有的字段将不作任何转换。 新旧系统代码对照列出了全部需要进行转换的新旧系统数据表中存在的二级代码间的对照关系，主要以二级代码对照表的形式来反映。 数据迁移 一、数据整理策略 数据整理就是将原系统数据整理为系统转换程序能够识别的数据。数据整理大致分为两个阶段：第一阶段就是将不同类型来源数据采集备份到统一的数据库

22、中；第二阶段就是将原始数据进行整理，按照不同的要求分类进入不同的中间数据库，为数据转换提供中间数据。数据整理过程采用了以下方法： ? 确保原始数据的完整性 在进行数据整理之间，我们先需要对原始采集数据进行备份。备份的目的有两个：一个是统一数据库，便于数据转换，另一个就是为以后数据追根溯源提供参考依据。在本系统中，我们将采用DB2作为备份统一数据库。 ? 数据分级过滤策略 数据分级过滤就是把数据按照不同的数据级别进行分类整理进入不同的中间数据库中。本系统中我们把数据分为三个级别：废弃数据、待调整数据、可转换数据。废弃数据就是该部分数据的存在对系统资源造成浪费的数据，并且会影响以后系统的运行。待调

23、整数据就是该部分数据严重影响新系统的运行，必须进行人工调整后，方可进行数据转换。可转换数据就是该部分数据不需做任何处理，基本满足数据转换的要求或者是该部分数据新系统建议调整，但是不影响系统的运行，可以等新系统运行后再调整，这样可以为数据转换工作节省很多时间。 ? 借助数据整理相关工具 篇三：数据迁移实施方案 数据库系统和网络存储系统项目数据库迁移实施方案 文档控制 文档修订记录 审阅分发2目录 第一章文档介 绍 . . 5 背 景 . . 5 目 标 . . 6 第二章系统硬件选 型 . . 7 存储设 备 . . 7 设备选 型 . . 7 设备功能及实 现 . . 7 服务器设 备 . . 7 数据库服务 器 . . 7 第三章系统安 装 . . 10 主机系统安 装 . . 10 配臵san网络、磁盘阵 列 . 11 配臵 hacmp . . 12 安装数据库软 件 . . 14 第四章数据移 植 . . 14 移植准备工 作 . . 14 移植过 程 . . 15 系统检 查 . . 16 数据库检 查 . . 16 导入后系统需要完成的工 作 . 17 应 用检 查 . . 17 系统回 退 . . 17 第五章应用迁