数据迁移工具汇报PPT文档格式.pptx

数据迁移工具汇报PPT文档格式.pptx

《数据迁移工具汇报PPT文档格式.pptx》由会员分享，可在线阅读，更多相关《数据迁移工具汇报PPT文档格式.pptx（53页珍藏版）》请在冰豆网上搜索。

n借助Oracle等数据库的功能实现需要专业的数据库管理员或数据库开发人员才能实现，技术要求高，且难以实现不同类型数据库之间的迁移。

n采用GoldenGate等第三方的迁移软件优点是功能相对完善，效率高。

缺点是配置复杂，一般业务人员难以掌握，按点收费，费用高昂。

项目背景一、系统概述通过对相关业务分析，XX数据迁移工具设计主要具备三大功能，即数据迁移、数据同步、文件导入。

数据迁移应该具备以下特点：

n易用性好，完全的可视化操作界面，方便上手。

n功能强大，可满足数据管理中的各种数据迁移需求。

n运行稳定。

n高效。

设计目标一、系统概述n如何支持不同类型数据库之间的数据迁移及同步。

n如何支持数据库结构不同时，数据的迁移及同步。

n如何支持在迁移及同步过程中做复杂的数据处理及转换计算。

n怎么解决数据增量同步，并确保高效及实时性。

n如何实现软件的易用性。

技术难点一、系统概述系统概述系统概述1技术方案技术方案2功能介绍功能介绍3系统特点系统特点4成功案例成功案例5二、技术方案开发一套定制工具，制定一些对应规则，实现不同的数据库、不同的表结构之间对应关系的建立。

通过引擎调用不同的底层驱动，实现不同数据库之间的数据迁移。

设计思路数据质量检查源库解析引擎数据对应规则目标库目标数据事件操作二、技术方案数据库管理员业务人员应用程序应用程序数据迁移工具UI界面数据迁移服务接口数据迁移工具界面定制引擎功能调度引擎多线程调度引擎日志记录引擎自动运行引擎异常处理引擎数据库操作引擎Oracle引擎SQLServer引擎Access引擎DBF引擎Excel引擎功能操作引擎数据迁移引擎数据同步引擎文件导入引擎数据库整体技术架构TCP通信引擎二、技术方案数据操作流程用户制定迁移规则异常监控实时反馈日志记录数据迁移工具规则解析数据分量加载数据迁移前处理数据迁移完成数据迁移后处理数据迁移、同步及文件导入均遵从此流程。

二、技术方案软件部署源数据库数据迁移工具服务器目标数据库数据迁移工具可部署在局域网内的任何一台机器上，源与目标数据库均不需要安装任何软件，也不需要变动任何库结构，只需提供访问帐号即可。

二、技术方案数据访问模式数据迁移工具数据迁移工具工厂设计模式Oracle驱动SQLServer驱动ACCESS驱动OLEDB驱动OracleSQLServerACCESSExcel其它数据操作基于工厂的软件设计模式，实现了对各种不同数据库的支持，如果要增加新的数据库支持，系统变化很小。

灵活性及可扩展性好。

二、技术方案关键技术多种数据多种数据库类型支持型支持数据数据处理或理或转换支持支持虚虚拟表、存表、存储过程支持程支持大字段分大字段分段迁移段迁移数据分数据分页迁移迁移系统概述系统概述1技术方案技术方案2功能介绍功能介绍3系统特点系统特点4成功案例成功案例5数据迁移系统数据迁移功能数据同步功能数据库管理表对应管理字段对应管理任务管理运行日志管理数据库管理字段对应管理表对应管理运行日志管理条件迁移增量迁移触发器同步Oracle日志同步手动运行远程调用文件数据操作功能文件导入规则管理文件操作运行管理运行日志管理自动运行功能框架图三、功能介绍三、功能介绍将源数据库现有数据根据设定的筛选条件，按照数据表或是字段对应规则，手动或是自动定时将数据迁移至目标数据库。

源数据库迁移规则要迁哪些表数据迁移的条件是什么迁移数据是否要预处理什么时候开始迁移出现异常怎么处理是否要检测库结构一致性源与目标表对应关系如何目标数据库规则解析迁移事件任务运行异常处理数据处理迁移引擎数据抓取数据写入日志记录1、数据迁移模块说明三、功能介绍三、功能介绍运行结果Oracle源库解析引擎数据对应规则Oracle目标库目标数据事件操作分页提取数据迁移流程三、功能介绍三、功能介绍1、数据迁移数据同步是指源数据库发生变动时，目标数据库在最短的时间内同步相应变动。

通过实时捕获变化数据，根据表和字段对应关系将改变的数据同步到源头数据总库，实时保持源数据库与目标数据库数据的一致性。

源数据库目标数据库同步规则要同步哪些表数据同步数据是否要预处理出现异常怎么处理是否要检测库结构一致性源与目标表对应关系如何规则解析同步事件异常处理数据处理同步引擎数据获取数据写入日志记录三、功能介绍三、功能介绍模块说明2、数据同步归档日志同步CDC同步触发器同步按照捕获数据变化方式，同步分为解析归档日志同步、触发器同步及CDC同步三种模式。

归档日志同步通过开启数据库归档模式，用户对数据库的变更会自动写入归档日志中，同步工具通过解析日志的方式，将数据变更解析出来，同步到目标数据库中。

触发器同步通过建立同步表的触发器，将用户对表的各种操作记录到指定的日志表中，通过解析日志表，获取用户数据的变更，实现与目标数据库的同步。

CDC同步Oracle自带数据定阅技术，可将数据变更信息自动同步到别一个用户下，同步软件解析用户的定阅信息，实现与目标数据库的同步。

模块说明三、功能介绍三、功能介绍2、数据同步技术成熟，数据库各版本支持成熟的软件均采用此模式适用于较少数据量和不频繁变化的数据需对相关数据表建触发器归档日志模式数据库版本有要求，10g版本以下效率较低。

10.2.0.2版本以前存在内存不能释放的BUG。

触发器模式CDC模式以归档模式为主以归档模式为主模块说明三、功能介绍三、功能介绍2、数据同步解析日志同步中，解析日志和数据入库采用异步模式，避免了网络出现异常后同步数据丢失。

源数据库数据缓存文件数据缓存文件目标数据库解析日志解析日志数据入库数据入库模块流程三、功能介绍三、功能介绍2、数据同步1、首先通过上次解析的日志文件SEQ号判断并获取新增的日志文件列表。

2、然后通过上次解析日志的SCN号判断该日志文件要解析的日志记录。

3、最后解析日志文件，并过滤解析的日志记录，缓存成多个固定大小的数据文件。

源数据库归档日归档日志文件志文件上次解析日志SEQ要解析的日志要解析的日志文件列表文件列表上次解析日志SCN解析日志解析日志起始起始SCNSCN数据缓存文件数据缓存文件操作日志记录操作日志记录同步表对应同步表对应关系列表关系列表日志解析三、功能介绍三、功能介绍2、数据同步三、功能介绍三、功能介绍1、首先通过上次入库的SCN号过滤数据，并判断记录数据是否含所有大字段的表。

2、然后再根据表对应关系判断是否可以直接解析重做sql直接入库，如果不能直接入库就要根据唯一健获取源数据。

3、最后通过表对应关系和字段对应关系入目标库。

源数据库解析主键解析主键获取数据获取数据上次入库记录SCN入库记录入库记录起始起始SCNSCN数据缓存文件数据缓存文件普通日志记录普通日志记录简单简单对应对应含有字段记录含有字段记录表对应表对应关系关系复杂复杂对应对应源数据源数据目标数据库解解析析重重做做sqlsql语语句句数据入库2、数据同步3、文件导入迁移工具的文件操作包括Excel文件的导入、导出和dbf文件的导入、导出。

其中Excel文件的导入支持对应关系模板的定制导入，从而支持复杂Excel的导入功能。

Dbf导入支持名称模糊匹配功能，实现了dbf文件的批量导入功能。

三、功能介绍三、功能介绍迁移工具所有设置和操作都支持可视化，都有相应的界面供用户操作，其中表与表对应关系、字段对应关系等操作支持拖拽设置，符合大多数用户操作习惯，具有用户使用方便、易用、直观等特点。

数据迁移或同步详细日志可视化显示，方便用户随时查看及对对应状态的实时检测。

三、功能介绍三、功能介绍4、可视化操作数据迁移工具支持数据迁移过程中用到的迁移参数的设置，包括迁移模式、是否启动多线程迁移等参数。

5、功能界面参数设置三、功能介绍三、功能介绍数据迁移工具是一个综合管理工具，可以同时维护、运行多个不同的数据迁移的项目，并通过项目的方式，分类展示出来。

5、功能界面数据迁移项目数据同步项目项目建立三、功能介绍三、功能介绍通过数据库对应关系，搭建多个不同库之间的虚拟链路关系，设置数据源与目标。

5、功能界面数据库对应关系建立三、功能介绍三、功能介绍虚拟数据链接搭建好后，需设置表的对应关系，即源表是什么，对应表是什么，表名可不一致，结构也可不同。

5、功能界面表对应关系建立三、功能介绍三、功能介绍支持迁移事件，包括迁移前事件、迁移后事件、插入前事件、插入后事件、修改前事件、修改后事件，事件中支持执行sql语句和存储过程。

5、功能界面迁移事件设置三、功能介绍三、功能介绍如果源数据来源比较复杂，需要通过sql语句来获取或是通过存储过程来获取，就需要建立虚拟表。

5、功能界面虚拟表建立三、功能介绍三、功能介绍表对应关系搭建好后，需设置字段的对应关系，即源表是什么字段，对应目标表是什么字段，支持字段的计算及合并。

5、功能界面字段对应关系建立三、功能介绍三、功能介绍字段设置中支持普通字段、常量、sql表达式（源）、代码转换、随机Guid、sql表达式（目录）等类型。

5、功能界面字段设置三、功能介绍三、功能介绍设置迁移条件，只把满足要求的数据迁移过去，支持变量替换，支持字段拖放操作。

5、功能界面迁移条件建立三、功能介绍三、功能介绍对于一个项目可定制多个任务，任务触发条件可不一样，运行时间也各自独立控制。

5、功能界面任务定制三、功能介绍三、功能介绍对于已经制定任务的运行、启闭操作。

对数据迁移运行信息进行详细的查询。

5、功能界面任务调度三、功能介绍三、功能介绍数据迁移同步工具保存着所有数据表同步运行详细日志，用户可以按照日期对日志进行分页查询。

5、功能界面日志查看三、功能介绍三、功能介绍自动调度状态中显示任务或是同步运行详细信息，包括任务下次运行时间、上次运行结果和同步实时运行状态及结果等信息。

5、功能界面任务调度状态三、功能介绍三、功能介绍迁移工具还支持远程调用功能，通常为了迁移工具运行的稳定性，会把迁移工具部署到服务器上，这样用户操作不太方便，所以迁移工具提供客户端远程调用工具，来运行迁移任务。

5、功能界面任务远程调用三、功能介绍三、功能介绍文件操作包括Excel、DBF文件的导入与导出，其中Excel的导入通过模板定制功能支持复杂格式的导入。

5、功能界面文件操作三、功能介绍三、功能介绍系统概述系统概述1技术方案技术方案2功能介绍功能介绍3系统特点系统特点4成功案例成功案例5灵活性a

（1）支持多种类型数据库间数据迁移或同步。

（2）支持不同表结构或是多表间数据迁移和同步。

（3）支持迁移表分任务灵活的设置定时自动迁移。

（4）支持迁移时数据的处理及不同代码自动转换。

（5）支持视图、同义词、虚拟表（sql语句、存储过程表）作为源表的迁移。

四、系统特点灵活性a安全性b

（1）数据迁移对源库只是读取数据，所以只要有只读权限帐户即可。

（2）迁移工具只是操作数据，不会对目标库的表结构及数据造成影响。

（3）迁移工具可以支持只插入模式，只会插入数据不会修改目录库已有数据。

（4）迁移工具有详细的日志记录。

四、系统特点灵活性灵活性a安全性安全性b高效性高效性c

（1）数据迁移工具支持迁移表和字段的自动对应和对应模板Excel导入、导出，提高用户设置的高效性。

（2）数据迁移工具支持多线程，大数据量分页读取、大字段内容分段读取等功能，提高数据迁移效率，局域网内可以达到迁移每秒千多条数据。

（3）迁移工具支持增量