最新毕业设计大容量数据库智能备份系统设计.docx

最新毕业设计大容量数据库智能备份系统设计.docx

《最新毕业设计大容量数据库智能备份系统设计.docx》由会员分享，可在线阅读，更多相关《最新毕业设计大容量数据库智能备份系统设计.docx（56页珍藏版）》请在冰豆网上搜索。

最新毕业设计大容量数据库智能备份系统设计

中文摘要

备份是系统中需要考虑的最重要的事项,虽然他们在系统的整个规划,开发和测试过程中甚至占不到1%,看似不太重要且默默无闻的工作只有到恢复的时候才能真正体现出其重要性,任何数据的丢失与尝试见的数据down机,都是不可以被接收的.如果备份不能提供恢复的必要信息,使得恢复过程不能进行或长时间的进行（如一个没有经过严格测试的备份方案）,这样的备份都不算或不是一个好的备份.

如果出现系统崩溃的灾难,数据库就必须进行恢复,恢复是否成功取决于两个因素,精确性和及时性.能够进行什么样的恢复依赖于有什么样的备份，鉴于此，大容量数据库智能备份系统将给出就好的答案；

其实，在我们的现实世界中，已经就存在很多备份策略，如RAID技术，双机热备，集群技术发展的计算机系统的备份和高可用性，有很多时候，系统的备份的确就能解决数据库备份的问题，如磁盘介质的损坏，往往从镜相上面做简单的恢复，或简单的切换机器就可以了。

但是，上面所说的系统备份策略是从硬件的角度来考虑备份与恢复的问题，这是需要代价的。

我们所能选择备份策略的依据是：

丢是数据的代价与确保数据不丢失的代价之比。

还有的时候，硬件的备份有时根本满足不了现实需要，假如你误删了一个表，但是你又想恢复的时候，数据库的备份就变的重要了。

ORACLE本身就提供了强大的备份与恢复工具，如：

Oracle的EXP工具、RMAN技术等，但维护成本的之高，对于大容量数据库的企业，降低成本，保证备份数据的准确性、及时性至关重要；

灾难恢复的最重要的工作是设计充足频率的硬盘备份过程。

备份过程应该满足系统要求的可恢复性。

例如，如果数据库可有较长的关机时间，则可以每周进行一次冷备份，并归档重做日志，对于24*7的系统，或许我们考虑的只能是热备份。

如果每天都能备份当然会很理想，但要考虑其现实性。

企业都在想办法降低维护成本，现实的方案才可能被采用。

只要仔细计划，并想办法达到数据库可用性的底线，花不多的钱进行成功的备份与恢复，大容量数据库智能备份系统就是针对这些企业设计的；

大容量数据库智能备份系统是一种系统备份，系统备份与普通数据备份的不同在于，它不仅备份系统中的数据，还备份系统中安装的应用程序、数据库系统、用户设置、系统参数等信息，以便需要时迅速恢复整个系统。

系统备份方案中必须包含灾难恢复措施，灾难恢复同普通数据恢复的最大区别在于：

在整个系统都失效时，用灾难恢复措施能够迅速恢复系统而不必重装系统。

需要注意的是，备份不等于单纯的拷贝，因为系统的重要信息无法用拷贝的方式备份下来，而且管理也是备份的重要组成部分。

管理包括自动备份计划、历史记录保存、日志管理、报表生成等，没有管理功能的备份，不能算是真正意义上的备份，因为单纯的拷贝并不能减轻繁重的备份任务。

在网络环境中，系统和应用程序安装起来并不是那么简单：

系统管理员必须找出所有的安装盘和原来的安装记录进行安装，然后重新设置各种参数、用户信息、权限等等，这个过程可能要持续好几天。

因此，最有效的方法是对整个网络系统进行备份。

这样，无论系统遇到多大的灾难，都能够应付自如

关键字：

EXP/IMP逻辑备份，冷备份，热备份，RMAN（备份与恢复管理器）

SUMMARY

Backupisforemostproceedingthatneedconsiderinsystem;thoughthemindeednotaccountforonepercentinprogramming,empolder,test.thisworklookseemnotimportanceandunknowntopublic.nootherthanwhenneedtorecover,thatcanindeedincarnatethatimportance.anydatadropanddatadownmachineisnotincept.ifbackupdonotprovideneedinformationforrecover,causetheprocessofrecoverdonotprogress,orlongtimeprogress.thatbackupdonotagoodbackup;

bigcontentdatabasecapacitybackupsystemisasystembackup,systembackupdiffertocommondatabackup,becausesystembackupnotonlybackupdataofsystemandbackupapplication、databasesystem、usersetting、systemparameterthathavebulidinsystem.thatinordertospeedyrecoverallsystemontime,systembackupprojectmustcontainmeasureofbalefulnessbackup,balefulnessbackupdifferfromcommonbackupisthatwhenallsysteminvalidationcanusemeasureofbalefulnessbackuprecoversystemandnotreshipsystem,needattendantisthatbackupdifferfromcopy,becausetheimportanceinformationofsystemcannotusecopytobackup,andthatmanagealsoisaimportancepartofbackup,manageincludeautobackupplan,savehistory,logmanage,reportformsbulidandsoon,ifthebackupsoftwarewithoutmanagefunction,thatbackupsoftwaredonotconsiderasagoodbackupsoftware.becausesinglecopynoeaseheavytaskofbackup,innetworkenvoronment,systemandapplicationinstallnothatsimpleness,systemadministratormustfindoutallinstallationgameandprimaryinstallregister,thenstartinstall,andthenreinstalleveryparameter,userinfo,purviewandsoon,thisprocessislikelytostandinganyday,sothat,besteffectivemeansisbackupallofthenetworksystem,inthisway,nomatterwhatsystembargeupagainsthowlargestbalefulness,weallcanrisetotheoccasion;

keyword:

autobackupplan,savehistory,logmanage,reportformsbuild

前言

可以说，从计算机系统出世的那天起，就有了备份这个概念，计算机以其强大的速度处理能力，取代了很多人为的工作，但是，往往很多时候，它又是那么弱不禁风，主板上的芯片、主板电路、内存、电源等任何一项不能正常工作，都会导致计算机系统不能正常工作。

当然，这些损坏可以修复，不会导致应用和数据的损坏。

但是，如果计算机的硬盘损坏，将会导致数据丢失，此时必须用备份恢复数据。

　　其实，在我们的现实世界中，已经就存在很多备份策略，如RAID技术，双机热备，集群技术发展的不就是计算机系统的备份和高可用性吗？

有很多时候，系统的备份的确就能解决数据库备份的问题，如磁盘介质的损坏，往往从镜相上面做简单的恢复，或简单的切换机器就可以了。

但是，上面所说的系统备份策略是从硬件的角度来考虑备份与恢复的问题，这是需要代价的。

我们所能选择备份策略的依据是：

丢是数据的代价与确保数据不丢失的代价之比。

还有的时候，硬件的备份有时根本满足不了现实需要，假如你误删了一个表，但是你又想恢复的时候，数据库的备份就变的重要了。

ORACLE本身就提供了强大的备份与恢复策略，这里我们只讨论ORACLE备份策略，以下的备份都是指ORACLE数据库备份，恢复将放到下一讲中。

　　所谓备份，就是把数据库复制到转储设备的过程。

其中，转储设备是指用于放置数据库拷贝的磁带或磁盘。

能够进行什么样的恢复依赖于有什么样的备份。

作为DBA，有责任从以下三个方面维护数据库的可恢复性：

　　·使数据库的失效次数减到最少，从而使数据库保持最大的可用性；  

　　·当数据库不可避免地失效后，要使恢复时间减到最少，从而使恢复的效率达到最高；  

　　·当数据库失效后，要确保尽量少的数据丢失或根本不丢失，从而使数据具有最大的可恢复性。

　　灾难恢复的最重要的工作是设计充足频率的硬盘备份过程。

备份过程应该满足系统要求的可恢复性。

例如，如果数据库可有较长的关机时间，则可以每周进行一次冷备份，并归档重做日志，对于24*7的系统，或许我们考虑的只能是热备份。

如果每天都能备份当然会很理想，但要考虑其现实性。

企业都在想办法降低维护成本，现实的方案才可能被采用。

只要仔细计划，并想办法达到数据库可用性的底线，花少量的钱进行成功的备份与恢复也是可能的。

第一章备份的概念

一、什么是数据以及数据重要性的体现

   计算机信息技术的飞速发展，加速了信息的多向流动，大大减轻了人们的劳动强度。

随着计算机技术的发展，也可能由于计算机技术的崩溃而造成许多重要的数据丢失，使全部业务陷于瘫痪，所造成的损失难以估计。

在企业信息化进程中，各行各业都在把计算机应用在管理之中，已经发展成为专门的管理信息系统（ManageremtInformationSystem简称MIS）。

在MIS中存在着大量的管理信息。

   什么是信息？

--在事物之间相互联系、相互作用的状态的描述称之为信息，而信息与本文中的数据有不同的含义。

信息系统的活动首先是收集数据、处理数据。

数据是记录下来可以鉴别的符号，它本身没有意义。

信息是对数据的解释，数据不经过处理，仍然是数据，只有经过解释才有意义，才成为信息。

   可以这样说：

信息是经过加工以后，并对客观世界产生影响的数据，所以要获取信息，必先有数据，有了数据的处理，才能得到需要的信息。

而大多数企业在提到资源时往往指能源、材料，而信息也是一种潜在的资源。

在提到资产时往往指财产、资金等，实际上，任何企业公司都离不开一项最重要的资产数据。

而在现代商务环境中，数据已成为财富。

所以在MIS建设中，数据的重要性现而易见。

如果是所有操作员花了很长时间辛辛苦苦建立起来的数据，突然因系统关闭、硬盘损伤或病毒侵害等灾难，在一夜之间毁损，而身为MIS管理者或软件开发员的人员更是深受其害，不但要负担操作员的责难，更必须面对数据毁损后的灾难重建的庞大支出的责任。

   随着网络的普及与日趋复杂的跨平台的应用环境，身为企业网络管理者，所面临的是快速增加的数据量、二十四小时不停运转及日趋有限的备份时段。

如何作到有效的数据保护将成为网络管理员们必须重视的一个问题。

如果丢失了关键的企业数据或恢复的数据极不准确，那么软件开发、企业管理、顾客服务、决策管理对于企业制定的成功目标也就无济于事。

二、数据备份的含义

1、什么是数据备份

   数据备份顾名思义，就是将数据以某种方式加以保留，以便在系统遭受破坏或其他特定情况下，重新加以利用的一个过程。

在日常生活中，我们经常需要为自己家的房门多配几把钥匙，为自己的爱车准备一个备胎，这些都是备份思想的体现。

2、数据备份的目的

   数据备份的根本目的是重新利用，这也就是说，备份工作的核心是恢复，一个无法恢复的备份，对任何系统来说都是毫无意义的。

当然，在系统正常工作的情况下，数据备份工作毕竟算是系统的一个“额外负担”，或多或少的会给正常业务系统带来一定性能和功能上的影响。

所以，架设数据备份系统时，如何尽量减少这种“额外负担”，从而更充分的保证系统正常业务的高效运行，也是数据备份技术发展的一个重要方向。

对一个相当规模的系统来说，完全自动化的进行备份工作是对备份系统的一个基本要求。

除此以外，CPU占用、磁盘空间占用、网络带宽占用、单位数据量的备份时间等等，这些都是需要重点考察的方面。

备份系统的选择和优化工作也是一个至关重要的任务。

选择的原则也并不复杂，一个好的备份系统，应该能够以很低的系统资源占用率和很少的网络带宽，来进行自动而高速度的数据备份。

数据备份作为存储领域的一个重要组成部分，其在存储系统中的地位和作用都是不容忽视的。

对一个完整的IT系统而言，备份工作是其中必不可少的组成部分。

其意义不仅在于防范意外事件的破坏，而且还是历史数据保存归档的最佳方式。

3、数据备份的作用

   数据备份的作用，更像是我们为了留住美好时光而拍摄的照片，把暂时的状态永久的保存了下来，供我们分析和研究。

当然我们不可能凭借一张儿时的照片就回到从前，在这一点上，数据备份就更显神奇，一个存储系统乃至整个网络系统，完全可以回到过去的某个时间状态，或者重新“克隆”一个指定时间状态的系统，只要在这个时间点上，我们有一个完整的系统数据备份。

   数据备份更多的是指数据从在线状态，剥离到离线状态的过程，这与服务器高可用集群技术以及远程容灾技术，在本质上有所区别。

虽然从目的上讲，这些技术都是为了消除或减弱意外事件给系统带来的影响，但是，由于其侧重的方向不同，实现的手段和产生的效果也不尽相同。

集群和容灾技术的目的，是为了保证系统的可用性，也就是说，当意外发生时，系统所提供的服务和功能不会因此而间断。

对数据而言，集群和容灾技术是保护系统的在线状态，保证数据可以随时被访问。

而相对来说，备份技术的目的，是将整个系统的数据或状态保存下来，这种方式不仅可以挽回硬件设备坏损带来的损失，也可以挽回逻辑错误和人为恶意破坏的损失。

   数据备份技术并不保证系统的实时可用性。

也就是说，一旦意外发生，备份技术只保证数据可以恢复，但是恢复过程需要一定的时间，在此期间，系统是不可用的。

在具有一定规模的系统中，备份技术、集群技术和容灾技术互相不可替代，并且稳定和谐的配合工作，共同保证着系统的正常运转。

4、数据备份要考虑的主要因素　

1）异地：

备份的数据不应与源数据保存在同一地点。

根据具体情况，地点可能指硬盘、服务器、网络、机房、建筑、城市等。

异地的程度决定了抗风险的能力，但也相应带来操作复杂度。

因此，应选择合适的备份数据目的地。

一般情况下，最少应将数据备份至另外的设备（服务器或磁带机）上。

2）脱机：

在大多数情况下，都应该以脱机的方式保存备份数据。

3）滚动：

备份不仅是针对最新的数据，而且要提供对历史数据的滚动备份。

这一方面是增加备份的可靠性，另一方面也有利于历史数据的恢复与查找。

4）数据量：

数据量将影响介质是否能装下、多长时间能完成备份、对网络的影响等问题，将决定备份的设备与体系架构

5）操作系统、应用系统：

应根据操作系统、应用系统选择合适的备份手段与产品。

要特别注意对于正在打开的文件（Openfile）、数据库、群件等的备份方法。

6）备份时间与流量：

要充分考虑备份时间及对相应网络流量和服务器性能的影响。

7）增量：

除非数据量很小，否则都需要考虑增量备份的方式。

其中要注意对于文件和数据库增量的方式是有差异的。

8）一致性：

备份时间有先后，就会出现一致性的问题，应从备份方案与应用系统两方面加以研究

9）保密：

备份使得数据被集中到了一起，其他用户或系统管理员就有机会接触到数据。

因此需考虑好保密机制。

10）自动化程度：

不同的备份方案将提供不同的自动化程度。

应根据需要确定达到什么样的自动化程度。

第二章备份的方式

Oracle的内核提供数据库的备份和恢复机制,SQL*DBA按表空间进行数据的备份和恢复。

Oracle提供两种方式:

备份恢复和向前滚动,保证意外故障恢复数据库的一致性和完整性。

　　1.备份恢复方式

　　对数据库的某个一致状态建立副本,并储存在介质上脱机保存,以此作为数据库恢复的基础。

现以Oracle实用程序Export/Import来介绍备份恢复方式。

　　Export/Import是Oracle提供的两个互补性程序,即卸载和装载。

它们既完成数据库与操作系统文件的互为转载,同时可以有效地回收数据库的碎片,提供不同版本间Oracle数据传送的手段,进行不同用户间的数据传送。

　　Export数据卸载,将数据从Oracle写到指定的操作系统文件进行备份。

卸载的对象、内容与数量有三种模式:

TABLEMODE（表模式）、USERMODE（用户模式）、FULLDATABASEMODE（所有数据库模式）。

使用方式既可用交互方式,也可采用命令行方式,以"关键字=值"将所需信息在命令行中逐一描述来进行卸载。

Export要求用户具有CONNECT或DBA特权。

　　Import与Export互逆,将操作系统文件重新装载至Oracle数据库中,使用方式如Export。

使用者要求具有CONNECT和RESOURCE特权,且可选择部分或全部装入。

　　Export/Import非常方便,系统开销小,它的限制是输出的操作系统文件采用专门的压缩方式存放,仅提供给Import使用。

　　也可采用SQL*PLUS和SQL*LOADER实用工具进行备份。

使用SQL*PLUS的SPOOL命令通过脱机定向输出,使用PLUS格式化结果,形成指定格式的ASCII文件,需要时可用SQL*LOADER进行加载。

它的方便之处是ASCII文件可以编辑,可方便地加载至其他数据库（如FoxPro、Sybase中）。

　　2.向前滚动方式

　　Oracle提供向前滚动方式,使建立备份后成功的事务不会丢失。

恢复的基础是数据库的某个一致性状态（即方式1完成的备份恢复）,恢复的依据是存档的重作记录文件。

启动重作记录文件方法如下:

（1）启动Oracle;

（2）连接Oracle:

CONNECTSYSTEM/PASSWORD;

　　（3）启动ARCHIVELOG。

　　出现介质故障时,可用SQL*DBA的RECOVER命令,利用存档的重作记录文件恢复一个或多个表空间。

RECOVER命令对DATABASE或TABLASPACE进行恢复。

前者要求SQL*DBASTARTUP已被排斥方式装载且未被打开;后者对无活跃回退段的表空间执行脱机,要求数据库已装载且被打开。

　　由于向前滚动方式恢复的依据是存档的重作记录文件,因而系统开销大,但恢复的是建立备份以后的成功事务,所以恢复的程度更高、更完备。

第三章备份的分类

简单的按照备份进行的方式，可以分为逻辑备份跟物理备份。

而物理备份又可以分为RMAN（recoverymanage）和UMB（usermanagerbackup）,UMB又可以分为冷备份以及热备份。

（注：

热备份数据库只能在归档模式下）它们的关系如下所示：

逻辑备份——导出（export）/导入（import）

Connecttargetdatabase

备份与恢复

RMANConnectcatalog

Run脚本

物理备份

冷备份

UMB

热备份

两种方式各有优缺点，如下所示：

逻辑备份方式

物理备份方式

冷备份

热备份

优点

灵活，可以跨平台实施备份操作并迁移数据

备份和恢复迅速，容易达到低维护，高安全的效果执行效率高

可以根据日志回滚到上一秒的操作，备份恢复更为精确

缺点

时间长、系统影响大、适用于数量小、业务允许

单独使用时，只能提供到某一时间点上的恢复不能按表按用户恢复而且必须关闭数据库

不灵活，操作不允许失误，否则恢复不能进行

一、逻辑备份方式

Oracle提供的export和import具有三种不同的操作方式即表方式（table）、全库方式（owner）、用户方式（user）。

如下所示：

constraints

Fullrows=no

Exportexpscott/tigerownerindexes

Usertiggers

Fullindex

Importimpscott/tigerownerfromuserfile

Tabletriggerignores

Log

在逻辑备份方式中，还提供了增量导入/导出，但是它必须作为system来完成增量得导入导出，而且只能是对整个数据库进行实施。

增量导出又可以分为三种类别：

完全增量导出、增量型增量导出、累积型增量导出。

完全增量导出：

将把整个数据库文件导出备份；expsystem/managerinctype=completefile=test.dmp

增量型增量导出：

将只备份上次备份后改变的结果：

expsystem/managerinctype=incrementalfile=test.dmp

累积型增量导出：

将是备份自上次完全增量导出后数据库变化的信息：

expsystem/managerinctype=cumulativefile=test.dmp

二、物理备份方式

UMB物理备份方式

1.冷备份步骤：

a.关闭数据库（shutdownnormal）；

b.拷贝相关文件到安全区域（利用操作系统命令拷贝数据库德所有的数据文件、日志文件、控制文件、参数文件、口令文件等，临时文件可以不用拷）；

c.重新启动数据库（startup）；

d.破坏数据库；

e.关闭数据库（shutdown）；

f.拷贝回备份的相关文件；

g..重新启动数据库（startup）;

h.检查。

2.热备份

1.通过视图v$database查看数据库是否在archive模式下；

Selectlog_modefromv$database

或通过查看archiveloglist数据库是否处于archive模式下。

如果不是archive模式则设定数据库运行于归档模式下;

SQL>shutdownimmediate

SQL>startupmount

SQL>alterdatabasearchiivelog

SQL>alterdatabaseopen（注：

要改为归档模式必须以mount模式启动）

如果automaticarchival显示为“enabled”,则数据库