数据库系统课件分布式多媒体数据库管理系统.docx

1、数据库系统课件分布式多媒体数据库管理系统分布式多媒体数据库管理系统达梦号、DM2简介达梦号（DM2）是具有自主版权的分布式多媒体数据库管理系统。96年8月在北京通过了由计算机领域4名院士张效祥、杨芙清、汪成为、李国杰及国内知名的数据库专家组成的鉴定委员会的国家级鉴定，评价为：“在总体设计和技术上处于九十年代国家先进水平”。专家们认为：DM2在若干“技术上有所创新”，在许多功能上“有特色”，并且“经过大数据量及长时间的测试和运行及应用开发证明系统的产品化和实用性已达到了较高程度”。国家在七五、八五期间对DM2的经费支持总数达1500万，DM2的各种原型研制及准产品开发工作量（共12个DBMS原型

2、）为300人年，DM2的直接开发工作量为350人年，文档1500万字，测试经费300万，由国内三家计算机研究所用国际测试中心的SQL符合率测试集及TPC测试集进行测试，结果DM2的SQL符合率达96（目前已达99），其功能及性能均与ORACLE7相当。1997年3月5日在国家科委公开招标中，DM2中标，成为863/CIMS国产DBMS与国产MRP进行捆绑推向产业化的试点单位，目前正在厂矿企业推广使用。DM2已成功用于电力、邮电、公安、防洪、财务、人事、地质、旅游、消防、房地产、交通管理以及军事、安全等多个应用领域，在国内装机量已达600多套，打破了国外软件在中国一统天下的局面，产生了良好的经济

3、和社会效益。、DM2的测试为了确保DM2质量，国家在对该项目立项的同时，又单独立项测试DM2，测试采用国际标准，严格而规范，测试经费达300万。测试工作由国内三家计算机研究所联合完成。测试人员为16人，进行了二年的测试，测试文档200多万字，测试用例1500个。DM2顺利通过了各项测试，这在国内软件研制上是绝无仅有的。对DM2的测试包括：SQL符合性测试SQL符合性测试是用国际软件测试中心的SQL标准符合率测试集进行测试。它对DM2的功能和软件质量保证起到了至关重要的作用。经最终测试，总体上DM2的SQL符合率与ORACLE7.2相当，比ORACLE6的SQL符合率（65）高25。目前DM2的

4、符合率又提高了3，达99。对此感兴趣的请函索有关资料。DM2基准性能测试DM2系统安全性测试DM2的系统安全性测试分C2级安全测试、强制存取控制机制测试和数据库安全嵌入式应用测试三部分进行。DM2分布功能测试经过对DM2的分布功能部分的较为全面的基本测试，表明DM2具备：分布式数据管理与操作功能表数据分布的站点透明性Client/Server分布式处理结构多服务器分布式处理等11项功能DM2的GIS及多媒体工具测试DM2数据库的一个特点是提供了存储和处理地图和多媒体数据（包括图形、图像、声音和变长文字等复杂对象），并提供了地图数据和多媒体数据的采集、入库和检索的多个工具。利用这些工具，用户既可

5、以采集、入库多媒体和地图数据，也可以采用不同的工具开发多媒体和地图应用。DM2主动功能测试DM2数据字典测试、DM2运行环境及界面DM2的运行平台考虑了国内最流行的软硬件平台，使得DM2可以用相同的程序在不同的平台上运行。服务器主机：586/686,Sun,Alpha,曙光操作系统：Unix(AT&TUnix,ScoUnix,Cosix,Unixware),WindowsNT,Solaris网络协议：TCP/IP,IPX/SPX接口：ODBC客户机主机：8086,Sun操作系统：Unix,Windows95,NT语言：C,VC,VB,Ada开发工具：DM2的开发工具，Powerbuilder,

6、Delphi、DM2的技术创新DM2采用的是客户/服务器体系结构，用户对DM2的操作主要在客户端。DM2在客户端提供了多种方式的使用接口。用C,VC,VB,Ada等语言嵌入DM2的SQL语言。用DM2的各种工具操纵DM2服务器中的数据库。用Powerbuilder操纵DM2服务器中的数据库。用Delphi。用Internet网上的各种工具、语言。数据模型采用关系一层次一00混合模型,，使DM2能自然而方便地处理GIS和多媒体等复杂对象的数据;数据类型扩展了GIS和多媒体数据类型共15种;分布而灵活的客户/服务器体系结构,系统扩展方便,提供透明服务,使资源高度共享;数据库，GIS,多媒体三者紧密

7、耦合，应用方便，效率高,能满足多方应用;多线程调度策略,使系统总体效率大大提高;三权分立的安全机制,使系统安全性达到B1级;无竞争读的共享更新策略,大大提高了系统的整体检索效率;私有缓冲区+公共缓冲区+后映象文件的策略简化了故障恢复算法,节省了空间;动态模式修改方便了应用系统的扩展,调整;网格索引技术使系统能方便高效地进行空间检索;Bn树技术,减少了合并与分裂的概率,节省了空间,提高了检索速度;Unix的多媒体扩充使它能支持DM2的多媒体功能;视频会议与DM2的集成,使系统能将远程数据库中的地图、图象、声音、图片等通过网络传送到电视会议的白板上，并可对白板上的内容交互编辑，从而形成CSCW的典

8、型环境。地图的半自动输入识别工具与DM2的集成大大方便了GIS的数据装入。、DM2的功能特色DM2是客户/服务器体系结构的DBMS，支持本地和远程数据处理功能，支持多服务器协同工作，服务器之间及服务器与客户机之间均通过通用网络协议连接。每个服务器可同时为多个客户机服务，客户机的个数可以动态地随机增减；服务器的个数也可以动态地随机增减；客户机与服务器的角色地位可以随机更换，同一台机器既可充当客户机，又可以充当服务器，如果每台计算机都处于这种状态，整个系统就是一个典型的分布式数据库系统。其实在一般情况下，从多个服务器之间的地位(平等、自治、协同)来看，它也是一个典型的分布式系统。此外通过Inter

9、net网可以进行远程访问。DM2服务器具有多线程调度处理功能，支持在一个操作系统进程中并发处理多个用户的服务请求，从而大大节省了OS进程切换所耗去的资源，大大提高了系统的响应速度和整体效率。Unix系统不具备多线程功能，所以DM2在核心层中开发了这一功能，WindowsNT本身具有这一功能，在将DM2从Unix向WindowsNT移植时还须在DM2内核上做一些调整。DM2支持多服务器并行协同工作，为用户提供了透明的分布查询和分布式更新(在多个服务器上进行插入、删除、修改)。用户通过客户机向代理服务器提出服务请求，不必关心他要处理的数据分布在哪些服务器上，代理服务器自动通过全局字典获得数据的分布

10、情况而将整个事务分解为若干子事务，并通过网络启动有关的服务器并执行这些子事务。代理服务器负责查询分解，查询优化，协调各服务器的工作，并将各服务器返回的结果综合为最终结果送给客户机。客户机是不感知的，如同全部数据都集中存放在代理服务器上。DM2的安全机制采用了三权分立的机制，实现了数据库管理员(DBA)，数据库安全员(SSO)，数据库审计员(AUDITOR)三权分立，交叉控制，各负其责。DBA的责任是负责自主存取控制(用户标识，口令，多级授权等)，即SQL89标准的要求；SSO负责强制存取控制，对主客体(用户和数据)分别定义密级，执行时按规定密级执行强制性存取控制；AUDITOR负责审计。从而使

11、DM2达到了B1级安全要求。DM2实现了分布式数据库管理系统的最主要的功能，提供了多种系统实用程序，包括并发控制，死锁检测，备份及故障恢复，数据的装入/御出及系统监控和数据完整性维护。并发控制：对数据字典采用排它封锁机制；对数据库采用了共享更新的封锁机制，提高了系统的检索效率。死锁检测：局部死锁采用了防止死锁的策略；全局死锁检测采用了超时检测法。故障恢复：采用了私有缓冲区+后映象文件+系统缓冲区的策略，算法简单，效果好。系统监控：通过数据字典记录的系统运行状态可随时观察系统运行的情况；通过主动数据库可以定义触发条件及相应的执行程序。数据完整性：可以通过多种机制实现多种数据完整性维护。DM2服务

12、器支持SQL92标准的所有数据类型，支持对图形、图象、声音等数据的管理。DM2支持SQL89标准所定义的所有操作命令，其SQL89符合率达96%(见测试报告及鉴定意见)。DM2支持数据库存储过程，支持本地和远程的数据处理，确保分布式事务应满足的ACID准则，保证正确执行事务。DM2妥善解决了数据库服务器与客户端软件的应用相适配，通过TCP/IP和ODBC及相应的接口软件实现。DM2服务器能与C语言及VB、VC语言接口。DM2提供了层次椆叵禇OO的混合数据模型，可以自然而方便地解决GIS、多媒体应用、CAD、CIMS中许多无法用关系模型解决的问题。在界面上完全以SQL标准访问数据库；在物理上用层

13、次结构组织数据，从而大大提高了效率，方便了应用；在处理思想上吸取了OO的优良思想。DM2扩展了两大数据类型：多媒体与GIS,用户可方便、自然地将常规数据与多媒体数据和GIS数据进行一体化定义、一体化存储、一体化检索和一体化处理。DM2具有支持GIS的许多特殊功能：分层检索、显示；叠加各地图要素；用谓词检查地图中的任意地物的地理信息；用谓词检查地图中的任意地物的拓扑信息；用图查图的空间检索，即用鼠标和触摸屏直接指定范围，查出该范围中包含的所有地物的全部信息，包括：*点检索*线检索*面检索*园检索*条检索*任意封闭曲线围成的范围内地物检索DM2具有主动数据库功能用户可以定义所需的触发条件和触发事件

14、，一旦条件满足时，DM2自动执行触发事件，为系统运行监控，维护数据完整性，防止意外事故提供了有力的支持。DM2允许动态修改模式，即数据库生成以后可以随机地修改模式，包括增删基表、视图，索引等，尤其允许用户修改关系的结构：每次增加一个列(多次可增加多个列)。系统具有无竞争检索的共享更新功能，从而大大提高系统的整体效率。DM2通过私有缓冲区+后映象文件+公有缓冲区巧妙地解决了无竞争读、一次事务中多次读的一致性以及故障恢复等问题。DM2具有空值处理机制。DM2具有地图半自动输入识别功能，可大大缓解地图的输入困难。DM2扩展了Unix的多媒体功能、DM2的性能指标DM2的运行规模与性能与ORACLE7

15、大致相当。系统的客户机数可以达到256。具体性能指标：系统最多允许的用户数：256系统最多允许的文件个数：32767一个文件最多的记录数：231(2034/记录长度)一个记录最多允许的字段个数：逻辑上没有限制,物理上受限于块的大小。一个文件最多允许的索引数：32767(含组合索引)最大关键字长度：2030字节数值数据的数字精度：同C语言。空间利用率：平均85%检索效率：检索一记录的平均时间：运行环境：586，32兆内存，100兆主频，1G外存，UnixV4.2汉化版，TCP/IP，C语言。记录数：50万聚集：15毫秒组合索引：25毫秒唯一索引：20毫秒非唯一索引：40毫秒全文检查：50毫秒无索

16、引扫描：300毫秒检查一幅地图(以1：5万比例尺为例)平均时间：最快：200毫秒平均：400毫秒最慢：600毫秒若加上显示，每一屏再加5秒钟DM2基准性能测试tpc-A的测试值DM2与ORACLE7相同。包括：平均响应时间最小响应时间最大响应时间稳定期内发送事务总数未执行完的事务总数响应时间2秒的事务数90%响应时间点tpC-B的测试值，DM2与ORACLE7接近。包括：平均驻留时间最小驻留时间最大驻留时间稳定期内发送事务总数未执行完的事务数驻留时间2秒的事务数90%驻留时间点、DM2的分布式C/S体系结构DM2系统采用当前最先进的多线程客户/服务器总体模型。系统由多个服务器和多个客户机组成，

17、通过网络连成一体。客户机上运行用户的应用程序和DM2提供的工具。服务器上运行DM2核心系统(DM2-SERVER和DM2-I/O两个后台进程)。它们互相协作来完成客户对数据库的各种请求。在这种结构中，每台服务器亦可兼作客户机，且可带多个联机终端，此时DM2核心系统、用户的应用程序、DM2系统的各种工具等都运行在服务器上。极端情况下，当网络系统中的每台计算机既是服务器又是客户机时，DM2系统就演化为一个典型的分布式数据库管理系统。、DM2的软件组成DM2由核心系统(服务器)、预编译系统、数据库应用开发工具集三大部分组成。分别简介如下：DM2核心系统DM2-SERVER(服务器)，它具有以下功能：

18、分布式数据库管理局部数据库管理地理信息管理多媒体数据管理主动数据库管理DM2-I/O(磁盘I/O处理)DM2核心系统在上面已作了详细介绍，这里不再赘述。SQL语言预编译系统编译型预编译系统编译型预编译负责对嵌入在C语言程序中的SQL语句进行词法分析、语法分析及逻辑查询优化处理，然后将SQL语句变换成消息，用函数调用代替原来的SQL语句，函数中包含有消息通信机构(客户/服务器接口)提供的用来发送消息和接收消息的例程。从而把嵌有SQL语言的C程序变换为纯C语言的程序。经过C编译后，其执行程序就可存取DM2数据库。解释型SQL解释器SQL解释器负责对终端交互式界面、FORM、GRAPH、REPORT

19、等数据库应用开发工具接收的SQL语句进行词法、语法分析及逻辑查询优化处理，将SQL语句解释成消息实体，直接发送给服务器，然后接收服务器处理消息的结果，并分别传送给交互式界面、FORM、GRAPH或REPORT等。数据库应用开发工具集DM2系统提供19个工具。这些工具可分为两类：第一类是一些常用工具(如集成化交互式用户接口(ISQL、MENU、FORM、GRAPH、REPORT等)；第二类是多媒体工具和GIS工具(包括图形、图象、声音及地图工具)。简介如下：*交互式界面DM2-ISQL*数据库结构生成器DM2-DDL*菜单生成器DM2-MENU*屏幕表格工具DM2-FORM*报表工具DM2-RE

20、PORT*图形工具DM2-GRAPH*客户端软件系统的管理工具DM2-PROJECT*DBA管理工具DM2-DBA*出错处理及故障恢复工具DM2-RECOVER*数据库卸出/装入工具DM2-EXPIMP*数据装入工具DM2-LOADER*辅助工具DM2-HELP*多媒体工具DM2-MULTOOL*地图半自动输入识别工具DM2-MIRS*空间检索工具DM2-SPTOOL*特写漫游工具DM2-TOURSPEC*WWW接口开发工具DM2-WEB；*地图的编辑工具DM2-MAPEDITER*地图的显示应用程序接口DM2-DrawAPI、DM2安全管理技术安全技术DM2安全管理技术由自主存取控制、强制存

21、取控制及审计三部份组成。三权分立的安全管理体制DM2在安全管理体制方面与现有的数据库管理系统是不同的。DM2把系统管理员分为数据库管理员DBA，数据库安全管理员SSO，数据库审计员AUDITOR三类。真正做到三权分立，各行其责，相互制约，从而更为可靠地保证数据库的安全性。数据库管理员DBA主要负责数据库的建立、维护和自主存取控制；数据库安全管理员SSO主要行使强制存取控制；数据库审计员AUDITOR主要从事数据库系统的审计活动。安全管理的具体技术措施身份验证自主存取控制在DM2中自主存取控制通过安全授权和检查机制，使客体受到保护，不会被XX的用户存取。自主存取控制包括：系统级权限授予与回收；表

22、级权限授予与回收；行级权限授予与回收；列级权限授予与回收；操作时的安全检查机制。强制存取控制DM2系统采用了多级安全模型，其目的就是防止未被许可的用户访问到具有一定密级的信息。DM2系统中可以定义系统安全级集合，对每个用户、每个基表均可定义一安全级(或叫用户签证和客体敏感度)。当用户存取DM2数据库时，除了必须具有自主存取的权限外，还受到强制存取控制。即必须满足多级安全模型向下读、向上写的原则。“向下读”规定只有当主体安全级中的密级大于或等于客体安全级中的密级，且主体安全级中的范围包含客体安全级中的所有范围时，该主体才能读该客体。“向上写”规定只有当主体安全级中的密级小于或等于客体安全级中的密

23、级，且主体安全级中的所有范围包含于客体安全级的范围时，该主体才能写该客体。数据加密由用户定义加密和解密函数,并可随时更改。审计是DM2的又一安全措施。DM2审计机制能从数据库系统本身、主体和客体三个方面设置审计，记录用户对数据库的操作，保护审计数据免遭修改及XX用户的读取和破坏。DM2的审计功能有效地保护了数据库的安全，一旦出现问题时，审计人员就可对审计事件进行分析，查出原因，分清责任，及时清查出肇事者。DM2故障恢复技术数据库恢复是指DBMS能从各种故障恢复过来的能力。DM2的故障恢复技术由多种实用程序组成，主要包括：转储备份；后映象文件；装入/卸出；事务私有更新区。恢复以事务为单位。DM2

24、对事务的处理有两个特点：更新操作在各自的私有缓冲区进行，在提交前对数据库和系统缓冲区不产生影响，也不被其它事务感知；提交时先写后映象文件AI，再写系统缓冲区和数据库。因此，DM2系统的恢复策略是：预提交成功之前出现的任何事务故障和系统故障(系统仍在运行)只须撤消事务的工作区和事务本身，不必做恢复，此时事务对数据库未造成影响。事务预提交成功之后出现故障，在系统重启动时将自动使用AI文件完成事务对数据库所作的修改。对破坏性故障(如介质、病毒、人为)，系统可利用备份和AI进行恢复。运用装入/卸出工具进行数据保存和恢复。、DM2的地理信息和多媒体信息管理技术地理信息管理技术（GIS）DM2能够直接管理

25、和处理地理信息，实现了地理信息的一体化定义、一体化存贮和一体化管理，其功能非常实用，用户利用系统提供的功能，能够非常方便、高效地建立复杂的地理信息管理系统。目前，一些著名的系统(如ORACLE，SYBASE)都不能直接管理地理信息，这是众所周知的。DM2之所以能够直接管理和处理地理信息，是因为DM2采取了如下一些技术措施：DM2实现的是层次椆叵凳 菽汀 瞬愦魏凸叵凳 菽偷挠诺恪低程峁哪蕉逵镅允枪叵敌偷模 隨QL语言保持一致。存贮模式是层次椆叵敌偷模 喜愎叵?根关系)存贮每幅地图的公共常规信息及地图之间的层次和邻接关系，下层关系存贮每类地物的常规信息及图像信息(地理坐标)。这是DM2实现地理信息

26、一体化定义、一体化存贮和一体化管理的基础。为了方便存贮和管理地理信息，DM2扩充了下列数据类型：下层关系指示类型PICTURE邻接图类型ADJOIN下属图类型SUBMAP地物编号类型SORT地名坐标类型NAMEXY地物坐标类型(变长点集)VARDOT独立地物类型ZONE除了VARDOT类型外，其它类型都是定长的。实现了地物信息的分段存贮，地理信息的分层检索、条件检索及地图的特殊操作(包括漫游、特写、局部放大和叠加)。提出了网格索引技术，并利用网格索引技术实现了地图空间检索。空间检索是通过地图图形检索地物信息。包括：点检索检索指定点的地物及周围地物信息；线检索检索指定线及周围地物信息；面检索检索

27、给定任意曲面内及周围地物的信息；圆检索检索给定圆内及周围地物的信息；条检索检索给定矩形内及周围地物的信息。地图半自动识别输入技术包括：地图扫描及拼接；按颜色分层；地物分类识别及矢量化。多媒体信息管理技术DM2能够直接管理和处理多媒体信息，实现了多媒体信息的一体化定义、一体化存贮和一体化管理，其功能非常实用，用户利用系统提供的功能，能够非常方便、高效地建立复杂的多媒体信息管理系统。目前，一些著名的系统(如ORACLE，SYBASE)都不能直接管理多媒体信息，这是众所周知的。DM2之所以能够直接管理和处理多媒体信息，是因为DM2采取了如下一些技术措施：扩充UNIX操作系统使之具有多媒体功能UNIX

28、操作系统4.2版没有多媒体功能，为了能够支持DM2的多媒体功能，我们扩充了UNIX操作系统，使之具有多媒体功能。为了方便存贮和管理多媒体信息，DM2扩充了下列多媒体数据类型：声音数据类型SOUND图像数据类型IMAGE文本数据类型VARCHARDM2把多媒体数据存放在相应的专用分区中，而在记录(元组)中存放指针。DM2对多媒体类型的数据没有长度限制，只受设备存贮容量的制约。DM2提供了获取多媒体数据的输入工具和表现多媒体的输出工具。、DM2的应用及市场DM2在推出不到两年时间，在社会上已引起了强烈的反响，在全国的装机量已达600多套。在许多行业中已得到良好的应用，如：电力、邮电、旅游、公安、防洪、人事、地质、房地产、商业、银行、交通、办公自动化、安全、高校。同时，DM2在国家科委招标（见第2页）后，指导性地与国产其它软件进行强强联合捆绑式应用推广，如与国产生产企业成熟的MIS系统制造业资源计划MRP，与国产商业自动化管理系统前、后台POS-MIS系统成功地在国内一些企业推广应用，缩短了周期，取得良好的效益。DM2还被国内许多家信息公司，电脑商代理销售，取得了明显的经济、社会效益。以下列举几个典型用户：邮电部武汉精伦电子有限公司1996年1月应用DM2开发了“分布式多用户电话自动计费管理系统”，通过邮电部向全国120个城市的邮电局推广使用，包括黄石、自贡、云南楚雄、