国家图书馆唯一标识符系统设计方案.docx
《国家图书馆唯一标识符系统设计方案.docx》由会员分享，可在线阅读，更多相关《国家图书馆唯一标识符系统设计方案.docx（67页珍藏版）》请在冰豆网上搜索。
国家图书馆唯一标识符系统设计方案
国家图书馆唯一标识符系统设计方案
1设计方案
1.1现状分析及对项目的理解
1.1.1现状分析
中国国家图书馆是综合性研究图书馆，是国家总书库。
国家建立的负责收集和保持本国出版物，担负国家总书库职能的图书馆。
馆藏资源包括图书、期刊、报纸、学位论文、古籍善本、特藏专藏、工具书、年鉴、电子出版物、缩微资料、视听资料。
国家图书馆一般除收藏本国出版物外，还收藏大量外文出版物（包括有关本国的外文书刊），并负责编制国家数目和联合目录。
国家图书馆是一个国家图书事业的推动者，是面向全国的中心图书馆，既是全国的藏书中心、馆际互借中心、国际书刊交换中心，也是全国的书目和图书馆学研究的中心。
履行搜集、加工、存储、研究、利用、总管和传播知识信息的职责。
国家图书馆是全国书目中心、图书馆信息网络中心。
承担着为中央国家领导机关，重点科研、教育、生产单位和社会公众服务的任务。
负责全国图书馆业务辅导，开展图书馆学研究。
1998年开始，中中国国家图书馆开始立项实施“中国数字图书馆工程”。
部分馆藏资料实现数字化，部分数据已面向社会提供服务。
国家图书馆全面入藏国内正式出版物，是世界上入藏中文文献最多的图书馆。
同时重视国内非正式出版物的收藏，是国务院学位委员会指定的博士论文收藏馆，图书馆学专业资料集中收藏地，全国年鉴资料收藏中心，并特辟香港、台湾、澳门地区出版物专室。
国家图书馆的外文书刊购藏始于本世纪20年代，是国内典藏外文书刊最多的图书馆，并大量入藏国际组织和政府出版物，是联合国资料的托存图书馆。
国家图书馆不仅收藏微缩制品、音像制品，还入藏了国内外光盘数据库近百种，电子出版物8000余种。
国家图书馆在搜集、加工、存储、提供和开发文献等方面，已形成了具有中国特色的藏用并重的格局。
国家图书馆重视图书文献的保护工作，采用传统的修整技术和先进的缩微摄影技术，对馆藏要籍和各类珍稀文献进行修复和再生性保护。
中国国家图书馆履行全国书目中心职责，编辑出版国家书目、联合目录和馆藏目录。
国家图书馆编辑全国书刊联合目录始于1927年，1957年以后此项目工作得到全面加强和完善。
1997年10月正式成立全图书馆联合编目中心，在全国范围内组织与管理图书馆计算机联合编目工作，共建网上联合目录，共享书目数据资源和文献资源。
国家图书馆也是国家重要的文化机构，致力于增进与世界各国图书馆界、文化界的交流与合作，不断拓展与世界图书馆合作的新领域；积极参与和举办国际图书馆界双边或多边业务研讨和交流活动，以及国际图联等国际性组织的活动；与美英法俄以及澳大利亚、新加坡、日本、韩国等多个国家开展人员交换、技术交流和资源共享等具有实质性内容的合作；中文成为国际图联大会工作语言，提高了中国图书馆在国际图联的影响力；成功的举办各类国际会议，以及馆藏珍品文献赴外参展，弘扬中华民族优秀文化。
1.1.2对唯一标识符系统项目的理解
数字对象唯一表标识符用来标识对象，是对象在因特网环境下的永久性独有名称，数字对象唯一标识符将跟随对象的整个生命周期。
唯一标识符作为数字对象的名称被嵌入在相关的资源和服务中，通过解析系统的支持，实现数字资源之间的关联和互操作。
唯一标识符系统的应用收到了各国各机构的高度重视，形成了相关标准（DOI）及应用，如Handle系统、CrossRef系统等。
中国国家图书馆从1995年起实施数字图书馆工程，进行数字资源建设，截止2008年底，国家图书馆外购数字资源库136个，其中中文数据库59个，外文数据库77个，全文影像数据超过1亿700万页。
目前国家图书馆自建数字资源，总容量共约为200TB。
随着国家数字图书馆二期建设工程的全面启动，数字资源数量将更加快速的增长，同时对实施国家图书馆数字资源全方位的集成化、网络化服务，实现国家图书馆收藏的物力资源和数字资源、自建资源和外购资源、自有资源和虚拟资源的无缝链接、集成整合服务提出了越来越迫切的要求。
为此，国家数字图书馆与于前期完成了《国家图书馆数字资源唯一标识符规范》。
《国家图书馆数字资源唯一标识符规范》规定了唯一标识符的语法规则，名称分配规则，解析规则，管理规则等方面的内容，规范的制定与规范的实施应用是相辅相成缺一不可的。
《国家图书馆数字资源唯一标识符规范》提出了唯一标示符规范应用和实施的细则。
唯一标识符规范从标识符与唯一标识符的概念出发，阐明了CDOI可以标识的对象。
同时该规范面向中国唯一标识符服务体系的需求，描述了全球唯一标识符服务系统框架，提出了未来国家图书馆唯一标识符服务系统框架。
唯一标识符规范提出了国家图书馆唯一标识符后缀的分配规则，详细阐述了各种复杂的数字对象的唯一标识符分配的原理和方法以及唯一标识符分配与维护管理中需要关注的问题。
唯一标识符的生成、注册与服务是一个系统工程，唯一标识符系统与国家数字图书馆其他系统相互关联，共同构成数字图书馆的服务体系。
因此唯一标识符规范也比较详细的分析唯一标识符系统与国家数字图书馆其他系统的关系，说明唯一标识符服务系统实现方法和实现过程。
在唯一标识符规范中，详细描述了唯一标识符的解析过程。
系统描述了唯一标识符的生成与注册过程，包括用户角色的界定与生成示例。
提出了唯一标识符规范应用对相关各系统的要求，为国家图书馆应用唯一标识符规范提供了流程机制。
国家数字图书馆核心业务系统各模块的功能用以支持国家数字图书馆信息资源的采集、组织、管理及发布。
唯一标识符系统是与核心业务系统配套的重要系统，将在核心业务系统的建设和服务中发挥重要的作用。
唯一标识符系统与核心业务系统的关系如图所示：
唯一标识符系统与核心业务系统相关功能模块之间的关系如下：
1、唯一标示符系统是一个相对独立的系统，独立对外提供访问地址和服务。
2、唯一标识符系统的建设，优先满足核心系统内部各环节对内部唯一标示的要求及解析的需要，又要兼顾外部注册会员管理和服务的需要。
3、在资源采集和资源组织阶段，核心系统都可以进行唯一标识符的注册，唯一标识符一旦生存，则会在核心业务系统的各子系统中统一引用。
不过此时的唯一标识符注册数据中，一般缺少URL等关键属性，需要在资源服务与发布阶段对唯一标识符的URL等注册数据进行修改和补充。
4、检索应用系统（元检索、版权信息管理系统）通过唯一标识符系统挂的解析服务获取数字对象的URL地址。
1.1.3唯一标识符系统项目的建设目标
本项目的目标，是在满足《国家图书馆数字资源唯一标识符规范》的基础上，建立全国公共图书馆领域唯一标识符系统的体系架构，并在此基础上建立国家数字图书馆的数字资源唯一标识符系统，实现全国公共图书馆数字资源唯一标识符的生成（注册）、修改、删除、解析和管理，既为国家数字图书馆核心业务系统的建设和服务提供配套支持，也将为今后数图工程的推广应用打下基础。
基于以上目标，国家图书唯一标识符系统的建设满足以下特点：
1、唯一性。
面对分散、多来源、多类型的元数据数据、对象数据，本系统要能够实现对这些数据的标识，对所标识的数字对象而言，相当于人的身份证，具有唯一性。
这种特性保证了在网络环境下对数字化对象的准确提取，有效地避免重复。
2、开放性。
系统的主要功能应该是一个开放的体系，采用接口的方式，对内对外都能提供有效地服务；支持多样的系统组成和功能形式，能容纳其他的数据体系和服务系统；支持标准的和可自定义的元数据格式和服务系统协议。
3、可扩展性。
系统的体系结构应该是灵活的和可扩展的，能接纳新的元数据、对象数据类型，而不需要大的改动，保证整个服务系统的可伸缩性，能容纳海量数据。
4、系统友好性。
面向用户的唯一标识符系统要有友好的系统界面，而且系统要能与用户的工作系统与环境有好的对接和兼容，唯一标示符系统可以直接自然地应用到用户的计算机工作环境中去，成为用户工作系统的一个组成部分。
5、互操作性。
互操作性是指不同的计算机系统、网络、操作系统和应用程序一起工作并共享信息的能力。
系统要满足各子系统间的交互性，实现唯一标识符信息共享的能力。
6、持久性。
一个数字化对象的唯一标识符一经产生就永久不变，不随其所标识的数字化对象的版权所有者或存储地址等属性的变更而改变。
7、安全性。
满足系统对设备运行安全、网罗安全、数据库安全、附件数据的安全、数据接收过程的安全等多方面的安全性要求。
8、可靠性。
保证系统的平稳健康运行，对并发访问等问题有可靠地处理策略。
1.1.4参考资料
●《国家图书馆二期工程暨国家数字图书馆工程数字图书馆系统部分初步设计》
●《国家图书馆数字资源唯一标识符规范项目研究成果》
●《数字资源唯一标识符管理系统业务需求说明书》（V1.7）
●HandleSystem技术手册（
1.2项目主要需求分析
1.2.1建设唯一标识符系统
本项目的开发过程中，需要建设唯一标识符系统，实现全国公共图书馆数字资源唯一标识符的统一集中管理。
在资源采集系统、资源服务与发布平台系统中，可以通过唯一标识符系统的服务接口进行数据接收。
同时，系统需要实现唯一标识符生成、URL维护、唯一标识符解析、注册数据维护等功能服务。
唯一标识符系统支持分布式部署，可以构成由顶层系统为中心的系统服务网络，实现信息共享。
1.2.2建设后台管理和维护系统
后台管理和维护系统是唯一标识符系统的基础。
需要提供系统的管理功能；提供数据接收的后台支持工具，支持数据处理的模块化灵活扩充；提供完备的日志功能；提供运行过程中各功能模块的运行状态监控功能；提供完备的数据备份还原功能，保证数据的安全性；
本项目的开发过程中，需要实现唯一标识符系统平台管理的开放化建设，为系统对外提供服务提供有效地管理功能，同时要兼具灵活性与扩展性。
2技术实现方案
2.1设计原则
思路
✧项目以标准先行为指导，系统需要遵循现有的元数据标准规范，对象数据的格式和内容标准规范也需要尽快制定和落实，同时还要制定出清晰明确的数据传输数据包描述、质量检验方面的约束，便于整个项目拥有量化可评估的研发和实施目标。
✧项目建设需要基于国土数字图书馆系统的ESB应用支支撑平台，采用J2EE作为企业级系统开发的软件架构，实现开发语言的统一。
✧项目建设需要对国图现有的各个子系统进行整合，各个接口的实现需要遵循SOA的思想，按照WSDL、SOAP、XML等WebService相关规范，实现接口的服务化和接口服务的标准化。
✧项目涉及到大量的、多类型的数据交换问题，数据的传输格式、参数设置还有接口描述，需要采用统一的与技术和平台无关的标记语言。
本系统拟采用XML语言格式。
✧项目方案设计要尽可能减少系统维护人员的工作量，后台的维护管理需要简单易用，便捷高效。
✧项目需要面临大量用户访问及并发问题，所以整个系统各部分都要考虑效率和性能问题，采用切实可行的技术保障整个系统平稳顺畅的工作。
✧项目采用B/S系统结构，其优点是操作不受时空限制、安装维护方便等。
✧项目需要遵照以人为本的原则，充分考虑系统的易用性，客户端采用WINDOWS操作系统，做到界面友好、操作方便。
✧项目采用面向对象的开发与设计理念。
运用面向对象技术的前提是对整体系统的高度和准确抽象，通过它可以保证系统良好的框架，进而带来产品较强的稳定性和运行效率。
✧项目采用模块化设计。
模块化设计要求将整个系统划分成基于小的模块，而模块间通过既定的接口进行数据的交换。
模块化的优点在于其灵活性较好，也便于业务系统的扩展。
✧项目采用集中分布式架构，能够兼顾集中式和分布式的优点，做到分布部署，集中与分散管理相结合。
✧遵循国际、国家标准和规范，提高系统的利用价值。
✧关键系统模块支持多种安全保护机制，避免因特定原因造成系统的崩溃。
✧提供数据安全备份方案，实现数据的安全存储。
可用性
✧系统可在多种操作系统中部署，有跨平台能力。
✧系统具备7×24小时不间断无故障提供服务的能力。
✧系统对注册数据条目的支持应达到亿级。
✧唯一标识符生成并发处理能力不低于200个/秒，唯一标识符解析并发处理能力不低于1000次/秒。
可扩展性
✧系统平台应具有开放标准的接口、API或通信协议。
✧系统功能扩充或数据类型增加时应不影响现有系统功能和结构。
✧系统建设要求能够保护投资，当系统数据量和访问量增大而导致系统配置不能满足要求时，可以通过仅增加服务器等硬件进行解决，而不是在软件上做修改。
响应性能
✧从提交单条注册数据到唯一标识符生成系统平均反应时间最多不超过1秒，从发出解析请求到获得解析URL系统平均反应时间最多不得超过1秒。
对于千万数量级的检索响应时间不超过3秒。
容错性
✧系统应能及时检测并提示由于网络故障、操作失误、程序错误等原因造成的操作异常中断。
✧系统应能及时检测出与外部连接过程中出现的异常中断，并能采取有效措施进行断点连接，保证断点前后数据的连贯性，保证整个数据的完整性和准确性。
✧由于系统采用功能模块化部署，为了保障系统能平稳运行，功能模块之间需要存在一定的容错机制，从而保证不会出现某个模块出现故障时，其他相关模块因无法获取相关数据而导致崩溃。
可恢复性
✧主系统提供安全、可靠的数据备份、恢复机制。
✧应用系统恢复和数据库恢复在24小时内，不丢失数据。
✧如果硬件损坏，应提供应急和替代方案。
隔离性
✧系统不能影响各单位现有系统和设备的正常运行。
安全性
✧系统的整体设计、平台选择以及应用程序的质量是系统安全、稳定、可靠的运行前提，同时也是数字文献的知识产权的根本保护屏障。
严格的管理制度也是系统安全的重要保证，系统后台管理需严格遵守用户分层管理及权限控制。
✧设备运行的安全性：
确保设备运行安全，针对设备可能出现的问题，尽可能全面的做好备份，有条件则做多点的部署，对于系统出现软硬件故障之后，马上可以做应用切换，不影响使用者的使用，同时进行故障诊断和修复。
✧网络的安全性：
通过合理的网络设计、利用防火墙等技术实现网络安全性。
✧数据库的安全性：
数据库安全包含两层含义：
第一层是指系统运行安全，系统运行安全通常受到的威胁如下，一些网络不法分子通过网络，局域网等途径通过入侵电脑使系统无法正常启动，或超负荷让机子运行大量算法，并关闭cpu风扇，使cpu过热烧坏等破坏性活动；第二层是指系统信息安全，系统安全通常受到的威胁如下，黑客对数据库入侵，并盗取想要的资料。
✧数据的安全性。
✧操作系统及支持软件的安全性（必须进行安全配置）。
✧应用的安全性。
易用性
✧快速部署：
系统可以在最短的时间里，进行应用结构和功能的定义、设计和实现。
✧零客户端维护：
除了特殊的、必须的应用外，整个系统平台及其子系统都采用B/S结构进行系统和数据维护，用户只需要通过浏览器就可以完成全部操作。
✧操作简便：
系统设计师，尽可能遵循简单实用的原则，做到对操作人员、使用人员最低的技术技术门槛要求，简单培训即可进行操作。
✧易于维护：
应用系统能易于管理员维护。
2.2系统建设标准及规范
计算机标准
✧《计算机软件工程规范国家标准》
✧《计算机开放系统互连国家标准》
✧《软件产品测评标准》
✧《计算机软件开发规范》
✧《信息系统安全技术国家标准》
✧《计算机图形国家标准》
✧《微型计算机通用规范》
✧《计算机信息系统安全保护等级划分准则》
元数据格式标准：
✧WH/T0503-1996中国机读目录格式
✧MARC21
✧ISO15836-2003Informationanddocumentation-TheDublinCoremetadataelementset（都柏林核心元数据元素集）
✧《国家图书馆元数据系列规范》
✧MODS（MetadataObjectDescriptionStandard）
✧MADS（MetadataAuthorityDescriptionStandard）
✧ISO/DIS25577Informationanddocumentation–MarcXchange。
其他标准：
✧《国家图书馆数字资源唯一标识符规范》
✧DOI标准
2.3软件架构设计
2.3.1业务流程
●唯一标识符系统接收文献数字化系统、外购数字资源、网络缴送系统、免费推送系统以及互联网采集等数据来源系统提交的注册数据，按照规则生成唯一标识符，并将唯一标识符返回给相应数据来源系统。
唯一标识符系统的URL地址由资源发布系统进行添加修改。
唯一标识符系统接收用户请求对唯一标识符进行解析，并将解析结果反馈给用户。
唯一标识符系统管理员可对系统进行管理维护。
主要业务流程如图所示：
业务流程图（应用架构）
业务流程图（实现架构）
2.3.2功能架构
唯一标识符系统分为两大子系统：
●唯一标识符管理子系统
唯一标识符管理子系统主要包含五个模块：
唯一标识符生成模块、URL维护模块、唯一标识符解析模块、注册数据维护模块和唯一标识符服务接口集；
●后台管理与维护子系统
为唯一标识符系统服务提供应用和策略支撑，包括八个模块：
系统配置、系统监控、用户管理、唯一标识符维护、数据库备份与还原、数据库导出、日志管理、统计管理。
功能架构图
2.3.3技术架构
系统采用四层架构
●数据层：
整个系统的最底层，由网络及硬件平台、操作系统、关系数据库、文档库、索引库等部分组成，作为系统底层数据的存储平台。
●数据管理层：
数据管理层是针对底层数据的管理和服务层，本身与业务逻辑无关，为上层对于数据的访问提供服务。
●业务逻辑层：
是对系统业务的实现，通过数据管理层完成对底层数据的操作，实现业务功能，为应用层提供服务。
●应用层：
为面向用户的应用界面及接口服务，包括Web应用程序，管理工具/服务，应用服务接口API。
另外，在本系统中，SOA架构可扩展机制、数字版权保护、安全机制和通信机制是贯穿四层的。
技术架构图
针对本系统实际情况，对技术架构做进一步的细分。
●数据层：
数据层包含数据存储、数据管理及数据备份三部分。
●数据管理层：
分为唯一标识符系统核心，搜索引擎/服务两大部分，其中，全文检索搜索引擎/服务为全文检索系统提供；版权信息内容管理核心包含数据管理、分类管理、存储管理和日志管理几个部分。
●业务逻辑层：
业务逻辑层分为版权信息登记、授权信息及版权合同管理、结算信息管理、版权信息查询、版权信息统计、版权信息库管理、版权信息数据管理、日志与统计管理、系统管理、用户管理、运行管理、导航与检索等几个模块，每个模块中又包含一系列的功能。
●应用层：
本系统应用层细分为唯一标识符前端应用，唯一标识符应用服务接口集等两个部分。
技术架构图
2.4数据库概要模型设计
2.4.1组成结构
●基础数据库
基础数据库提供基础数据服务，主要包括公共代码、各类基础代码等。
●业务数据库
业务数据库提供业务数据服务，由业务系统的相关数据库构成。
●用户数据库
用户数据库由国家图书馆相关人员、系统管理员、各类其他用户构成。
●配置管理数据库
配置管理数据库是为系统提供基础的设施支持以及权限管理数据支持的数据库。
2.4.2数据库模型设计
注册信息接收时，提交的信息由提交信息表来存储,提交的数据本身由提交后数据信息表来保持,提交数据经过处理后,保存到转换后数据信息表中,再通过入库服务进入服务相关的数据表中。
服务相关数据表中，元数据信息表负责存储不同的元数据类型，每一个元数据类型的相关属性在元数据字段表中保存；唯一标识符基础信息库信息表中记录系统中所有的唯一标识符基础信息库信息；关联的对象数据信息，保存到对象数据管理信息表中，并与存储路径表关联；
2.4.3数据表设计
2.4.3.1DB_Cdoi_Obj
表名
DB_CDOI_OBJ
说明
唯一标识符对象数据表
序号
字段名
说明
数据类型
主外键
为空
缺省值
约束
1.
CDOID
唯一标识符编号
int
PK
NotNull
C1
2.
TypeID
唯一标识符类型
int
FK
NotNull
C2
3.
IDWord
识别字
nvarchar（256）
Null
4.
Title
标题
nvarchar（256）
Null
‘’
5.
Type
数字资源的结构类型
nvarchar（256）
NotNull
‘’
6.
Organization
机构
nvarchar（128）
Null
C4
7.
SNMP
主代理
nvarchar（128）
NotNull
8.
Role
代理角色
int
NotNUll
2.4.3.2DB_UserInfo
表名
DB_UserInfo
说明
用户信息管理表
序号
字段名
说明
数据类型
主外键
为空
缺省值
约束
1.
ID
编号，自动增长
int
PK
NotNull
C1
2.
UserID
用户名
nvarchar（256）
FK
NotNull
C2
3.
PassWord
密码
nvarchar（256）
Null
‘’
4.
Name
名称
int
Null
0
C4
5.
Organization
所属机关
nvarchar（256）
Null
6.
Securitenum
身份证
nvarchar（96）
Null
7.
Address
地址
nvarchar（256）
NUll
8.
Zip
邮编
smallint
NUll
9.
Phone
电话
nvarchar（96）
Null
‘’
C6
10.
Mail
邮箱
nvarchar（96）
Null
C7
11.
Fax
传真
smallint
NotNull
C9
12.
Date
注册日期
datetime
NotNull
约束的详细说明
约束编号
约束详细描述
C1
程序设计说明
编号
设计说明
2.4.3.3DB_Prefix
表名
DB_Prefix
说明
前缀解析器相关表
序号
字段名
说明
数据类型
主外键
为空
缺省值
约束
1.
CdoiPrefix
命名机构
nvarchar（256）
PK
NotNull
C1
2.
IP
前缀解析器ip
nvarchar（256）
NotNull
C2
3.
Port
前缀解析器port
nvarchar（256）
Null
‘’
4.
Dns
Dns
nvarchar（256）
NUll
5.
Business
公司
text
Null
‘’
C6
6.
Telephone
电话
nvarchar（256）
NotNull
C9
7.
Email
邮箱
nvarchar（256）
Null
‘’
8.
CreateDate
创建日期
datetime
Null
‘’
9.
Des
描述
text
Null
‘’
约束的详细说明
约束编号
约束
升级会员 