电子文件资料架构及部署模式.docx
《电子文件资料架构及部署模式.docx》由会员分享，可在线阅读，更多相关《电子文件资料架构及部署模式.docx（25页珍藏版）》请在冰豆网上搜索。
电子文件资料架构及部署模式
电子文件架构及部署模式
1.概述
1.1电子文件管理系统主要功能
实现电子文件的自动捕获、格式转换、数据封装、统一存储、统一利用等基础服务，实现电子文件的捕获登记、分类、案卷整理、保管期限鉴定、移交、销毁、续存、利用、统计、审计跟踪等功能。
构建电子文件安全体系，实现电子文件的安全控制，包括在线安全利用和离线安全利用，其中离线安全利用可采用数字水印、加密下载等技术达到防扩散和防篡改的目的。
根据国家标准对电子文件长期保存的功能要求，改造现有的档案管理系统的电子文件归档接口、元数据基础，建立长期保存系统，实现电子文件的统一封装，满足电子文件多版本、多格式的管理要求。
1.2业务系统适应性与集成
根据试点接入的ERP、生产管理、营销业务应用、基建信息管理、省调运行管理、协同办公、科技项目管理、经济法律等业务系统的管控范围和管控要求，由业务系统开发商进行适应性改造，并根据统一的接入规范接入电子文件管理系统。
2.系统定位以及总体架构设计
系统总体架构设计根据国家电网公司信息化建设的整体要求，结合现有的非结构化数据管理平台、档案管理系统，遵遁模块化、松耦合的设计原则，通过服务支持平台，保证了每个子系统之间的最大的独立性，在系统内部，通过消息服务平台进行子系统内交流，实现子系统之间松耦合的联系。
系统总体架构设计遵循《国家电网公司信息化架构管理办法》，符合公司战略和业务、技术发展趋势，严格遵从总体架构管控的要求，并结合公司电子文件管理的业务需求，来实现系统架构设计的标准规范、科学创新。
2.1电子文件管理系统定位
依据待发布的国家标准《电子文件管理系统通用功能要求》，贯穿于电子文件整个生命周期中的系统包括三类：
即业务系统、电子文件管理系统和电子文件长期保存系统。
1.业务系统用来支持单位业务工作的开展并形成电子文件，如ERP、生产、营销、协同办公、基建管控系统等；
2.电子文件管理系统负责从各业务系统中捕获电子文件，维护文件之间、文件和业务之间的各种关联，支持查询利用，并以有序的、系统的、可审计的方式进行处置；
3.电子文件长期保存系统负责以正确的和长期有效的方式维护电子文件并提供利用，主要指的是协同办公档案管理模块和公司档案馆管理系统。
业务系统、电子文件管理系统、电子文件长期保存系统等三类系统之间的关系如下图所示:
（1）非结构化数据管理平台：
定位于集中存储公司所有业务系统的非结构化数据，是四大数据中心之一，提供平台级的公共服务，管理的是数据。
（2）电子文件管理系统：
定位于公司内部电子文件的集中管理，借鉴实体档案管理的分类整编体系对电子文件进行管理，电子文件管理关注电子文件内容的真实完整，电子文件管理需要捕获非结构化的数据、结构化的报表数据、空间地理信息的电子地图等，按要求转成符合国家标准的非结构化数据格式进行封装存储，电子文件没有实体，要求能够长期保存。
（3）档案管理模块及档案馆信息系统：
定位于按照国家相关制度实现对实体档案和对应的电子档案信息进行管理，同时提供查询、借阅等利用服务，档案的电子原文存入非结构化数据管理平台。
除电子文件管理系统为本次工程新建系统外，其余系统均在SG186工程中建设完成。
其中，非结构化数据管理平台是其它三个业务系统的支撑平台，是实现公司电子文件全生命周期管理的重要技术措施，当业务系统形成和产生数据时，便存储于该平台中，为电子文件的实时捕获创造了条件；电子文件管理系统是本项目核心系统，通过与非结构化数据管理平台的集成来实现与业务系统及档案管理系统的集成，从而实现电子文件从产生到销毁全过程的管理。
2.2总体架构设计
按照“统一管理、全程管理、规范标准、便于利用和安全保密”五丧基本原则，依据公司企业架构体系（SG-EA）管控的相关觃定，完成电子文件管理业务架构、应用架构、数据架构及技术架构设计。
2.2.1业务架构
1.业务战略
以公司电子文件管理制度、公司电子文件标准规范为统一管理制度实行统筹规划，建立电子文件从形成、办理、传输、保存、利用、销毁全过程管理，实现电子文件统一管理、共享利用。
国家电网公司电子文件管理业务战略模型如下图所示:
国家电网公司电子文件管理业务战略模型图
在电子文件形成阶段，覆盖了国家电网公司“三集五大”各业务系统，通过将文件管控点嵌入各业务系统中，对电子文件进行自动捕获进入新建的电子文件管理系统，从而可以实现电子文件全过程管控；在电子文件管理阶段，通过电子文件管理系统对电子文件进行捕获登记、分类组织、鉴定处置、存储保管、统计管理、检索利用等业务管理，同时直接提供各业务系统对电子文件的利用手段（信息推送）；对于需要进行长期永久保存的电子文件，移交进入国家电网公司已建设好的档案管理系统，该部分数据按照档案管理要求进行管理。
2.业务能力
（1）电子文件前端控制、全程管理能力
目前国家电网公司现有业务系统中形成管控的电子文件分为二种类型，一种是以非结构化形式直接存在的，由各业务部门日常办理业务过程中产生的，直接保存在各业务系统中;一种是以结构化数据存在于各业务系统中，由业务系统在特定的业务节点进行体现（表单、统计报表等），此部分电子文件需要转换为非结构化形式的电子文件。
各业务系统需要根据管控范围和管控要求，在对应的管控点将电子文件及元数据信息推送到电子文件管理系统中，实现电子文件的前端控制。
（2）电子文件统一管理能力
对各业务系统推送过来的电子文件，由电子文件主管业务部门进行统一管理，主要包括以下内容：
信息著录：
对缺少的元数据内容进行人工著录;
业务管理：
对符合元数据规范的电子文件信息，系统提供自动分类、自动鉴定，帮助业务人员进行整理，业务人员根据相关的管理要求进行组卷、复合文件的操作，并根据对应的归档范围进行归档，归入档案管理系统进行保存，并进行移交、销毁、续存等业务管理；
检索利用：
整理好的电子文件可以供各业务部门、其他单位人员等进行检索利用；
统计分析：
主管业务人员可以对利用情况、电子文件收集、存储等情况进行统计和分析。
（3）电子文件格式规范、长期保存能力
电子文件经过电子文件主管业务部门鉴定后，对需要进行长期保存的电子文件归入档案管理系统，电子文件信息归入档案管理系统后，主管业务人员按照实体档案的管理办法进行装盒、组卷、编号等操作，并对现存资源进行编研、实体借阅等利用，根据对应的保管期限情况进行鉴定销毁。
（4）电子文件安全保管能力
按照国家有关法律法规和规范标准的要求，采取有效技术手段和管理措施，确保电子文件信息安全。
3.用户组织
按照系统中所承担职责和使用功能的不同，用户角色主要分为系统管理员、高级管理员、电子文件管理员、部门电子文件管理员、利用者、赋权人等六种角色，具体角色分工如下：
序号
角色名称
角色职责
备注
1001
系统管理员
主要完成系统的设置和维护，但对电子文件管理系统中的具体数据应无权进行访问。
一般是信息维护人员。
1002
高级管理员
管理规范的制定者，根据各单位对电子文件规范制度如元数据规范、电子文件鉴定处置方案等，完成对所有单位电子文件管理系统的设置工作。
1003
电子文件管理员
通过系统完成本单位电子文件管理工作。
如果其所在单位有下级机构，可查看到下级单位的电子文件管理工作情况等。
一般是各单位设定电子文件管理员。
1004
部门电子文件管理员
负责本部门所管控的电子文件的收集、分类组织和鉴定处置等工作。
一般是负责本部门管控范围内的文件整理的责任人。
1005
利用者
普通的电子文件利用者，进行电子文件信息的查询利用。
单位所有人员
1006
赋权人
除了具有普通利用者的权限外，还具有对各电子文件进行审批的权限。
一般是各部门（单位）的领导。
4.业务流程
电子文件整理的业务流程如下:
（1）各业务部门在办理日常业务的过程中在业务系统形成电子文件。
（2）捕获服务获取对应的电子文件和元数据信息。
（3）业务人员对捕获过来的电子文件和元数据信息进行登记、人工著录。
（4）业务人员进行分类整理。
（5）对整理好的数据进行鉴定处置。
（6）对利用情况、存储等进行统计管理。
（7）对保管到期的文件进行销毁。
（8）对需要长期保存的电子文件，归入到档案管理系统进行管理。
5.业务管控
（1）内容管控
主要是对电子文件的管控范围、元数据规范、管理规范等进行管控。
（2）管控范围
确定各业务部门、业务系统的电子文件管控范围，并能随时根据业务的变化制定对应的捕获规则。
（3）元数据规范
确定各类型电子文件、业务类电子文件的元数据规范，并能灵活根据国家和公司相关标准进行调整。
（4）管理规范
制定本公司相关的电子文件管理规范。
6.管理相关业务
业务部门日常进行电子文件管理的业务如图所示：
根据电子文件管理的要求，将电子文件管理业务划分为文件收集、文件整理、鉴定处置、开发利用等日常业务。
（1）文件收集
是电子文件管理的基础工作。
收集各业务部门日常办理业务中产生的电子文件信息，并根据各业务部门的特点，制定对应的业务元数据规范。
提供各业务系统电子文件的自动捕获，并对捕获过来的数据进行展示和自动分类，实现电子文件的自动收集，提高电子文件的收集效率。
（2）文件整理
对自动捕获过来的电子文件，首先根据元数据规范要求进行数据检查，对不符合规范的数据进行人工著录，并由系统进行自动分类和自动鉴定，并由业务人员进行检查整理，根据电子文件的相关管理要求，进行组卷、复合文件设置等管理，并打印相关的目录。
实现电子文件信息的智能化整理工作提升电子文件整理效率。
（3）鉴定处置
是电子文件管理的核心业务，针对分类整理好的数据进行自动鉴定，并针对不同的电子文件，鉴定后进行归档、移交、销毁、续存等日常处理业务。
实现电子文件的自动鉴定、归档，提高电子文件自动管理的效率。
（4）开发利用
提供对整理好的电子文件的检索利用、开发、统计分析，利用过程要对电子档案在查询和借阅时的控制，控制有浏览权限的人是否能复制、打印、摘录、传播，从而保证敏感信息不被泄漏。
实现对电子文件信息的深度挖掘，发挥电子文件资源的辅助决策作用，并实现多维度的统计分析可以有效的提升电子文件的利用水平。
2.2.2应用架构
电子文件管理系统需要针对电子文件的形成办理捕获、日常管理、长期保存进行管理，同时为全体业务部门提供电子文件的利用。
图：
应用架构图
应用功能：
1.日常管理及应用包括捕获登记、分类整理、鉴定处置、统计管理、检索利用等功能：
（1）捕获登记：
通过捕获服务将各业务系统活动过程中生成或接收到的文档作为文件与其元数据进行捕获，并可以进行人工著录和补录,分配给文件唯一标识符，并能针对各个业务系统的电子文件信息进行统计。
（2）分类整理：
登记好的电子文件信息，首先由系统进行自动分类，并可由业务人员进行检查修改；并可以进行分类、组卷、调整等操作，保证电子文件的元数据的完整，以利于电子文件保存、检索、使用和处置。
（3）检索利用：
整理好的电子文件信息可以根据基础设置的权限信息提供检索利用，针对案卷、文件及其元数据、全文信息等多种层面进行检索，并提供如普通检索、全文检索、组合检索、卡片检索各种检索方式和检索入口,满足不同用户需求。
（4）鉴定处置：
对整理好的电子文件信息，给定保管期限等对应信息，根据时间（如保管期限到期）或特定事件自动触发或手动启动对应的流程，对电子文件进行移交、销毁、续存等操作。
（5）统计管理：
统计工作是电子文件管理的基本业务功能，统计管理对电子文件的总量、分类整理、检索利用等统计指标进行统计查询和结果分析，并提供各种图形化展示工具和导出功能。
提供周期性报表、如日报、周报、月报、季报、年报，并允许用户对报表进行审核、上报、汇总。
2.基础服务包括格式转换服务、文档安全服务、捕获服务、检索服务、统一浏览服务、统一存储服务等功能：
（1）格式转换服务：
通过对文件的格式转换实现文件格式与计算机的软硬件无关，利于电子文件长期保存、交换和利用。
（2）文档安全服务：
建立文件存储安全及文件利用的安全。
（3）捕获服务：
提供对各业务系统捕获到电子文件管理的服务，在捕获过程中需对各捕获的电子文件进行验证。
（4）检索服务：
提供电子文件的检索。
（5）统一浏览服务：
提供对电子文件的在线浏览、在线播放等服务。
（6）统一存储服务：
实现对电子文件的海量存储。
3.基础设置包括
（1）管理配制：
将对应的电子文件分类方案、电子文件类型、元数据规范、保管期限等进行统一的设置。
（2）系统管理：
根据使用系统的用户角色简单灵活的定制前台界面，灵活的分配利用者数据权限。
提供系统使用日志审计保证系统日常使用的安全。
实现对系统用户和资源的管理、系统功能的配置、操作权限的分配，在确保文件可用的同时不泄露敏感信息，同时对系统运行的各方面表现进行监控并做出报告。
（3）数字化文件管理：
对数字化文件提供与原生电子文件基本等同的管理功能，包括集成扫描功能、图像文件处理、OCR识别功能、条形码识别功能、批量导入、元数据编制。
（4）离线利用：
用户在其权限允许的范围内进行离线使用，使用包括查询、元数据浏览、电子文件浏览等操作，使用过程需要通过利用审核流程，并记录日志。
（5）全文检索引擎：
支持对电子文件管理中的文件内容进行检索。
（6）性能监控：
支持对系统运行过程中的性能进行监控，辅助管理员及时了解系统运行情况。
2.2.3数据架构
电子文件管理系统数据分为非结构化数据和结构化数据，非结构化数据包括电子文件内数据如多媒体数据和文件数据等，结构化数据包括电子文件元数据、系统配置数据、统计分析数据、业务流程数据等。
图：
数据架构图
1.数据对象
电子文件管理系统可将对象划分电子文件对象、案卷、分类、业务分类等，其相互关系如下图：
对象模型
2.数据分布
电子文件进入管控之前，分布在各个业务系统中；捕获登记后，电子文件存储于非结构化数据管理平台；系统从非结构化数据管理平台提取数据后，进入电子文件管理系统数据库。
图：
数据分布
根据上图可以看到，各个业务系统的需要管控的非结构化和结构化数据首先
存储在非结构化数据管理平台中。
电子文件管理系统、档案管理系统对应的非结构化数据也存储在非结构化数据管理平台。
电子文件管理系统的数据分布来源主要分为三个方面:
（1）各业务系统归档的电子文件信息。
（2）电子文件管理系统自身所产生的业务数据信息。
（3）根据归档要求，电子文件管理系统向档案管理系统进行归档的电子文件信息。
3.数据流转
系统间流转：
电子文件的数据流转主要在三个节点进行流转，对应的流转如图所示：
图：
电子文件流转
主要的流转节点如下：
（1）业务系统:
电子文件的初步形成。
（2）电子文件管理系统：
对捕获的电子文件进行整理、鉴定，并对有归档价值的进行归档。
（3）档案管理系统：
针对归档的电子文件信息进行管理，对应的数据存储在档案管理系统自身的数据库。
系统内流转：
电子文件系统内的流转如图所示：
图：
电子文件数据内部流转
（1）捕获:
从业务系统捕获电子文件，产生电子文件基本信息和元数据。
（2）著录：
对元数据基本信息进行著录。
（3）分类：
对元数据进行分类，产生分类元数据和日志。
（4）鉴定：
对元数据和电子文件进行鉴定，产生鉴定日志。
（5）利用:
对元数据和电子文件进行利用，产生对应的利用日志。
4.数据存储
电子文件管理系统依托于非结构化数据管理平台之上进行开发，因此数据存储需要结合非结构化数据管理平台的特性和数据的需求，采用电子文件统一存储、元数据单独管理的管理方式，将电子文件的基础信息和电子文件存储在非结构化数据管理平台中，电子文件管理系统存储设置信息、元数据、文件处置、流程、销毁等全生命周期内的数据。
电子文件管理数据库分元数据数据库、基础设置数据库、管理信息数据库。
其中元数据数据库主要存储电子文件的基本信息、基本元数据、业务元数据等。
基础设置数据库主要是电子文件管理系统本身进行的基础设置信息，包括元数据定义信息、单位信息等。
管理信息数据库主要是用于存储电子文件管理的业务数据，包括分类、鉴定、利用日志等信息。
国家电网公司电子文件数据存储模型如图所示：
图：
数据存储模型
系统采用一级部署的模式，因此在公司总部统一进行基础设置,并存储对应的管理信息和元数据。
3.技术架构
电子文件管理系统总体技术路线采用“WEB/中间件/服务器”的J2EE技术架构来实现。
技术架构图如下：
总体技术架构图
架构要点
架构选择
技术路线选型
系统基于SOA体系架构，采用J2EE多层软件体系，总体符合J2EE技术规范。
部署模式
电子文件管理系统按照一级部署模式实现，电子文件内容存储跟随非结构化数据集中管理平台部署模式。
中间件
WebLogic9.2及以上
开发平台
国家电网公司统一开发平台（SG-UAP）
数据库
系统数据库采用oracle11gRAC
电子文件存储
非结构化数据管理平台
3.1J2EE多层软件体系结构
图：
软件体系结构
按照SG-ERP整体架构要求，电子文件管理系统中的Web应用部分基于Sotower平台开发，采用多层软件结构，通过Web表示层实现应用系统的用户接口，采用业务逻辑层和数据处理层实现基础服务和应用系统的业务逻辑，通过数据存储层实现数据的集中存储和数据结构的统一。
Web应用系统通过以XML作为数据接口标准，以WebService标准作为基础服务描述标准和数据接口标准。
公共服务部分主要使用WebService的方式提供，WebService通过标准的Web协议向Web用户提供功能，多数情况下采用SOAP协议。
3.1.1系统集成架构
为适应业务系统和电子文件管控范围的变化，采用由各业务系统建立单独的集成服务来实现与电子文件管理系统的集成，与业务进行分离，不影响业务系统的正常使用和运行。
集成服务从业务系统捕获电子文件的元数据信息及文档，经过对结构化数据的转换、元数据的封装等处理后，调用非结构化数据管理平台提供的电子文件集成接口将电子文件的相关信息推送到电子文件管理系统。
图：
总体集成架构图
1.统一目录集成
按照国网公司信息化规划及技术要求，以及考虑到未来信息综合平台的构建趋向于SOA的体系结构这一规划，电子文件系统通过与统一用户的集成提供从门户系统用户统一的登入入口，具体与统一用户集成方式如下图。
图:
电子文件系统与统一目录集成
2.业务系统集成
电子文件管理系统基于非结构化数据管理平台开发，因此各业务系统统一与非结构化数据管理平台接入集成，由非结构化数据管理平台将数据推送至电子文件管理系统。
电子文件管理系统与其他系统的集成交互应采用webservice的体系结构，电子文件管理系统基于SOA架构可以实现与其它系统的“和谐”集成。
例如，电子文件管理系统为其他系统提供“电子文件归档接口”、“电子文件利用接口”等webservice服务。
如下图：
图:
规范接口示意图
电子文件管理系统是基于非结构化平台开发，电子文件管理系统的所有电子文件都存储在非结构化平台中，而元数据信息存储在独立的元数据库中。
图:
接口调用和数据处理示意图
（1）业务系统按照电子文件元数据封装规范封装元数据、文档和接口调用描述信息。
（2）调用电子文件管理系统集成接口向电子文件管理系统进行数据推送。
（3）电子文件管理系统集成接口对业务系统的身份认证信息进行验证。
（4）业务系统身份认证通过后，把实体电子文件存入非结构化平台，非结构化平台返回文档存储后平台为其生成的文档ID。
（5）电子文件管理系统集成接口对电子文件元数据进行校验，校验通过后将电子文件元数据信息存入元数据库中。
（6）返回集成接口调用结果。
如果集成接口对数据处理成功，则返回成功信息和存储文档的ID、电子文件的ID到业务系统；如果集成接口在处理数据过程发生错误，则将失败的信息返回到业务系统。
3.1.1.1业务系统集成关系
1.电子文件管理系统基于非结构化数据管理平台，电子文件管理系统的集成接口由非结构化数据管理平台提供；
2.电子文件的文档存储在非结构化数据管理平台中，元数据信息存储在公司总部部署的元数据信息库中；
3.业务系统与其所属部署区的非结构化数据管理平台进行横向集成，实现电子文件信息的捕获；
4.非结构化数据管理平台之间纵向数据交换集成，实现电子文件元数据信息从省公司非结构化数据管理平台到公司总部非结构化数据管理平台的纵向交换，最终存储到公司总部部署的元数据信息库中。
3.1.2系统部署架构
1.部署模式
电子文件管理系统按照一级部署模式实现，电子文件内容存储跟随非结构化数据集中管理平台部署模式。
电子文件管理系统基于非结构化数据管理平台进行研发，对应的电子文件存储、系统接入由非结构化数据管理平台完成，因此电子文件管理系统的部署模式和非结构化数据管理平台的部署相关。
现有的非结构化数据管理平台只在试点单位进行了部署，采用了二级部署的模式。
电子文件管理系统的基础应用采用一级部署，非结构化数据存储和业务系统接入采用现有试点单位的非结构化数据管理平台（二级部署），并采用合理的设计模式实现非结构化数据管理平台的部署无关性，即非结构化数据管理平台满足或实现一级部署时，电子文件管理系统无需进行改造开发即实现一级部署。
根据公司信通部的要求，此次电子文件管理试点工程在总部对电子文件管理系统一级部署，非结构化存储将跟随非结构化平台部署方式。
部署架构概念图
2.主要设备用途说明
（1）文件格式转换服务器
据对待发布标准《文书类电子文件长期保存格式规范》、《文书类版式文档格式规范》的解读，其主要解决了归档的文书类电子文件长期保存格式问题，适用于档案馆、机关、企业、事业单位和其他社会组织对文书类电子文件的长期保存，在电子文件管理试点项目中需要管理的电子文件广泛存在于协同办公、档案信息管理平台等系统中。
这些文档格式不一致，包含各个版本的office文档、各个版本的WPS文档和一些数字化的文书类文档等。
在电子文件管理系统试点项目需要采取符合规范的技术措施，保证文书类电子文件的可管、可控、长期保存和利用。
因此在文件格式转换服务器中将安装文件格式转换服务，将当前的office文档、各个版本的WPS文档和一些数字化的文书类文档转换成标准的、符合《文书类电子文件长期保存格式规范》、《文书类版式文档格式规范》中要求的电子文件格式，即CEBX-A格式。
（2）应用服务器及数据库服务器
电子文件管理系统承担电子文件管理的基础应用，需要采用PC服务器作为应用服务器，同时为了防止单点故障和压力保证系统的稳定性需采用F5做负载均衡；由于电子文件的元数据和数量巨大，因此应采用2台PC服务器作为数据库服务器集群。
3.功能分布说明
系统的功能将根据部署方式存在不同的情况，具体分布如下：
序号
分类
应用功能
功能简述
部署模式
1
系统应用
登记
对捕获的电子文件进行完整性检查，并进行管理维护
一级部署
分类整理
对登记后的电子文件进行维护，包括对电子文件进行分类、整理
鉴定处置
对电子文件进行移交、续存、销毁等
统计分析
电子文件全库、跨单位统计分析
统一查询
在电子文件安全范围内进行统一查询
日志
记录并查看电子文件操作日志
2
基础配置
单位、机构、用户配置
可在公司总部统一维护公司各单位的信息、机构及用户信息
一级部署
统一权限配置
统一在总部对设置用户的功能权限、数据权限等信息
标准配置
配置统一的分类、元数据、鉴定处置方案等
升级会员 