数据共享开放管理系统建设方案.docx
《数据共享开放管理系统建设方案.docx》由会员分享，可在线阅读，更多相关《数据共享开放管理系统建设方案.docx（15页珍藏版）》请在冰豆网上搜索。
数据共享开放管理系统建设方案
数据共享开放管理系统建设方案
本工程将建设数据共享管理系统、数据开放管理系统及平台管理中心。
1.1.1数据共享管理系统
数据共享管理系统定位于交通运输行业内重要的数据资源集市，形成共享共建的行业数据资源目录，帮助数据提供方与数据需求方实现供需对接，为行业资源共享提供统一平台。
包括：
提供方资源发布核准、提供方与需求方权限管理、发布规则定制（针对平台管理方），资源发布、目录登记更新、资源使用授权（针对资源提供方），资源使用申请、资源使用反馈（针对资源需求方）等功能。
1.1.1.1数据质量管理
数据资源共享开放和综合应用的前提是高质量的数据，高质量数据的形成是一个长期的动态过程，在此过程中，前期需要大量的资金、技术、人员的投入，保证项目的基础技术框架和设施的顺利建设，并迅速提高数据质量，能够发挥高质量数据中心的作用。
随着时间的推移，投入会逐步下降，趋向于一个稳定的较低水平，而数据质量则会提升到一个较高水平，并持续改进，发展到稳定的程度。
数据质量管理功能用于进入平台数据的质量分析和质量报告的发布，促进交通运输数据资源质量的持续改进，主要包括数据质量审计和数据质量发布2个主要功能模块。
1.1.1.1.1数据质量审计
实现数据质量的管理过程。
通过技术加管理的手段，覆盖重点的数据实体和数据处理过程，基于数据标准进行数据质量的监控、评估和优化。
数据质量评估主要内容包括：
（1）检查规则定义
提供指标数据采集和检查规则管理、维度数据采集和检查规则、文件数据采集和检查规则管理、库表数据采集和检查规则管理、作业数据采集和检查规则管理
（2）检查任务监控
提供图形化界面对检查任务进行监控。
（3）标准代码校验
使用标准代码规范对平台的数据进行规范校验。
比如制定性别代码对存储性别数据的字段进行校验，分析出存储的数据是否再性别代码制定的范围之内。
系统最终需要出具校验报告。
明确告知用户校验结果，不合格数据的查看等。
（4）数据质量评估
数据质量的评估过程是一种通过测量和改善数据综合特征来优化数据价值的过程。
数据质量评估至少应该包含以下2方面的基本评估指标：
数据对用户必须是可信的。
可信性包括精确性、完整性、一致性、有效性、唯一性等指标。
1完整性：
判断数据是否存在缺失记录或缺失字段（包括unknown、null等）。
2一致性：
判断同一实体的同一属性的值在不同的系统是否一致。
3有效性：
判断数据是否满足用户定义的条件或在一定的域值范围内。
4唯一性：
判断数据是否存在重复记录。
数据对用户必须是可用的。
包括时间性、稳定性等指标。
1时间性：
判断数据是当前数据还是历史数据。
2有效性：
判断数据是否在其有效期内。
系统为上述各项指标按照合格数据条数/数据总条数*100打分，并计算平均分作为总体质量评分。
此外，系统还将对各部门数据的总体开放共享效果进行评估，主要指标如下：
1开放度：
所有对外开放数据数量占所有进入信息资源目录数据总数的比例；
2应用普及率：
实际被其他单位、部门应用的数据数量占所有进入信息资源目录数据总数的比例；
3数据价值：
评估数据是否频繁、多次被其他单位、部门应用，以及是否被多个其他单位、部门应用，加权后以价值指数衡量。
1.1.1.1.2数据质量发布
平台定期（每月、每年）自动生成数据质量报告，在平台发布并向行业内各部门下发。
（1）列表显示最近的质量报告
可分部门、按时间顺序列表显示最近的质量报告。
（2）质量报告查询
用于按照部门、时间等条件查询数据质量报告。
（3）数据质量分析
可以趋势图方式，展现各部门数据质量关键指标的变化趋势。
1.1.1.2数据共享管理
1.1.1.2.1提供管理
（1）资源发布
用于提供共享资源的省厅各部门用户向平台上传资源时的管理。
提供资源发布上传、上传与共享规则设置、已发布资源的查看撤销删改功能。
（2）目录登记更新
提供共享资源的用户在资源上传完毕后对共享目录的更新与核对功能，保证用户资源目录与平台目录匹配与一致。
（3）资源使用授权
用于对其它用户对已发布的共享资源的使用请求的授权。
提供已发布可供共享的资源的共享级别设置，提供由任意共享、指定范围共享及授权后共享等权限。
1.1.1.2.2请求管理
（1）资源使用申请
用于为有资源共享需求的平台用户提供面向资源提交用户的资源使用申请。
对于有共享限制的共享资源，资源使用方需要向资源提供方提交使用申请，获得提交方授权后方可使用。
（2）资源使用反馈
为资源使用方提供向资源提供方对所提供资源的评价、建议及意见反馈功能；提供资源使用方向资源提供方提交需要但平台尚未包含资源的共享建议等。
1.1.1.2.3平台管理
（1）提供方资源发布核准
用于为平台管理人员提供共享资源发布的核准功能。
用于规范、合理引导平台用户提交共享资源的容量、频率与质量等，以合理使用平台的存储及计算能力。
（2）提供方与需求方权限管理
用于对平台用户的资源提供方与需求方的权限管理，提供资源共享权限、资源请求权限等的调整、修订功能。
（3）发布规则定制
用于平台管理人员对资源发布共享规则的定制。
管理员根据申请情况定制共享规则，系统根据规则自动执行。
依据信息资源目录，设定部省及省内部门间的数据共享内容、方式（增量更新、全部刷新等）、规模（大批量、小批量等），支持规则的增、删、改、复制等基本操作。
1.1.1.3数据共享门户
面向交通运输管理部门用户，通过用户界面集成服务，实现对信息资源共享管理等功能的用户界面集成、展示和管理。
（1）统一登录
提供统一的登录页面，用户输入用户名和密码后可登录系统。
系统提供用户名和密码自动记录功能，用户框选后可下一次登录可避免重复输入。
登录页面提供常见问题解答和系统维护联系方式等信息。
（2）工作首页
用户成功登录系统后，进入工作首页。
1待办事项
用户进入首页后，系统自动将待办事项列出，提醒数据共享授权用户、平台相关审核人员处理待办授权及审核工作；提醒待办工作的授权及审核时限。
用户选择某条事项后跳转至该事项流程。
2已办事项
用户可检索、浏览其已完成的各项工作记录，包括处理过程、时间节点、领导批示等。
3工作提醒
系统自动通过邮件等提醒方式提示授权及审核人员及时开展工作。
通过预设邮件，系统自动将授权及审核结果及时反馈给申请人，以便及时办理相关工作。
4功能列表
系统根据权限，以功能树方式展现该用户可使用的系统功能和可浏览查询的资源。
对于普通用户，功能主要包括：
数据共享申请、授权进度查询、授权结果查询、数据资源目录查询等；
对于数据授权及审核人员，主要包括：
数据共享授权与审核、授权与审核进度查询、授权与审核结果查询、数据资源目录注册、查询、发布、维护等。
5个性设置
用户可修改自己的登录密码，设置、修改工作页面的风格、检索列表每页显示数量。
（3）信息展示
统一展示平台总体运行工作情况、数据共享情况等。
1平台运行情况
用图表方式展现平台上一日共享数据总量、类型分布，以及总体开放度、应用普及率、数据价值等综合性指标。
2工作动态
发布与数据资源共享工作相关的重大事项和行业动态等信息，由系统管理员负责编辑、发布。
3数据质量
调用“4.1.3.1.2数据质量发布”功能，展现各部门数据资源质量、变化趋势和排名等。
1.1.2数据开放管理系统
数据开放管理系统主要满足行业外政府部门、企业、社会机构和社会公众等对交通运输数据资源的检索、查询、下载等应用需求，主要包括开放数据资源管理、普遍检索服务等管理功能；同时为用户提供具备数据开放申请、获取及账户管理等功能的门户。
1.1.2.1数据开放管理
（1）开放数据资源管理
开放数据资源管理主要实现拟对外开放的交通运输数据资源的提供、审核和发布以及开放数据清单维护等功能。
1数据提供
数据提供者将拟对外开放的数据进行登记，登记的内容包括：
数据资源（数据集）名称、数据资源间接、主题分类、关键词和数据来源单位等；数据提供者可通过关联信息资源目录管理系统，选择拟开放数据集以及拟开放的数据项；并将登记信息和初步选定的数据集、数据项提交给数据管理者进行审核。
2数据审核和发布
开放数据源于已经经过目录服务系统审核过后的数据资源，数据提供者在著录、提供数据时，不仅应对数据格式、质量进行审核，还需对数据内容进行审核，审核数据内容是否涉密、是否涉及个人隐私或商业秘密、是否敏感等，并最终确定是否可以开放。
数据管理者根据数据提供者确定为能够开放的内容进行发布。
3开放清单维护
系统提供开放清单的自动更新维护功能，数据管理者每发布一项数据资源，开放清单自动更新。
开放数据清单提供两种展示方式：
按主题分类方式和按数据来源（提供单位）分类方式。
（2）普遍检索服务
普通检索服务主要实现开放数据资源的搜索、浏览、下载等服务功能。
1搜索
系统提供按照关键字、主题、机构（提供单位）等方式来搜索数据；支持分类检索、二次检索，能够逐步缩小检索范围；支持搜索关键词高亮显示、分页显示。
用户通过输入检索词就可以搜索到与之相关的所有数据资源。
2浏览
系统提供按照主题分类和数据来源（提供单位）两种方式，对拟开放的所有数据资源进行浏览，可以点击查看任何一个数据集的示例数据。
3下载
针对开放类型为线上公开的数据，系统提供开放数据的示例数据和完整数据的下载服务。
1.1.2.2数据开放门户
面向行业外管理部门和社会用户，通过用户界面集成服务，实现对信息资源目录查询、数据开放服务请求等功能的用户界面集成、展示和管理。
（1）注册及登录
提供用户注册服务，用户进行用户名、密码的设置，并填写身份信息。
系统管理员对身份信息进行核实后为其分配权限、设定角色。
系统为已注册用户提供统一的登录页面，用户输入用户名和密码后可登录系统。
系统提供用户名和密码自动记录功能，用户框选后可下一次登录可避免重复输入。
登录页面提供常见问题解答和系统维护联系方式等信息。
（2）服务功能首页
用户成功登录系统后，进入服务功能首页。
1开放资源检索与获取
提供统一窗口，用户可浏览开放数据清单。
根据用户权限，实现开放数据资源的搜索、浏览、下载等服务功能。
2使用反馈
提供用户对开放数据的评价，提供用于所需但尚未开放数据的请求反馈功能。
3个性设置
用户可修改自己的登录密码，设置、修改服务功能页面的风格、检索列表每页显示数量。
（3）信息展示
统一展示平台总体运行工作情况、数据交换共享情况等。
1平台运行情况
用图表方式展现平台上一日开放数据总量、类型分布，以及总体开放度、应用普及率、数据价值等综合性指标。
2新闻动态
发布与数据资源开放共享工作相关的重大事项和活动动态等信息，由系统管理员负责编辑、发布。
1.1.3平台管理中心
1.1.3.1平台运行监控
确保平台安全稳定运行，为平台管理人员提供统一的窗口，获得平台当前运行状态信息，帮助用户了解和维护系统，保障系统的有效运行，实现对相关设备、引擎、服务、系统进行全面有效、实时的统一监控。
监控提供图形化界面展示，提供重要故障自动报警，管理员可监控到平台在各个区域、各个通道的设备、引擎、服务、系统状态。
（1）系统监控
调用“分布式数据交换中间件”中的监控功能，监控平台硬件设备的实时状态，包括：
服务器cpu、内存、磁盘IO，网络状态等的实时运行信息。
1）服务目录系统运行监控
对企业服务总线的运行状态进行监控，监控信息如下：
a）系统服务器名称列表；
b）服务器IP列表；
c）服务器描述信息；
d）系统各组件运行状态（启动、停止）；
e）不同运行状态的服务器数量统计；
f）各服务器CPU、内存、存储的使用情况；
g）系统所用中间件运行状态；
h）服务目录系统各模块的运行情况；
2）数据交换系统运行监控
实施监测已对接部门文件传输平台的运行、联通状态。
监控的信息如下：
a）系统服务器名称列表；
b）服务器IP列表；
c）服务器描述信息；
d）系统各组件运行状态（启动、停止）；
e）不同运行状态的服务器数量统计；
f）各服务器CPU、内存、存储的使用情况；
g）系统所用中间件运行状态；
h）交换系统各模块（采集节点、传输通道）、任务的运行情况
3）数据共享系统运行监控
实时监测已对接部门文件传输平台的运行、联通状态。
监控的信息如下：
a）系统服务器名称列表；
b）服务器IP列表；
c）服务器描述信息；
d）系统各组件运行状态（启动、停止）；
e）不同运行状态的服务器数量统计；
f）各服务器CPU、内存、存储的使用情况；
g）系统所用中间件运行状态；
h）共享系统各模块（采集节点、传输通道、质量管理）、任务的运行情况
4）数据开放管理系统运行监控
监控信息如下：
a）系统服务器名称列表；
b）服务器IP列表；
c）服务器描述信息；
d）系统各组件运行状态（启动、停止）；
e）不同运行状态的服务器数量统计；
f）各服务器CPU、内存、存储的使用情况；
g）系统所用中间件运行状态；
h）数据开放管理各模块、流程的运行情况
5）平台管理中心运行监控
监控信息如下：
a）系统服务器名称列表；
b）服务器IP列表；
c）服务器描述信息；
d）系统各组件运行状态（启动、停止）；
e）不同运行状态的服务器数量统计；
f）各服务器CPU、内存、存储的使用情况；
g）系统所用中间件运行状态；
h）平台管理中心各模块、流程的运行情况
（2）远程控制与报警
通过巡检机制，对发现异常的服务的自动进行服务远程的重启控制，并通过邮箱、短信报警，将异常信息发送至平台管理员处，由人工干预使服务恢复正常状态。
1）文件传输故障告警
当文件传输过程中遇到了断网、文件读写权限不足、磁盘空间不足等故障场景时，通过告警功能可记录故障的描述信息，包含：
故障发生时间、故障发生节点、文件传输逻辑、故障现象描述、故障码、涉及故障的数据快照。
2）数据质量检验流程故障告警
当数据质量检验流程中（数据采集过程、数据检验过程、数据加载过程）出现任何的故障，都通过告警功能，记录故障信息，包含：
故障发生时间、故障所属流程、故障现象描述、故障码、涉及故障的数据快照。
3）共享服务运行故障
当共享服务运行过程中出现任何的故障，都通过告警功能来记录故障信息，包含：
故障发生时间、故障所属服务、故障现象描述、故障码、涉及故障的数据快照。
4）告警查询
支持通过时间条件进行全告警范围内的查询，将满足条件的告警信息以表格形式展示。
5）告警通知
配合邮件服务系统（一般为免费）或者短信平台系统（一般需要付费购买），将告警信息实时推送至系统管理员的邮箱、手机。
1.1.3.2平台安全管理
平台安全管理主要包括：
组织机构管理、用户管理、功能权限管理、数据权限管理等功能。
（1）组织机构管理
根据行业管理部门组织架构现状，定义平台内用户的组织机构。
（2）用户管理
为用户设置用户名、密码、所属组织机构及角色。
（3）功能权限管理
根据行业管理部门组织架构现状，定义不同管理部门、角色、用户等的数据操作权限。
系统提供按角色设置功能权限、按用户组设置功能权限、按用户设置功能权限的功能，支持对不同部门的用户根据业务需求设定不同的功能权限。
其中，应遵循的权限规则包括但不限于：
1平台系统管理员具有系统最高权限，负责平台的统一管理；
2管理员用户能够对普通用户设置数据操作权限，具有相应权限的普通用户能够对数据进行访问、维护等特定行为的操作；
3对于用户自身权限之外的操作，用户需逐级向上级管理员进行相关权限的申请获得，并设定相应的授权时间，逾期失效。
系统提供权限复制及互换，对发生工作对调的人员可以用权限互换的方式快速授权。
（4）数据备份
有组织，有计划的定期对数据进行数据备份，使得系统即使出现故障，也可以快速有效的恢复。
备份方式包括完全备份、增量备份、差分备份等。
可根据用户的需求设置灵活的备份时间，对备份数据进行加密，提供压缩方式的数据备份。
（5）交流反馈
提供用户留言平台，用户可对系统使用、数据质量、数据交换效果等进行评价反馈，积累经验教训，加强部省间、省内部门间的交流。
1.1.3.3日志管理
系统日志为平台监控及平台安全管理提供了提供对应用日志的筛选、查询、分析、清除、打印以及导入、导出功能，为系统的管理、维护和优化提供依据。
使管理员了解系统目前的状态，发现业务漏洞、何时何人试图违反安全策略等情况。
（1）显示最近的日志
用于显示最近的系统日志的信息。
（2）查询系统日志
用于按照不同的条件查询系统日志。
（3）删除系统日志
用于删除指定的系统日志文件。
（4）备份系统日志
用于备份指定的系统日志文件。
1.1.3.4元数据管理
元数据管理功能用于对信息资源目录、交换资源与共享资源元数据的管理。
共包含6个模块，分别为元模型管理、元数据管理及维护、元数据导入导出、数据库变更管理、标准代码管理及标准规范管理。
（1）元模型管理
元模型是对元数据的定义。
元模型管理功能提供Web界面化的元模型管理功能，能持续满足用户在不同时期对元数据的不同需要。
管理涉及对元模型包、元模型类、元模型属性、数据类型、关系的操作。
提供元模型管理功能，授权用户可浏览、新增、修改、删除元模型。
用户可定制适合自己需求的元模型，随着业务的不断发展扩展元模型，如建立新的类、增加属性、定义新的关系等。
（2）元数据管理及维护
提供元数据维护和管理的基础功能，实现元数据界面化增加、删除、修改、浏览等功能；支持对元数据任意粒度的权限控制，使各项信息在授权控制下共享。
具体功能包括：
Ø元数据浏览：
以树型结构直观展现元数据上下级关系，使用户可了解数据中心的数据规模和相关关系，并可查看树上任一元数据节点的详细信息。
Ø元数据维护：
提供完善的元数据维护功能，允许授权人员在Web界面上方便地进行增删修操作。
Ø发布与订阅：
元数据的注册并发布服务，外部相关单位可以通过订阅方式访问元数据服务。
Ø元数据版本管理：
支持元数据版本管理，对于各种元数据的每次变更，记录其变更历史；并提供版本变更查询功能和历史版本恢复功能。
Ø元数据关系维护：
维护任意元数据之间的任意关系，可录入关系描述，反映客观世界中实体之间的真实关系，形成数据中心各种实体的完整关系图。
ØETL映射关系维护：
元数据管理着ETL程序字段映射，即支持表或字段级别的任意关系组合的映射关系；以及ETL程序之间的调度关系，即维护ETL程序之间的先后调用关系。
因此，可有效管理数据中心系统的业务数据源进入数据中心到DW、数据集市、再通过OLAP到前端分析的全过程，掌握数据加工的算法和细节。
（3）元数据导入导出
元数据管理系统提供元数据批量加载功能，实现XLS、XMI格式元数据的批量加载。
XLS导入功能主要应用于非结构化或无法自动获取的元数据，XMI导入功能主要用于元数据管理系统与其他系统之间进行元数据交换。
元数据管理系统提供元数据批量导出功能，将指定元数据导出为XLS或XMI格式。
XLS格式元数据方便用户浏览或分发各种信息资源标准以及库表字典、指标定义、基础数据和编码等；XMI格式元数据方便其他系统接收。
（4）数据库变更管理
提供系统运行过程中对数据标准体系遵循情况的审计管理，具体包括：
数据表（库）升级审核管理、数据表（库）异常变化监控审核等功能，为保证数据资源统一、规范、安全、有效的管理提供功能支撑
（5）标准代码管理
标准代码是构成数据标准的核心内容之一。
任何一个行业都应有一套完成的标准代码，以便在数据交换，数据共享，数据挖掘，数据展示的时候，提供规范的数据解析。
特别是在当前我国信息化建设标准不一的情况下，标准代码就显得尤为重要。
（6）标准规范管理
系统将提供功能，来帮助用户能够方便迅速的将纸质化的各种标准规范维护到管控系统里面。
该功能需要涵盖到标准规范内容基本上所有的重要业务信息。
比如字段的名称，编码，类型，长度等等。
升级会员 