数据管理服务平台设计方案.docx
《数据管理服务平台设计方案.docx》由会员分享，可在线阅读，更多相关《数据管理服务平台设计方案.docx（32页珍藏版）》请在冰豆网上搜索。
数据管理服务平台设计方案数据管理服务平台设计方案数据管理服务平台设计方案数据管理服务平台设计方案数据管理服务平台是一个管理、展现平台，主要包括：
数据治理与监控系统、数据服务集成管理系统和大数据展现门户等。
1.2.7.1数据治理与监控系统
（1）架构设计SDC数据治理与监控系统是对数据资产管理行使权力和控制的活动集合（规划、监控和执行）。
数据治理职能指导其他数据管理职能如何执行。
大数据治理贯穿在数据管理的整个过程中，重点关注的是有关数据的战略、组织、制度等高层次的话题，并通过制定和推行战略、组织、制度，将其他几个数据管理职能贯穿、协同在一起，让数据治理工作能够成为一个有机的整体而不是各自为政。
数据治理与监控系统，作为数据平台的管控系统，从制度、标准、监控、流程结果方面提升数据信息管理能力，解决目前所面临的数据标准问题、数据质量问题、元数据管理问题。
建立统一、规范并且唯一的数据标准来解决信息交互、集成、统计、决策等诸多难题，有效地提高检验管理过程控制和质量.SDC数据治理与监控系统平台架构如下：
图数据治理与监控系统平台架构图
（2）功能模块1）治理准备治理准备主要依托元数据完成数据标准的建立，实现从逻辑建模到物理建模的全过程管理。
治理准备功能模块不仅提供技术元数据，如建模设计、数据元、代码集，数据集等，还提供业务分类、段码管理等业务元数据。
丰富、灵活的、规范的元数据管理为实现互联互通、信息共享、业务协同以及安全可靠提供必要前提。
a）数据元管理数据元标准管理主要包括数据元管理、数据类目管理以及代码管理功能。
数据元的表示规范遵循GB/T。
数据元的类型支持中文字符，字母字符，数字字符，数值型，字母数字字符，日期型，时间性，二进制类型（用来表示图形，相片，图片之类的数字流）：
提供对数据元进行新增，修改，删除，导出，导入等功能；支持分数据元类目对数据元进行管理和维护；提供对数据元类目进行新增，修改，删除操作，用户可以根据自己需要自定义数据元类目，然后对数据元进行管理；支持按照数据元名称、标记等不同维度对数据元进行查找，方便用户对数据元的定义、格式等关键信息进行了解。
数据元管理界面：
数据元新增界面：
b）代码集管理用户可以通过代码集管理模块对所需要的所有代码集进行管理、维护，主要操作包括新增，修改，删除，导出，导入；可通过代码名集名称、序号等信息对代码集及其代码进行查找，已查看代码集的取值范围。
代码集管理界面：
代码集新增界面：
c）数据集管理数据集，即数据的集合。
主要用于对数据元分类管理，并建立数据项。
数据集管理主要包括：
支持代数据集管理操作：
新增、修改、删除、查看、查询；支持前段码的发布功能；支持段码模板的下载和数据的导入导出功能。
数据集管理页面：
新增数据集页面：
添加数据项页面：
查看数据集页面：
查看数据项页面：
数据集送审页面：
d）目录管理采用目录服务技术，对数量多、分类广、分散在不同机构的信息资源特征进行描述；通过对目录内容采用灵活的多级目录配置方式，根据使用者适合自己业务领域的信息资源目录查找关心的信息资源，并可对资源信息进行维护，形成机构之间信息资源物理分散、逻辑集中的信息共享模式，实现以目录树的形式展现标准信息，帮助用户查找定位目录内容。
若在上级目录系统或其他平台已有目录，在目录标准中需要创建时，只需配置好相关连接信息，通过Webservice，调用其他系统的信息到目录标准管理进行自动编目，不需要进行二次创建和配置，节省使用者的配置时间，提高工作效率。
支持逐级对不同的目录类型（如主题目录，资源形态目录等）的目录进行新增、修改、删除等操作，并支持对目录进行编号以及对目录类型的增加、修改、删除等功能。
目录标准管理界面：
e）段码管理段码管理主要是对信息类的编码进行管理，它分为：
前段码和后段码；其中，前段码的分配需要办理人员向管理人员提出需求后，交由管理人员统一分配，避免信息重复。
后段码为信息类进行审核并发布后，在后段码管理中对信息类的后段码信息进行查询。
前段码由5位数字组成，其中前2位主要区分不同的省、自治区等，第3位为省级目录管理者和政务部门，第4位为地市目录管理者和政务部门，第5位为区县目录管理者和政务部门，管理者通过选择所属地区和部门，自动生成相应的编码信息，如：
29002，代表省发展改革委的编号，其中，290为省级部门管理者编号，02代表发展改革委的部门编号。
前段码的结构和规则具体如图所示：
图前段码规则图前段码管理界面：
后段码由7位数字和字母组成，其中前2位主要区分不同的部门，由省级目录管理者分配编号，第3位为大写字母，标识信息类所属类型，由各部门定义，第4位为大写字母，标识信息类主体类型，第57位由数字组成，由顺序号001999组成；如：
10AB001，其中10表示部门为XX高新区经济技术开区，A代表信息类所属业务类别为婚姻登记，B表示信息类主体类型为自然人，001代表信息类的顺序号。
后段码是各部门的信息资源，后段码的结构和规则具体如图所示：
图后段码规则界面f）建模设计支持可视化拖拽方式，对多种类型的数据库进行物理建模；用户可在web界面上进行表分类、表创建、表关系配置，支持从多元数据库中读取已有表，并配置表关系。
物理建模管理界面：
物理建模设计界面：
2）治理过程治理过程，以校验和跟踪各个业务系统数据质量问题、提供数据质量提升的有效解决方案，最终提高业务数据质量为目标。
通过项目建设，提高数据质量检查的有效性，为多个业务系统的数据质量保驾护航。
通过制定、实施数据质量检验，暴露各系统数据质量问题。
持续监控各系统数据质量波动情况及数据质量规则占比分析，定期生成各系统关键数据质量报告，掌握系统数据质量状况。
结合系统提供的清洗组件以及数据质量问题处理流程为各系统数据质量提升提供有效支撑。
a）质量规则制定统一的数据质量校验体系，统一数据质量度量、数据质量逻辑处理、执行的规范化步骤，可提升整体数据质量。
对不满足要求的数据，可快速分析出数据的问题并闭环处理。
数据质量校验规则是为源系统中存在的数据质量问题建立标准数据规范，从而得到有效的、可用的数据。
质量规则管理界面：
质量规则设计界面：
b）任务调度通过制定的规则、基础数据、数据映射关系，创建需要执行的数据校验任务。
任务调度界面：
c）调度历史对已建立的数据校验任务，进行实时的、有效的过程化监控管理，让系统分析人员能够快速分析校验任务的执行状态、执行成功、执行失败情况。
调度历史：
d）问题数据根据建立的规范的校验问题的处理流程，通过流程的处理流程对系统中未处理、已处理的数据质量问题进行统一管理。
问题质量问题流程：
数据问题处理界面：
3）治理结果提供多维度的进行数据关联，建立复杂的数据魔方地图来满足数据分析需求。
系统不仅提供基于DB，HIVE的SQL语句查询。
a）数据配置支持按表导入数据；灵活的数据表拖拽、自定义条件和显示字段数据功能。
能够根据不同的业务场景，自定义拼装想要的数据。
数据填报：
支持模板下载，数据导入。
数据填报界面：
魔方配置：
支持表拖拽，条件配置，魔方授权。
魔方配置管理界面：
b）数据资产支持数据查询，数据台账，数据网盘，数据魔方，资产目录。
c）数据查询支持对结构化数据进行管理和查询，包括关系型数据库，HIVE。
数据查询界面：
d）数据台账对校验完成的数据进行统一管理和存储，可查看、导出、删除结构化数据；支持按分类、按部门、按表进行检索。
数据台账查询界面：
e）数据网盘对校验完成的数据进行统一管理和存储，可查看、导出、删除非结构化数据；支持按分类、按部门进行检索。
数据网盘查询界面：
f）数据魔方支持按照业务跨库重新组装数据能力。
数据魔方查看界面：
g）资产目录3D动态展示目录资源与数据集之间的关系，能快速定位资源。
资产目录界面：
h）共享服务支持服务的创建，授权和发布。
服务管理界面：
4）审核管理严谨的、规范化的审核管理机制，进一步加强了元数据的有效性、合理性和易用性。
审核管理是用于审核送审的目录分类和数据集信息。
包含：
审核配置：
用于对审核类型的操作人员进行授权。
审核任务：
对送审的数据集或目录标准进行审批。
a）审核配置通过审核配置，用户可将目录分类和数据集审核权限授权给审核人员，被授权人员可进行审核操作。
审核配置页面：
b）审核任务用户可批量审核任务或进行单条审核操作，支持目录分类与数据集的审核功能，支持审核任务的查询与查看。
审核任务页面：
审核任务查看页面：
5）系统管理系统管理模块主要提供数据源，映射关系，系统日志管理和目录分类。
a）基础管理提供基础数据的配置，例如：
地区的配置、部门的配置、用户的配置等。
b）数据源配置管理员在资源库配置中设置数据库表相关信息，如：
数据库表名、实例名、服务器IP、用户名、密码等。
支持各类数据库的连接，如：
Oracle、MySQL、HIVE，HBASE；能够适应目前大数据的需求。
数据源管理界面：
c）目录分类支持目录分类的新增与管理。
目录分类界面：
d）映射关系管理映射关系管理：
建立源数据和数据字典之间的链接关系，通过关系的建立，可查看治理后的标准数据；支持映射关系自动匹配功能和自定义配置功能。
映射关系管理界面：
e）系统日志查看用户的操作日志。
系统日志界面：
（3）功能特性行业标准规范管理针对数据中心的数据结构建立标准，制定校验标准、开放标准、访问标准、技术标准等。
提供基于行业、主题、服务的统一标准规范制定功能，包括目录、信息类、数据元以及代码集；为实现互联互通、信息共享、业务协同以及安全可靠提供必要前提。
全生命周期管理支持从数据标准建立，数据质量治理，数据资产管理，数据分析整个全生命周期的数据管理能力；提供数据全生命过程的任务调度和监控能力；提供数据资产的统计分析能力。
提供数据标准梳理工具，使得元数据更合规；支持策略集的质量巡检方式，保障数据的完整性；建立数据治理规范体系，形成治理趋势分析。
数据存储质量数据的存贮质量是指数据被安全的存贮在适当的介质上，采用了适当的方案和技术来抵制外来的因素，使数据免受破坏。
数据安全加固提供全方位数据清洗，校验和加密能力，保障数据的一致性，完整性、唯一性和准确性；提供配置化的度量规则和校验方法生成能力，提供灵活的调度执行能力；灵活生成数据质量评估报告。
支持数据及资源级别访问安全控制，可灵活对脱敏数据进行管理。
可视化建模设计支持可视化拖拽方式，对多种类型的数据库进行物理建模；用户可在web界面上进行表分类、表创建、表关系配置，支持从多元数据库中读取已有表，并配置表关系。
多维度数据管理支持对结构化数据，半结构化数据和非结构化数据的管理和查询，包括关系型数据库表，视频，文档、图片，音频等。
提供基于文本、word的全文检索。
强大的可视化文件管理能力。
支持按照业务跨库重新组装数据，查询数据，开放数据的能力。
无缝集成数据源支持多种主流数据源的数据治理管理能力，如：
Oracle、Mysql，Hadoop等，实现数据源的无缝集成。
全景化信息开放与检索支持主题的数据台账；基于元数据的信息管理，提供3D数据资源目录与导航；多渠道的数据访问机制（Hadoop、Hbase、API、Webservices）。
1.2.7.2数据服务集成管理系统
（1）架构设计SDCPublication数据服务集成管理系统产品，旨在为用户提供符合SOA架构的中间件运行环境和开发管理工具。
它基于工业标准（HTTP/s，JMS，XML，SOAP，WSDL等），实现了对服务化技术的全面支持，并提供了分布式的企业服务总线ESB功能，确保应用系统间互联互通的可靠性和松耦合。
数据服务集成管理系统还提供了从企业应用集成的设计、开发、部署，到运行、管理、监控各个生命周期阶段的工具，方便用户充分利用SOA方法，解决企业应用与服务集成问题。
1）体系架构图SDCPublication数据服务集成管理系统产品由开发工具、ESB服务器和管理中心3大核心部分组成。
图数据服务集成管理系统组成结构ESB服务器ESB服务器是数据服务集成管理系统产品的
升级会员 