数据治理操作指南Word文档下载推荐.docx

资源描述

数据治理操作指南Word文档下载推荐.docx

《数据治理操作指南Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《数据治理操作指南Word文档下载推荐.docx（116页珍藏版）》请在冰豆网上搜索。

数据治理操作指南Word文档下载推荐.docx

∙融合多域的数据管理规则（查看[标题编号]）

从这里开始（查看[标题编号]）

1.1.4.1功能架构

功能视图

功能特性（查看[标题编号]）

1.1.4.2数据质量

质量规则管理

数据质量稽核

数据质量监控

数据质量知识库

1.1.4.3数据安全管理

数据模糊化

文档管理

隐私策略管理

数据加解密

1.1.4.4元数据管理

1.1.4.5融合多域的数据管理规则

码表管理

业务术语

数据分层标准

数据模型设计标准

1.1.5操作流程

DG主要操作流程如图1所示。

图1DG主要操作流程

各操作流程描述如下：

1.配置数据源（Portal）

在大数据统一门户Portal中可进行数据源相关配置，包括租户的配置，以及FTP主机、数据库和Hadoop集群等数据源信息的配置。

2.配置数据标准

数据标准管理包括统一管理相关文档，统一定义业务术语、码表和去隐私算法等。

3.创建数据模型

可通过三种方式创建数据模型：

∙导入方式

如果有已配置好的数据模型，可直接导入。

∙采集方式

可从已有数据源中以采集方式自动生成数据模型。

∙手动新建方式

用户手动创建数据模型，包括基本信息配置、数据结构配置和存储规则配置。

4.审核数据模型

审核人员对数据模型进行审核。

对通过审核的数据模型还可进行配置数据访问权限操作。

5.完成上述步骤后，可进行以下操作：

∙管理数据安全

对数据的访问权限进行控制。

∙管理元数据

对元数据的管理包括查看数据云图和查看模型开发报告。

∙管理数据质量

可实时监控数据质量，查看数据质量趋势分析报告。

∙建模和特征管理

可进行模型建模和特征管理，供应用开发和客户洞察用。

1.2配置数据标准

1.2.1配置数据分层标准

数据分层的目的是为客户提供一种统一的数据管理的业务视图。

数据分层标准则是为数据分层预定义一套系统的数据规范。

前提条件

已登录DG前台。

操作步骤

1.选择“数据治理>

数据管控>

数据标准>

数据分层标准”。

进入数据分层标准配置页面。

2.单击“新建目录”。

弹出“新建目录”窗口。

3.配置分层目录后单击“保存”。

此处“目录”是各个分层标准的分类目录，配置说明如图1所示。

图1新建目录

表1分层目录配置说明

参数

参数解释

名称

分层标准目录的名称。

检核方式

配置是否需要强制检核。

∙勾选“强制检核”：

在生效范围内，当数据分层不满足此标准，将无法保存。

∙未勾选“强制检核”：

在生效范围内，当数据分层不满足此标准，仍然可以保存。

生效范围

设定此数据标准的生效范围。

分为以下范围：

∙限定目录层级

勾选此标准生效的目录层级。

∙限定特定目录

可以选择指定的生效目录。

示例：

假设已存在数据分层“02_OSD”。

如果选择生效目录为“02_OSD”，则在“02_OSD”分层下创建子数据分层时，需要遵循本目录下的所有数据分层标准。

在其他目录下创建数据分层则不需要遵循。

∙未生效

限定目录层级

此参数当“生效范围”为“限定目录层级”时生效。

只勾选“一级目录”、“二级目录”、“三级目录”，则创建数据分层时，一、二、三层目录需要遵循本目录下的所有数据分层标准，四、五层目录则不需要遵循。

描述

分层标准目录的描述信息。

4.在左侧导航中单击一个分层标准目录名称，如刚新建的“通用标准test”，在“规范列表”中，单击“新建标准”。

弹出“新建规范”窗口。

5.配置一个规范后单击“保存”。

配置说明如图2所示，图中为一个“分层名称需要大写”的标准示例。

图2新建规范

表2新建规范配置说明

分层规范的名称。

分层规范的描述信息。

检核语句

使用系统函数设置SQL检核语句。

说明：

检核语句仅允许由“有效字段”、“系统函数”、“操作符”和“常量”组成。

∙有效字段：

从配置页面的“有效字段”列表中选取。

∙系统函数：

从配置页面的“系统函数”列表中选取。

∙操作符：

手动输入。

∙常量：

常量指固定的值，如数字1，字符串"

test"

等。

“系统函数”和“操作符”的详细使用说明请参见。

【示例】要求数据分层名称须大写的检核语句：

upper（layerName）==layerName

有效字段

系统自动显示可以配置的有效字段。

窍门：

∙鼠标悬浮在英文字段名称之上，自动显示字段中文名称，如下图所示。

∙单击

按钮可以直接将此字段添加至“检核语句”配置区域。

系统函数

可以使用的系统函数，具体请参见检核语句说明（查看[标题编号]）。

单击

按钮可以直接将此函数添加至“检核语句”配置区域。

1.2.2配置模型设计标准

模型设计标准描述了模型设计过程中的规范，包括各类数据库表的命名规范、字段类型等。

模型设计标准”。

进入“模型设计标准”配置页面。

3.配置模型设计标准目录后单击“保存”。

配置说明如图1所示。

表1模型设计标准分类目录配置说明

模型设计标准分类目录的名称。

在标准生效范围内，如果模型不满足标准，系统将给出检核出错提示，并且用户无法保存该模型。

在标准生效范围内，如果模型不满足标准，系统将给出检核出错提示，但用户仍然可以保存该模型。

数据标准类型

包括以下选项：

∙逻辑实体命名规范

主要用于进行数据库表的设计规范。

∙数据字段命名规范

主要用于进行数据字段的设计规范。

表类型

此参数当“数据标准类型”为“逻辑实体命名规范”时生效。

包括以下类型：

∙普通表

∙事实表

∙普通维度表

∙维表拉链表

∙临时表

∙外部表

只勾选“一级目录”、“二级目录”、“三级目录”，则创建数据模型时，一、二、三层目录下的数据模型需要遵循本目录下的所有数据分层标准，四、五层目录下的则不需要遵循。

模型设计标准分类目录的描述信息。

4.在左侧导航中，单击新建的“通用模型命名标准test”，单击“规范列表”区域的“新建标准”。

配置说明如图2所示，图中为一个模型名称长度大于1的标准示例。

表2规范配置说明

模型规范的名称。

模型规范的描述信息。

【示例】要求模型业务名称大于1的检核语句：

length（businessName）>

配置数据标准（查看[标题编号]）

1.2.3管理文档

统一管理文档资源，包括文档的存储、查询、下载、更新等。

相关文档主要供用户查阅，对业务逻辑没有技术上的约束。

背景信息

DG系统可以实现文档的分目录管理，包括文档的存储、查询、下载、更新等功能。

∙文档存储：

在DG数据库中存储文档。

∙文档查询：

根据文档的名称、描述或者关键字等信息可以进行查询。

∙文档上传和下载：

每个文档的大小不能大于20MB。

∙文档更新：

可上传新的版本更新已有文档。

目录说明

文档管理界面如图1所示。

图1文档结构

∙根目录：

不可编辑，即图中“文档管理”目录。

∙一级目录：

文档管理一级目录，如图中“开发规范”、“设计标准”。

右键单击可对其进行“新建文档”、“编辑”、“删除”和“刷新”管理。

∙二级目录：

文档管理二级目录，如图中“前台界面”。

右键单击可对其进行“上传附件”、“编辑”和“删除”管理。

文档管理”。

进入“文档管理”配置页面。

2.右键单击“文档管理”，选择“新建目录”。

3.配置文档目录后单击“保存”。

此处目录是文档的分类目录，配置说明如图2所示。

图2新建目录

表1文档管理目录配置说明

目录名

文档管理的分类目录的名称。

英文缩写

配置为“名称”的英文缩写。

文档管理的分类目录的描述信息。

4.右键单击一个文档管理的目录名称，如刚新建的“开发规范”，选择“新建文档”。

弹出新建“新建文档”窗口。

5.配置一个文档名称和描述后单击“保存”。

配置说明如图3所示，图中为一个前台界面的示例。

图3新建文档

表2配置说明

文档名

文档管理的二级目录的名称。

文档管理的二级目录的描述信息。

6.上传文档。

a.右键单击其中一个二级目录的名称，比如“前台界面”，选择“上传附件”，如图4所示。

图4上传附件

b.配置附件相关信息后，单击“上传”，如图5所示。

图5配置附件信息

7.其他操作。

右键选中文档名称，可对其进行下载、更新和删除操作，如图6所示。

图6其他操作

1.2.4配置业务术语

业务术语用于统一定义和描述企业内部的业务语言。

业务术语主要供用户查阅，对业务逻辑没有技术上的约束。

业务术语”。

进入“业务术语”配置页面。

3.配置业务术语目录后单击“保存”。

此处目录是业务术语的分类目录，配置说明如图1所示。

4.在左侧导航中选择一个业务术语的目录名称，如刚新建的“成本类”，单击“新建业务术语”。

弹出新建“业务术语”窗口。

5.配置一个业务术语后单击“保存”。

配置说明如图2所示，图中为一个标准成本的示例。

图2新建业务术语

6.其他操作。

选择业务术语目录，可以在“业务术语”区域单击对应术语右侧的“编辑”和“删除”，对术语进行编辑或删除。

1.2.5配置码表

码表管理”。

进入“码表管理”配置页面，如图1所示。

图1码表管理

2.单击“新增”。

弹出“新建编码-编码信息”窗口。

3.配置码表信息，单击“新增”添加一行记录，继续添加码表，添加完成后单击“保存”，如图2所示。

图2配置码表

表1码表配置说明

所属码表（左侧）

选择已经存在的码表名称。

当所属码表已经存在时，直接单击下拉箭头选择对应的码表。

所属码表（右侧）

配置为码表的名称。

当所属码表不存在，手工输入新的码表名称。

码表中记录的名称。

编码

码表中记录的编码。

配置完成后单击“新增”添加一行记录。

1.2.6配置数据库系统

数据库系统可以将当前租户下的数据源统一管理，便于后续元数据采集。

∙在Portal系统管理菜单的数据库中，数据源信息已定义并发布。

∙在Portal系统管理菜单的多租户管理中，已将数据源分配给当前用户所属的租户。

∙若当前用户不属于任何租户，需要先在Portal系统管理菜单的多租户管理页面中，将当前用户加入到需要添加的数据库系统所属的租户中。

将某一数据源的权限赋给租户的时候，需要指明允许该租户访问该数据源的database/schema，以及访问该数据源的用户名/密码。

通过数据治理的数据库系统功能，可以将该租户下的多个database/schema数据源统一管理起来，后续执行元数据采集操作时，只需要通过一个用户名和密码就可以访问该数据库系统下的所有数据源。

配置>

数据库系统”。

进入“数据库系统”配置页面。

2.单击

，新建数据库系统。

如图1所示。

图1新建数据库系统

表1数据库系统配置说明

设置数据库系统名称。

类型

选择数据库类型。

当前版本只可以选择ORACLE。

URL

可选值，输入需要管理的数据库系统的URL，用于提示本数据库系统对应的URL信息。

URL需要和后续待配置的数据源保持一致，URL示例：

jdbc:

oracle:

thin:

@IP:

PORT/Service_Name。

若不一致，则采集时只会采集此处配置的URL。

用户名

输入运营商客户提供的数据库用户名，后续执行数据采集操作时，使用此用户进行采集，此用户只能采集其对应权限下的内容。

∙当前在DG数据库的t_dg_config表中配置了此数据库用户默认拥有的15张数据库表权限，分别为：

∙元数据表all_tables

∙元数据表描述all_tab_comments

∙数据库对象dba_objects

∙元数据视图dba_views

∙元数据分区信息all_part_tables

∙数据库角色权限dba_role_privs

∙数据库用户all_users

∙数据库角色dba_roles

∙元数据表权限dba_tab_privs

∙元数据表字段all_tab_columns

∙元数据表字段描述all_col_comments

∙元数据分区表all_tab_partitions

∙元数据子分区all_tab_subpartitions

∙元数据分区列all_part_key_columns

元数据子分区列all_subpart_key_columns

若运营商客户提供的数据库用户只有“all_***”表的权限，则部分没有给此用户赋权或者后续新增的物理实体（如表、视图等），将无法被采集。

并且需要将每一个数据库实体的select权限赋予此数据库用户后，才可以执行采集操作。

∙若当前运营商客户提供的数据库用户具有dba_***权限，将只需要将DG数据库t_dg_config表中的“all_***”修改成“dba_***”，后续即可对所有表执行采集操作。

即将上述表修改为：

∙元数据表dba_tables

∙元数据表描述dba_tab_comments

∙元数据分区信息dba_part_tables

∙数据库用户dba_users

∙元数据表字段dba_tab_columns

∙元数据表字段描述dba_col_comments

∙元数据分区表dba_tab_partitions

∙元数据子分区dba_tab_subpartitions

∙元数据分区列dba_part_key_columns

元数据子分区列dba_subpart_key_columns

修改完成后，需要重启DG才能生效。

密码

输入用户密码，便于后面使用此用户名/密码统一登录其管理的数据库。

单击“保存”后，在弹出的提示信息中单击“确定”。

3.在左侧列表中选择新建的数据库系统，单击“新增”。

弹出“选择数据源”窗口。

如图2所示。

图2选择数据源

可根据需要，将Portal中该用户所属租户管理的数据源，纳管到新建的数据库系统中。

每个新建的数据库系统只可以选择一个数据源，即只可以选择“jdbcUrl”中数据库连接串的IP和Port都一样的数据库条目，不可以同时选择不同的数据库，如图2所示。

即使此处配了多个数据库，后续采集操作时也只会采集一个数据库中的数据信息。

创建完成后，如图3所示。

图3数据库系统

为了使数据库系统用户后续执行数据采集操作，需要在对应的数据源中使用sys用户对数据库系统用户（以上述用户名oracle为例）进行赋权。

赋权语句示例如下：

grantcreateroletooracle;

grantcreateusertooracle;

grantresource,connecttooraclewithadminoption;

1.3配置数据模型

∙数据模型状态说明（查看[标题编号]）

数据模型包含草稿、待审核、审核成功等状态。

在执行不同的操作时，状态会发生变化。

∙（可选）创建数据分层（查看[标题编号]）

各数据分层应遵循数据分层标准。

采集方式、手动新建方式创建数据模型需要执行本操作，导入方式可不执行。

∙创建数据模型（导入方式）（查看[标题编号]）

将已有的数据分层和数据模型导入到环境中。

∙创建数据模型（逻辑实体采集方式）（查看[标题编号]）

本章节介绍如何从已有的数据库中采集逻辑实体（数据模型）。

∙创建数据模型（物理实体采集方式）（查看[标题编号]）

本章节介绍如何从已有的数据库中采集物理实体。

∙创建数据模型（手动新建方式）（查看[标题编号]）

本章节介绍如何在DG前台界面手动新建一个数据模型。

∙审核数据模型（查看[标题编号]）

数据模型提交后，有模型审核权限的用户可对其进行审核，只有审核通过的数据模型可供其他组件使用。

∙（可选）复制和导出数据模型（查看[标题编号]）

在配置数据模型时，可以复制数据模型，或者将数据模型导出至其他环境中使用，不同场景需要执行不同的操作。

1.3.1数据模型状态说明

数据模型的状态及转化关系，如图1所示。

图1数据模型的状态及转化关系