大数据溯源产品培训课件Word格式文档下载.docx

1、1.2.2 业务价值4） 在只有设计态模型文件的条件下，在用户本地环境下按照统一数据模型在关系型数据库（ORACLE,mysql）快速建表。5） 模型按照WORD，xml格式导出1.3 模型对比1.3.1 功能描述任意两个模型的内容对比，对比差异可视化呈现，对比结果的可视化查看并支持导出EXCEL1.3.2 业务价值1） 市场上缺乏支持两个模型内容差异比对的工具2） 模型不断的演进迭代中，频繁有新版本发布。对于管理模型和使用模型的而用户来说，都有强烈的查看迭代的两个模型的差异内容的诉求。3） 对于总部用户，想了解各省个性化扩展的部分；对于省公司用户，想把控总部迭代发布的新版本相对于老版本的新内

2、容。模型的差异比对，正好解决这个痛点问题。1.4 模型基线管控1.4.1 功能描述总部发布模型，执行【申请发布】操作，即可提交到待审核区域，基线审核员进行审核，审核通过后成为基线版本，并自动完成发布，各省市公司用户即可接收到总部发布的数据模型；审核不通过，则不允许生成基线且不能发布。当总部用于确认发布的模型有误有撤回需求时，在不影响省市用户使用情况下可【申请取消发布】，仍需要基线审核员进行审批，审批通过则取消发布，返回到编辑区，审批不通过，则保留当前基线版本，不可撤回。1.4.2 业务价值总部发布模型版本必须经过严格的版本控制流程，进行版本基线管控。1.5 两级协同1.5.1 功能描述1） 总

3、部发布模型，省公司用户查看模型，下拉模型并执行模型，总部查看各省公司的执行情况；2） 省公司用户下拉模型后，可进行个性化扩展，并将个性化扩展内容提交给总部。3） 总部用户搜集各省个性化扩展内容，进行整合，作为下一个迭代的基础。从而实现总部与省（市）公司模型管理两级协同管理。1.5.2 业务价值基于 公司统一数据模型优化完善及应用工作方案中对模型两级协同的管理要求，完成总部与省（市）公司模型管理两级协同管理过程。1.6 版本融合1.6.1 功能描述省公司执行了个性化扩充后的版本后，总部又发布了新版本，省公司用户可以进行融合执行，执行的结果就是将个性化扩充部分与新发布的版本进行内容融合。1.6.2

4、 业务价值省公司在总部发布的版本上进行了个性化扩展，总部再次发布新版本时，省公司用户将个性化内容与总部新版本进行融合，避免由于总公司不断发布新版本，造成个性化扩充模型多次内容修改。1.7 版本融合1.7.1 功能描述1.7.2 业务价值1.8 溯源支撑应用的数据支撑1.8.1 功能描述溯源分析是基于统一数据模型物理模型的溯源，所以设计态模型在线管理是溯源的基础。1.8.2 业务价值2 元数据感知机2.1.1 数据源管理1） 数据源连接：一个只读账号和密码能够对接到源数据2） 元数据抽取：抽取数据源系统的表结构，并创建DB数据模型2.1.2 业务价值1） 快捷的方式链接数据源并抽取表结构，是完成

5、业务系统元数据管理的基础。2） 根据抽取的业务系统的表结构，创建DB模型，作为元数据管理的数据单元。2.2 DB模型动态感知2.2.1 功能描述元数据感知：对业务系统库表的动态进行感知，手动或者系统定时自动的扫描数据表结构变化，进行数据同步。2.2.2 业务价值业务系统中存在大量历史数据并且源源不断的产生大量数据，已经无法准确知道业务系统的表结构。元数据感知完成对源业务系统表结构的动态感知，并进行同步。让用户及时了解源业务系统表结构变化。2.3 版本管理及版本对比2.3.1 功能描述1） 手动/自动执行一次动态感知，系统根据扫描的变化内容的多少进行版本控制管理。变化较多时，生成一个大版本，变化

6、较少时，生成小版本，没有变化不生成版本。2） 版本内容对比。直观看到新版本在上一个版本上的变化情况2.3.2 业务价值1） 用户可以跟踪业务系统的表结构变化演进和迭代过程。2） 用户清楚了解新版本在上一个版本上的变化情况2.4 DB模型可视化2.4.1 功能描述1） 模型图谱可视化：基于图数据库技术以节点和连线方式呈现模型中的表及表结构，以及表之间的关联关系。2） 模型列表可视化：列表形式呈现表结构及表字段，并统计表数量及字段数量。2.4.2 业务价值业务系统表结构及表之间关系通过图谱形式进行可视化呈现，将不可见的数据现象转化为可见的节点，将错综复杂的关联关系直截了当且清晰而直观地表达出来，实

7、现数据自我解释、让数据说话的目的。2.5 DB模型目录管理2.5.1 功能描述支持用户自定义创建DB模型的结构化分类目录，便于对DB模型进行有序分层级管理。2.5.2 业务价值1） 源业务系统的DB模型数量较多容易引起管理混乱，难以找到目标模型。基于业务逻辑，通过目录管理对DB模型进行分类型分层级的管理，一方面能够快速检索，另一方面提升DB模型管理的条理性，提升管理效率。2.6 任务自动调度2.6.1 功能描述通过任务调度配置，可自定义模型的动态感知任务和关系发现任务的自动执行。2.6.2 业务价值对于业务系统的数据库的动态感知和关系发现任务，实现自动自动化调度。2.7 关联关系自动发现2.7

8、.1 功能描述关系发现：通过表关系发现算法，识别并验证模型的表关系。2.7.2 业务价值业务系统中大量的历史数据及数据关系随着时间推移和版本迭代已经无法追寻，人工梳理耗时耗力且准确度无法验证，我们研发了一种使用业务数据本身验证数据模型关系的算法，能够利用业务数据自动发现数据模型的关系，现阶段能够实现数据模型关系的验证。2.8 关联关系手动维护与导出2.8.1 新增，编辑，删除，标记系统反应的是DB模型的真实数据，但是真实数据不一定准确，所以通过算法发现的关联关系，只是准确的反应DB模型的真实关系，未必是准确的关系。可以进行人工确认。需要进行人工的确认。本系统支持关联关系的手动新增，修改，删除以

9、及进行可信度标记。用户的可信度标记将反馈给算法进行算法的优化。3 溯源管理3.1 溯源管理3.1.1 功能描述1） 对一个特定溯源对象的溯源工作定义为1个溯源任务，便于对溯源工作的管理。2） EA模型的一个主题域定义为一个溯源任务，主题域的每一张表的溯源定义为一个子任务，当一个表中所有字段都进行了溯源，认为一个表溯源完成。3） 完成溯源任务的创建后，系统自动根据模型中的表创建子任务列表。4） 任务进度管理3.1.2 业务价值一个溯源对象（如一个EA模型或者一个DB模型）的溯源工作是一个相对独立且延续的工作，有开始和结束，有进度和完成结果，所以将溯源工作作为一个任务进行管理，提高管理效率。并支持

10、管理任务的完成情况和进度。3.2 溯源分析3.2.1 功能描述以溯源对象为目标和范围，为溯源对象中的字段逐一找到对应的源系统中的字段进行匹配，建立匹配映射关系。进入子任务以后，选择源系统-表-字段，系统的检索功能和样例数据查看功能，支撑用户溯源匹配，建立映射关系。 3.2.2 业务价值1、当前用户溯源是传统手动溯源，按照模型的要求，手动从各个源系统查询对应的字段，并黏贴查询到的字段信息创建数据资源手册。效率极低，且需要提取有效样例数据进行溯源决策，必须有运维人员支撑，难以独立完成2、溯源过程管控上，纯线下方式，溯源工作过程不可控，质量难保证，溯源结果的可信度无法验证。所以，将溯源工作迁到线上，

11、检索和样例数据查看功能，提高了找到匹配字段的效率和准确度。溯源结果直接系统生成，避免黏贴复制EXCEL文档引起的结果错误或者格式不一。3.3 溯源结果导入3.3.1 功能描述支持将线下完成的溯源结果导入系统，并进行自动化溯源匹配。导入溯源结果后，系统根据溯源的映射关系，匹配并验证溯源结果进行溯源结果的验证3.3.2 业务价值应对用户已经完成部分溯源任务，已经输出了部分溯源结果的场景，系统支持将溯源结果导入，并且根据溯源结果进行结果的验证和匹配。3.4 不溯源标记及原因搜集3.4.1 功能描述对于溯源对象中不需要进行溯源的字段进行单个或者批量标记不溯源并搜集不溯源原因。3.4.2 业务价值1、模

12、型中有部分字段属于扩充字段，不需要溯源。2、在某些业务的数据为一线系统数据不会下发，省公司访问不到该类数据3、某些省公司没有某类业务。针对溯源时候的以上问题，都归纳为不溯源，此时需要进行标记，与正常的溯源字段进行区分。3.5 表关系自动解析发现3.5.1 功能描述系统根据数据模型自动发现表之间关系。对于EA设计态模型，根据EA源文件解析表关系；对于DB模型，通过关系发现算法，发现表关系。3.5.2 业务价值对于EA模型，将人工解读模型文件并整理表关系的工作转为自动完成；对于DB模型，解决了用户无法了解表关系的难题，通过关系发现算法发现表关系3.6 生成数据资源手册3.6.1 功能描述溯源工作完

13、成以后，系统根据溯源的结果，自动整合形成用户侧需要的数据资源手册并支持导出。3.6.2 业务价值系统自动整合数据资源手册，包括表信息，关系信息，字段映射表，表映射表。节省了人工编辑文档表格的工作，极大提高了效率。3.7 溯源结果统计分析3.7.1 功能描述通过图标和指标的方式呈现溯源进度，完成情况，完成比例指标，结果在各个系统的分布情况进行统计分析。3.7.2 业务价值随时掌控溯源任务的完成进度，完成情况，完成率以及结果的分布情况，为下一步工作决策和溯源成果汇报提供了直接的数据支撑。4 资源标签目录4.1 资源目录构建4.1.1 功能描述用户可以基于业务针对资源进行自定义目录构建，分类型分层级进行对维度目录构建。支持