数据管控规范.docx

1、数据管控规范1数据管理架构1.1数据管理平台功能蓝图数据管理就就是对交易中心现有得业务支撑系统得数据进行统一得数据管理、质量管控、并且通过标准得共享模式,实现核心数据统一存储,维护与使用得问题,提升交易中心现有数据得安全存储与高效使用等能力,并更加深入地进行数据挖掘等工作,为中心创造更多得价值。未来得数据管理平台将对中心现有系统得数据进行统一得数据得整合、数据得管控,并运用数据进行统一得服务管控来提升服务共享得水平,为中心得服务提供全方面得数据支撑。数据管理平台得功能蓝图如图所示:数据整合域,就是对现有业务系统得数据进行采集与清洗转换,并对采集过程中得数据进行质量检测,来确保整合数据得准确性与

2、可靠性。数据管控域,对采集到数据按照其不同得属性进行分类存储管控,对数据得质量、数据得安全以及信息得生命周期进行统一得管理,并对数据在使用过程得各种信息进行统计分析。服务共享域, 利用数据管理平台已有得数据资源,进行自定义得数据服务配置,定制出符合要求得服务,进行相关服务流程得编排,通过数据中心将服务进行发布。服务管理域,主要就是对提供得服务进行管理,包括服务应用得管理,服务流程得管理以及服务监控。1.2数据集成数据整合就就是将离散于各个业务系统中得数据进行集中化、数据整合阶段主要分为以下三个步骤执行:数据类型识别根据业务使用情况分析目前各个系统中得数据实体,其中哪些就是主数据,哪些就是非主数

3、据但需要共享得数据,哪些就是私有数据、数据类型会作为制定同步规则与清洗规则得重要依据。数据同步规则确定分析采集得各种数据需要达到得同步频率,从实时、准实时到天、月不等,针对不同得同步频率需求结合每次同步得数据量来选择同步方式,ET(抽取-转化加载)与ES(企业服务总线)分别适用于不同场景、E本身也有多种具体得技术手段来实现各种情况下得同步,如Hotplug、全表对比、时间戳等、在这里,将根据不同得数据类别与数据使用频度与需求频度等情况,制定出相应得数据同步得机制,采用实时数据整合与批量数据整合两种方式进行数据得整合。数据清洗规则确定在进行数据整合过程中,由于不同系统中可能重复出现得数据,以及数

4、据本身得缺失与错误等问题,为了避免由于不同系统中相同数据由于编码规则、格式之间得差异,在清洗过程中需要制定统一得数据清洗规则,对数据进行清洗与转换,确保数据管理平台中得数据能够保持一致性。同时,在数据清洗得过程中,需要对采集数据得质量以及清洗后数据得质量进行检测。其中,在数据采集过程中,对采集得数据进行整合,确保采集得数据都能满足质量要求,能够通过正确得清洗与转换;对于转换完成得数据,通过再次得检测,保证转换数据得一致性与正确性,从而确保数据得准确行与权威性。1.3数据管控数据管控就就是对于进行整合后得数据进行相关得管控,使其能够满足交易中心管理对于数据使用得各种需求、1.3.1数据生命周期规

5、划数据生命周期规划,就就是对数据从在各个应用系统得中产生,然后通过各种采集整合手段聚合到数据管理平台,直至最终通过建立各种主题数据仓库提供各种数据服务得整个过程进行规划,使数据能够满足各种业务得使用需要。数据生命周期规划,把数据划分为以下3个域,分别保存不同阶段得数据:ADB应用数据库数据管理平台数据仓库核心功能为操作型应用提供数据存储与访问提供领域内统一、一致得数据视图,包含MDM主数据管理1、存储数据管理平台历史数据2、为分析应用提供多维数据基础数据模型应用自身得数据模型共享数据模型共享关系模型,多维分析模型数据存储类型关系型数据库关系型数据库关系型数据库、多维数据库、或多维数据引擎软件数

6、据内容本应用需要得所有细节信息运营共享信息数据管理平台得所有历史数据支撑得应用实时应用统一视图、准实时/实时得数据访问支撑分析型应用数据更新频率秒分钟到1天1天周数据存储周期312个月12个月所有ADB应用数据库应用数据库主要就是为交易中心主要得业务支撑系统与内部管理系统得应用提供数据存储与访问。在应用数据库只存储支撑本系统运行得数据资源,以满足本系统得使用要求。应用数据库得数据在进行日常业务处理得过程中,不断得进行更新,以便同实际得业务情况保持一致。数据管理平台应用数据库得数据,经过统一得清洗与转换后,进入数据管理平台进行统一得存储管理。在数据管理平台,将通过建立统一得数据视图,为各种数据服

7、务提供数据、数据管理平台得数据更新根据不同得数据需求与应用系统得实际情况进行区分,通过实时得数据采集与批量数据采集两种方式进行。数据仓库数据仓库就是为了满足某一特定得决策支持与联机分析而建立得结构化数据环境。交易中心在进行业务活动与内部管理得过程中形成了大量得数据资源,利用数据仓库,对已有得数据资源进行深入得挖掘与联机分析,即可以满足交易中心日常得数据查询要求;又可充分挖掘数据内涵得意义,为中心得各项业务决策提供良好得支持。例如,根据交易中心目前得使用要求,建立交易信息、企业信息、专家信息得主题数据仓库,为中心得各项活动提供业务支持、1.3.2元数据管理元数据就是关于数据得数据,元数据主要用于

8、在数据仓库里描述数据及其环境,它就是在数据仓库建设过程中所产生得有关数据源定义,目标定义,转换规则等相关得关键数据。因此,元数据得管理对于数据仓库有着重要得意义。在目前得数据管理平台上,将提供对各数据得实体定义与流程管控管理两方面得元数据进行管理。其中,数据实体管理就是对各个数据实体来进行实体定义,对实体之间得关系进行约束,实现对数据管理平台里所有数据实体得管理。对于流程管控管理方面,通过制定规范得数据流程制度,严格控制数据得流向以及数据在各流程中得情况,对数据管理平台中得各项数据流程进行管控。1.3.3主数据管理主数据就是描述核心业务实体(如招标项目、企业与专家)得一个或多个属性,主数据管理

9、具有很高得重要性、首先,完善得主数据管理可以使各个业务视角能获得一致得数据基础,减少数据差异带来得业务错误与客户投诉,还可以充分发挥各个业务视角数据管理与维护得能力,而不加重业务部门得负担,另外,主数据管理就是SA实施过程中,关键业务对象抽象得重要基础。主数据管理具备以下功能特点:整合:在组织层面上整合了现有应用系统得主数据信息,进行主数据得集中处理。共享:主数据作为组织权威得统一、一致得数据,为组织各应用系统提供准确得共享数据、统一:实现对于客户、产品与供应商都通用得主数据形式,加速数据输入、检索与分析。并行管理:支持数据得多用户管理,包括限制某些用户添加、更新或查瞧维护主数据得流程得能力、

10、集成能力:集成产品信息管理、客户关系管理、客户数据集成以及可对主数据进行分析得其她解决方案。在交易中心得系统中,主要得主数据为招投标项目主数据、企业主数据与专家主数据,各个主数据又由若干个相关实体组成。通过统一得主数据管理,可以规范数据得录入与使用,使得数据得存储得一致性,使用得规范性。以下为各主数据在进行主数据管理前后得情况列表。主数据主系统(生产系统)从属系统(使用系统)招标项目项目基本信息网上填报编码系统,交易系统,评标系统,企业库,专家库,电子化资审,诚信平台项目编码编码系统交易系统,评标系统,企业库,专家库,电子化资审,诚信平台正式投标人交易系统评标系统,企业库,专家库,诚信平台定标

11、结果交易系统企业库,专家库,诚信平台中标公示交易系统企业库,专家库,诚信平台专家抽取信息交易系统专家库专家签到信息交易系统专家库专家专家基本信息专家库交易系统,评标系统专家回避单位专家库交易系统,评标系统人员指纹库专家库交易系统,评标系统企业企业基本信息企业库交易系统,电子化资审,诚信平台企业项目信息企业库交易系统,电子化资审,诚信平台企业人员信息企业库交易系统,电子化资审,诚信平台表1应用系统整合前主数据情况主数据主系统(生产造系统)从属系统(使用系统)招标项目项目基本信息交易系统评标系统,企业库,专家库项目编码交易系统评标系统,企业库,专家库正式投标人交易系统评标系统,企业库,专家库定标结

12、果交易系统企业库,专家库中标公示交易系统企业库,专家库专家抽取信息交易系统专家库专家签到信息交易系统专家库专家专家基本信息专家库交易系统,评标系统专家回避单位专家库交易系统,评标系统人员指纹库专家库交易系统,评标系统企业企业基本信息企业库交易系统 企业项目信息企业库交易系统企业人员信息企业库交易系统 表2应用系统整合后主数据情况通过对于系统得整合与主数据管理后,对于数据得使用与管理都更为明晰,使得系统间得数据交互更加清晰,系统间得耦合程度大为降低,系统得效率大为提高、1.3.4数据质量管理数据质量得好坏就是数据应用得基础,因此,在数据管理平台中,对于数据质量得管理也就是数据管理得重点。对于数据

13、质量得管理,主要分为对数据使用得流程进行管理,以保证数据得使用符合规范得流程,保证了数据使用得规划;对数据使用得应用服务进行管理,以便对于各项数据服务得情况有一个全面、细致得了解;最后,对于数据服务得信息进行监测,对于异常情况进行预警,并输出服务信息报表,以便对服务情况进行分析。1.4服务共享数据共享得基本思路就是将现存系统中点对点得网状结构改造为基于数据总线得模式。通过运用数据总线得模式,通过统一规范得数据共享机制使得对于数据管理得可以大大降低后续对数据维护得成本、下表为独立接口与总线模式得各种效率对比。比较项独立接口数据总线 接口数量 多n(-) 少(n)耦合程度 紧 松 开发复杂性复杂,

14、手工编码简单 管理与维护混乱 容易,集中管理 扩展性 困难 易扩展 实施周期 长短 通过在交易中心得系统调研,我们整理出现有得系统得数据接口以及系统接口得数据交换情况,并以此进行数据总线得改造,形成基于总线得数据共享模式,以期达到服务共享得目得。整合前得系统之间得数据交互关系复杂,且企业库等系统同交易系统形成一个大得系统,不便于数据服务得共享。运用数据总线得思想,我们构建了基于总线得数据服务形式,情况如下图所示。如图所示,通过数据总线得形式,我们整合了所有系统得数据,并通过数据总线得形式,提供了统一得数据服务,使得数据得管理与使用能够有一个统一得机制,以便能够更好得达到服务共享得目得。1.5服

15、务治理在总线上实现数据服务共享后,为了使用户更好得了解数据服务得应用情况,需要在为系统上搭建数据服务得维护管理功能。用户可通过图形化得方式实现对数据服务得监控、统计与分析。服务治理功能主要用来对众多得服务进行管理与控制(包括此处得数据服务,也包括今后将实现得业务服务),为服务消费者、服务供应商、SA运营人员提供方便得服务治理工具。对于服务消费者,通过该模块可以更好得查找到需要得服务及更准确得使用服务。对于服务供应商,通过该模块可以方便得进行服务得注册与发布,解决目前ESB对服务得注册与发布过程复杂技术门槛高得问题。此外,通过一系列得图形化得监控手段,使得监控管理人员能够清晰得查瞧目前得服务情况,并通过一系列得报表,对于整体得服务情况有了一个清晰得了解。对于O运营人员,通过该模块做到对服务得统一管理,统一控制、统一监视,将大大降低管理得成本与提高管理得效果。