元数据管理项目工程实施方案.doc
《元数据管理项目工程实施方案.doc》由会员分享，可在线阅读，更多相关《元数据管理项目工程实施方案.doc（17页珍藏版）》请在冰豆网上搜索。
xx移动元数据工程实施方案
xx移动
元数据管理项目工程实施方案
2012年5月
目录
1 建设目标 3
2 系统环境配置 3
2.1 客户端环境配置 3
2.2 服务器端环境配置 4
2.3 网络配置 4
3 元数据管理范围 5
4 项目实施计划 6
4.1 建设规划 6
4.2 时间安排 7
4.3 产品部署 7
4.4 元模型定制 7
4.5 元数据存储 8
4.5.1 技术类元数据存储 8
4.5.1.1 关系型数据库元数据 8
4.5.1.2 OLAP元数据 8
4.5.1.3 ETL元数据 9
4.5.1.4 模型元数据 10
4.5.2 业务元数据存储 10
4.5.2.1 业务指标元数据 10
4.5.2.2 业务规则&术语元数据 11
4.5.2.3 维度&基础编码元数据 11
4.5.3 管理类元数据存储 11
4.6 建立日常管理流程 12
4.6.1 元数据权限管理 12
4.6.2 通过元数据变更流程进行维护管理 12
4.6.3 元数据同步维护 12
4.6.3.1 业务元数据同步维护 12
4.6.3.2 管理元数据同步维护 13
4.6.3.3 元数据同步维护 14
4.6.3.4 库表结构元数据同步维护 14
4.6.3.5 Erwin元数据同步维护 15
4.7 元数据交付、培训 15
4.8 元数据管理应用定制 15
5 元数据建设中需要的配合工作 16
6 备份策略 16
1建设目标
依据《中国移动通信集团xx有限公司经营分析系统元数据管理项目采购书》所制定的项目目标，本项目致力于解决现有经分系统中元数据管理的问题，即经营分析系统核心元模型的建立、两级经营分析系统元数据互通、扩充元数据服务接口、提升基础元数据支撑能力，并能满足移动集团总部NG2-BASS3.5元数据管理相关规范的要求。
具体而言，通过本次项目实现如下目标：
l实现元数据基本管理功能
提供方便、友好的图形化元数据管理工具，实现对元数据的获取、维护、查询、变更、统计、导入等基本功能。
l实现一二级元数据互通功能
生成一级经营分析系统重点接口的数据处理过程元数据的管理，基于互通元数据接口标准实现重点接口元数据的下发和重点接口数据处理过程元数据的上传，促进两级系统对重点接口统一理解和数据处理过程规范化。
l实现元数据的分析功能
实现元数据的血缘分析及影响分析功能，实现元数据的数据地图展现功能，以拓扑图的形式对经营分析系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现，并通过不同层次的图形展现粒度控制，满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。
2系统环境配置
系统环境配置包括客户端和服务器端的平台软件、硬件配置和网络配置要求。
这些配置要求与系统负荷有关。
2.1客户端环境配置
配置项
配置要求
硬件配置
客户端主机
业界主流CPU/2GB内存/20GB剩余硬盘空间/100M网卡
软件配置
操作系统
Windows2000/Windows2003/WindowsXP/
WindowsVista/Windows7
浏览器
IE6/IE7/IE8/IE9
2.2服务器端环境配置
配置项
数量
配置要求
硬件配置
数据库服务器主机（1台）
1
4CPU/8GB内存/500GB硬盘/
100M网卡以上
应用服务器主机（1台）
1
4CPU/8GB内存/100GB硬盘/
100M网卡以上
元数据管理终端
1
2CPU/4GB内存/20GB硬盘/
100M网卡以上
软件配置
应用服务器操作系统
1
（以下任选其一，推荐使用Unix系统）
Unix、Linux；
MicrosoftNT4.0SP6/2000ServerSP3/2003Server
应用服务器
1
Tomcat6.0及以上版本
JDK
1
JDK1.6及以上版本
数据库
1
（以下任选其一，推荐使用Oracle10g）
Oracle9i/10g/11g
DB28.2及以上版本
元数据管理终端操作系统
1
MicrosoftNT4.0SP6/2000ServerSP3/2003Server
注：
1、数据库服务器和应用服务器可共用一台主机
2、元数据管理终端用于进行MIB-Client、MOConsole等元数据管理客户端的操作
2.3网络配置
以下是元数据管理系统的网络配置图，其中的服务器是按逻辑功能划分的，可以分别部署在两台主机上，或者共用一台主机。
3元数据管理范围
在项目建设过程中，我们将针对xx移动现场情况。
管理技术，业务，管理类3大类元数据。
l技术元数据主要包括：
外部数据源接口，数据仓库DB（Teradata/Oracle），ETL，存储过程，建模元数据等。
l业务元数据包括：
维度，基础编码，指标，业务术语，业务规则，业务描述等。
l管理元数据包括：
系统资源、人员管理，任务管理，需求流程管理、文档管理等。
详细范围分类如下表：
应用模块
具体功能分类
子功能
备注
建设阶段
元数据
实体管理
技术元数据
数据源接口
按业务源系统分类组织
模板整理，批量导入
数据仓库DB
按照现有系统组织
自动获取
ETL应用程序（作业）
按作业用途分类
自动获取，视现场情况部分模板导入
逻辑模型
按数据流向的层次分类
自动获取，视现场情况部分模板导入
业务元数据
维度元数据
根据业务梳理
模板整理，批量导入
基础编码
根据业务梳理
模板整理，批量导入
指标元数据
根据业务梳理
模板整理，批量导入
业务术语、业务规则、业务描述
根据业务梳理
模板整理，批量导入
管理元数据
管理流程定义
按需梳理
模板整理，批量导入
项目团队（部门）人员、角色定义
按需梳理
模板整理，批量导入
系统、主机、运行环境管理
按需梳理
模板整理，批量导入
元数据
关系梳理
技术元数据
数据库表DB实体间字段级关系梳理
按数据流关系梳理
解析sql日志工具接口解析
ETL映射关系梳理
根据工具解析，或者约定解析sql日志。
自动解析或者日志解析，或者手工整理
接口与库表之间关系梳理
按照数据流关系梳理
自动解析或者日志解析，或者手工整理
业务元数据
各类业务元数据关系梳理
按照业务数据流向梳理
自动解析或者模板整理导入
管理元数据
管理流程定义关系梳理
按照管理关系梳理
模板整理导入
项目团队（部门）人员、角色关系梳理
按照实际关系梳理
模板整理导入
运行环境管理关系梳理
按照实际关系梳理
模板整理导入
元数据
应用
基础功能应用
图形分析功能
血缘分析、影响分析、数据地图展现、主机拓扑、关联分析、一致性分析
元数据查询
查询功能
元数据导入导出
导入导出功能
元数据质量管理
元数据质量管理功能
两级元系统互通
两级经营分析系统元数据互通功能
应用扩展能力
XMI格式的接口
REST风格接口
MOI接口
4项目实施计划
4.1建设规划
xx移动元数据项目建设，按照项目分4个阶段进行：
n第一阶段：
需求调研阶段，预计10个工作日；
n第二阶段：
建设阶段，预计40个工作日；
n第三阶段：
上线阶段，预计15个工作日；
n第四阶段：
运维阶段，预计200个工作日。
项目规划及人员安排列表
需求调研阶段
建设阶段
上线阶段
运维阶段
工作量估算
10个工作日
40个工作日
15个工作日
200个工作日
工作内容
需求调研
元数据建设规划
元模型规划
系统搭建
元数据梳理
导入元数据
系统测试
系统试用
用户培训
系统维护
系统运行维护
元数据更新
元数据定制开发
阶段性成果
需求调研说明文档
元数据建设规划文档
元数据模型说明文档
元数据项目计划文档
元数据说明文档
元数据源文件介质
元数据应用系统
用户使用培训
用户使用手册
系统维护手册
系统运行情况报告
元数据更新报告
定制开发功能文档
人
员
分
工
xx
移动
项目经理1人
-管理协助
项目经理1人
-管理协助
项目经理1人
-管理协助
项目经理1人
-管理协助
皓竹
公司
项目经理1人
需求调研人员1人
项目经理1人
实施人员1-2人
项目经理1人
实施人员1-2人
实施人员1人
开发人员1-4人
4.2时间安排
n第一阶段：
2012年6月11日至6月22日；
n第二阶段：
2012年7月2日至8月24日；
n第三阶段：
2012年8月27日至9月14日；
n第四阶段：
2012年9月17日至2013年6月21日；
备注：
时间安排以项目启动时间为准
4.3产品部署
项目正式启动后，皓竹公司安排工程师到场按照产品模式进行产品部署、产品介质交付。
根据产品安装步骤进行完整部署。
对部署好的产品进行现场基础数据导入，参数配置，联调，启动运行，确保产品正常运行。
4.4元模型定制
xx移动元数据项目建设前期，根据系统需求文档以及前期与客户进行的需求调研来确定各类信息资源标准，然后根据确定的信息资源标准来进行分类，并确定各类标准的元模型。
相关调研过程由厂商，客户协助，元模型的定制由皓竹主导完成。
元模型，即定义元数据的模型，元模型的定义遵循标准化、国际化的CWM模型（CommonWarehouseMetamodel），并且元模型具有可完全扩展、主流开放性（100%JAVA）的特点，最终形成《xx移动元数据模型设计》，需由xx移动、厂商、皓竹三方最终评审确定。
元模型基本包括以下几大类：
l管理类（包括系统资源、人员管理、任务管理、需求流程管理、运行环境管理、文档管理）；
l技术类（关系型数据库、OLAP、接口模型、ETL模型、erwin模型）；
l业务类：
指标、KPI、报表等元模型；
l编码模型：
信息分类及编码模型
视建设过程中如有需要扩展的，可进行元模型的扩展。
最终形成由皓竹元数据软件生成的符合CWM规范的XML元数据模型。
4.5元数据存储
按照标准项目实施步骤，在需求调研后，皓竹根据与集成商、客户协商约定的元模型标准定制好元模型后，接下来的工作是现场各类元数据的存储。
元数据存储过程流图
4.5.1技术类元数据存储
对于元数据的存储，皓竹目前成熟的方式为：
l工具接口自动抽取;
l模板整理批量导入；
技术元数据包括：
关系型数据库DB、OLAP、接口模型、ETL模型、erwin模型。
4.5.1.1关系型数据库元数据
皓竹已经有对主流数据库元数据的自动获取方式，此部分元数据可以直接获取。
皓竹能自动获取的数据库为：
Oracle，DB2，Teredata,Sqlserver，sybase等库。
l实现前提：
ØRDB元模型制定完成；
Ø相关厂商提供读取数据库或者表结构的视图权限，提供相关的连接方式。
Ø皓竹对MIB工具相应接口进行读取参数配置。
l实现方式：
通过MIB配置数据源，作业，执行作业自动抽取即可生成数据仓库DB实体元数据。
4.5.1.2OLAP元数据
皓竹已经有对主流OLAP工具的自动获取方式，如Cognos工
升级会员 