数据仓库整体过程PPT格式课件下载.pptx

1、业务探索（Business Discovery）,主要任务：确定重点用户与数据源 用户需求调研与确认 数据源确认 用户需求和数据源的筛选和分析 交付项目：业务需求说明书BRL（Business Requirement List）概念数据模型CDM（Conceptual Data Model）数据接口规范,步骤03：信息探索（Information Discovery）,主要任务：分析用户需求 数据源分析 进行工具评估 系统安全性设计 系统命名规范设计交付项目：功能需求列表FRL（Function Requirement List）系统安全性设计说明书 系统命名规范说明书数据质量分析报告,项目前

2、期准备,业务探索,信息探索,逻辑数据模型,步骤04：逻辑数据模型设计,主要任务：进行原始数据分析 建立实体模型 建立实体间依赖关系 完善并填入所有属性 建立数据库逻辑模型 利用工具：Erwin交付项目：数据仓库逻辑数据模型LDM逻辑数据模型说明书,项目前期准备,业务探索,信息探索,逻辑数据模型,步骤04：逻辑数据模型（LDM）示例,步骤05：系统体系结构设计,主要任务：对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估定义业务驱动力定义数据仓库成功的关键因素定义数据仓库的实施原则对系统体系结构各个组件进行详细设计交付项目：系统体系结构设计说明书,数据仓库管理

3、,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,步骤05：体系结构设计组件,用户类型拓扑结构网络存取与互连组织机构安全性数据体系结构逻辑数据模型元数据数据质量命名规范数据采集与转换用户存取及工具备份系统操作管理,步骤06：物理数据库设计,主要任务：转换逻辑数据模型（LDM）为物理数据模型定义索引、分区等非正规化处理（denormalizations）数据库建立设计优化数据库功能测试使用工具：ERWwin交付项目：物理数据模型（PDM）物理数据模型说明书数据库描述语言DDL,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设

4、计,元数据管理,解决方案集成,步骤06：物理数据模型（PDM）,步骤07：数据转换与加载（ETL）,主要任务：数据源及其特性定义数据析取、转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程40%-60%的工作量在数据转换与加载上使用工具：Data Integrator、C、Perl交付项目：数据转换加载设计说明书数据映射（Data Mapping）说明书 数据转换加载脚本（ETL Scripts）加载流程控制（ETL Process Control）,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,步

5、骤07：数据清洗方法,在源系统上进行清洗（数据析取前）在加载服务器上进行清洗（数据析取后、加载前）在数据仓库里进行清洗（数据加载后）,源系统,ETL服务器,数据仓库,SQL,C,Sh,C,Sh,SQL,步骤08：前端应用开发,主要任务：前端应用体系结构设计OLAP应用设计（Summary/Fact表及Cub的产生）前端应用开发（随机查询、预定义报表、OLAP应用）撰写用户使用手册用户测试验收使用工具：查询报表工具OLAP工具（BusinessObjects,Cognos）基于Web的开发工具（WebIntelligence,InterDev）其他开发工具交付项目：前端应用体系结构设计说明书应用

6、模块设计说明书 用户使用手册,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,步骤09：数据挖掘服务,2.知识应用（Knowledge Deployment）:将发现的知识应用于某种目标，例如进行预测,1.知识发现（Knowledge Discovery）:发现将数据转变成信息的潜在模式,数据,知识,信息,决策与行动,步骤10：元数据开发,元数据的开发应该包含在数据仓库实施过程的每一步骤中，下图是元数据各部分内容与数据仓库开发过程的对应关系：,步骤10：元数据管理,元数据管理,专家知识,步骤11：数据仓库管理,主要任务：设计和开发数据仓

7、库支持体系结构开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试数据备份与恢复程序开发和测试安全系统设计和开发操作人员/最终用户培训计划建立用户支持和培训材料使用工具：系统监控工具和管理工具交付项目：数据仓库管理过程说明书数据备份过程设计说明书安全管理模块设计说明书用户培训计划及用户使用手册,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,步骤12：解决方案集成（系统验收与试运行）,主要任务：建立并执行集成测试计划建立并执行数据仓库平台测试计划建立并执行系统验收测试计划移植开发系统到生产系统执行用户培训计划实施数据仓库管理基

8、础设施项目实施完成回顾项目状态交付项目：数据转换管理系统测试报告数据访问和信息发布系统测试报告数据仓库平台测试报告数据仓库管理过程测试报告系统回顾报告,数据仓库管理,物理数据模型,数据转换,应用开发,数据挖掘服务,系统体系结构设计,元数据管理,解决方案集成,数据仓库实施方法论项目具体实施步骤BI（Business Intelligence）,BI 的任务,业务应用和数据,结论体现业务价值,读取、分析企业信息，得出分析结论。为企业决策提供科学可靠的数据依据。,改良的计划和定位优化性能增强的客户联系,BusinessIntelligence,BI 的三大支柱,Business Intelligen

9、ce,ApplicationsCorporate Performance ManagementCRM AnalyticsRegulatory CompliancePredictive AnalyticsProfitability Analysis,Infrastructure or ToolsETL or Data QualityDatabase ManagementMetadataReportingAd Hoc AnalysisData Mining,Best PracticesMethodologiesOrganisationManagementCultureSkills,+,+,BI：集

10、中的技能,Business,Skills,IT Skills,Analytic Skills,BICompetencyCentre,Implement,changes,Store,maintain,and integrate data,Identify data,Discover and,explore,Summarise,and analyse,Develop decision,alternatives,Link to,corporate,strategy,Prioritise,and set,expectations,Alter,processes,Establish,requirements,Extract,data,Monitor,results,Interpret,results,一个分析结果的产生过程,数据仓库/集市,BI系统数据分析过程,转换,展示,组织,抽取,分析,Metadata,设计,装载,决策,DB,谢谢！,