BI概念以及数据仓库讲解.ppt

BI概念以及数据仓库讲解.ppt

《BI概念以及数据仓库讲解.ppt》由会员分享，可在线阅读，更多相关《BI概念以及数据仓库讲解.ppt（136页珍藏版）》请在冰豆网上搜索。

1integration*intelligence*insight数数据据仓仓库库概概念念2integration*intelligence*insight知识模块分解知识模块分解此次课程涵盖下面的模块：

此次课程涵盖下面的模块：

模块模块1:

数据仓库数据仓库-概述概述以及以及数据仓库和数据仓库和OLTP（联机事务处理）的对比（联机事务处理）的对比模块模块2:

数据仓库架构数据仓库架构模块模块3:

ETL过程过程模块模块4:

数据仓库和数据集市的对比，以及数据仓库概念模型数据仓库和数据集市的对比，以及数据仓库概念模型模块模块5:

OLAP（联机分析处理）概述（联机分析处理）概述模块模块6:

数据仓库成功的诀窍数据仓库成功的诀窍33integration*intelligence*insight数据仓库概念数据仓库概念模块模块114integration*intelligence*insightintegration*intelligence*insight包含的主题包含的主题本模块提供需要数据仓库的原因什么是数据仓库数据仓库的发展过程数据仓库架构数据挖掘如何和数据仓库共同工作的使用数据仓库的好处为什么需要一个分离的数据仓库?

OLTP和数据仓库之间的区别55integration*intelligence*insight什么是什么是BI?

商务智能（BI）包含的应用系统和技术较宽泛，通过收集、存储、分析和提供对数据的访问，来帮助企业用户做出更好的商务决策。

BI应用包括决策支持、查询和报表、联机分析处理OLAP、统计分析、预测和数据挖掘等活动。

例如:

BusinessObjects:

66integration*intelligence*insightBI-简而言之简而言之7RawData7integration*intelligence*insight哪些人是带给我们最低/最高利润的客户?

哪些人是我们的客户以及他们买什么产品?

哪些客户最有可能流失到竞争对手那里?

新产品/服务会对收入和利润有什么影响?

什么产品促销方式最能影响收入?

什么是最有效的分销渠道?

一个厂商想知道一个厂商想知道.8integration*intelligence*insight数据数据,数据无处不在。

然而数据无处不在。

然而我找不到我所需要的数据数据分散在网络上的各个地方数据存在多个版本,其中有细小的差别我不能获取我所需要的数据需要一个专家来获取数据我无法理解所找到的数据可得到的数据，但对应的文档说明很糟糕我无法使用所找到的数据结果不是期望的数据需要从一种形式转换到另外一种形式9integration*intelligence*insight什么是数据仓库什么是数据仓库?

“单一的、完整的和一致的数据存储，这些数据从多个数据源获取，经过加工成在一定程度上为最终用户可理解的形式，以用于业务管理。

”BarryDevlin10integration*intelligence*insightintegration*intelligence*insight什么是数据仓库什么是数据仓库?

数据仓库的目标，是利用组织里的数据，更加有效地辅助决策过程.数据仓库是收集组织后的数据集合。

它容易通过分析、抽取、合并，进而被用来进一步理解数据。

它可以与收集数据来进行即时处理的业务系统进行对比，如订单和付款事务处理,尽管其数据也可能成为数据仓库的一部分。

数据仓库是一个集成的中央数据库，包含来自于组织内的所有操作型数据源和归档系统。

它包含了事务处理系统数据的拷贝、特别是用于查询分析的结构化数据。

1111用户要说的是用户要说的是.应该整合整个企业内的数据汇总数据对整个组织具有价值历史数据有重要作用灵活的决策支持能力12integration*intelligence*insight什么是数据仓库什么是数据仓库?

是一个将数据转换成信息、使其能及时供最终用户使用的过程。

DataInformation13integration*intelligence*insight演变过程演变过程60年代:

批处理报表难于查找和分析信息缺乏灵活性，成本昂贵，对于每个新需求都要重新编程70年代:

基于终端的DSS和andEIS（主管信息系统）仍然缺乏灵活性,没有和桌面工具集成起来80年代:

桌面级数据访问和分析工具查询工具，电子表格，图形界面易于使用，但是只能访问操作型数据库90年代至今:

带有集成OLAP引擎和工具的数据仓库,实时数据仓库14integration*intelligence*insight数据仓库数据仓库数据仓库是面向主题的集成的时变的（随时间变化的）非易失的易得到的数据集合，主要用于组织里的决策制定。

-BillInmons,BuildingtheDataWarehouse199615integration*intelligence*insight数据仓库架构数据仓库架构数据仓库引擎优化加载抽取清洗分析查询RelationalDatabasesLegacyDataPurchasedDataERPSystems16integration*intelligence*insight数据挖掘和数据仓库数据挖掘和数据仓库数据仓库是企业的数据存储数据挖掘是挖掘出企业数据中的知识17integration*intelligence*insight什么使数据挖掘成为可能什么使数据挖掘成为可能?

如下领域的发展，使得数据挖掘的运用成为可能:

数据仓库更好和更多的数据（如,操作型数据,行为数据,以及人口统计学数据）易于部署的数据挖掘工具的出现新的数据挖掘技术的出现.-GartnerGroup18integration*intelligence*insight为什么要分离出数据仓库为什么要分离出数据仓库?

性能性能操作型数据库设计，应用于已知事务和工作量的场合对于操作型系统来说，进行复杂的OLAP查询会使其性能下降。

对多维视图和查询，需要特殊的数据组织方式，读取方法，实施方案。

功能功能遗失数据：

决策支持需要历史数据，而操作型数据库并不保存它数据整合：

决策支持需要整合（聚合，汇总）来自多个异构数据源（操作型数据库，外部数据源）的数据数据质量：

不同数据源经常使用不一致的数据表现形式、代码、格式，需要统一它们19integration*intelligence*insight数据仓库的好处数据仓库的好处可靠的报表可靠的报表快速得到数据快速得到数据集成的数据集成的数据灵活的数据展示方式灵活的数据展示方式更好的决策制定更好的决策制定20integration*intelligence*insight那么那么,二者的区别是什么二者的区别是什么?

21integration*intelligence*insight面向应用的面向应用的vs面向主题的面向主题的面向应用的操作型数据库操作型数据库贷款信用卡信托存款面向主题的数据仓库数据仓库客户供应商产品活动22integration*intelligence*insight对比对比OLTP和和数据仓库数据仓库OLTP面向应用的用来运行事务处理详细的数据当前最新数据孤立的数据重复访问操作人员数据仓库（DSS）面向主题的用来分析业务汇总和精炼的数据快照数据集成的数据即席查询知识用户（管理者）23integration*intelligence*insightOLTPVs数据仓库数据仓库OLTP对性能敏感同时访问少量的记录（数十条）可以读和更新没有数据冗余DB大小:

100MB-100GB用户：

数百个-数千个数据仓库对性能不敏感同时访问大量的数据（数百万条）主要是读（批量更新）存在数据冗余DB大小:

100GB-TB用户：

数个-数百个24integration*intelligence*insight总的来说总的来说.OLTP系统用来“运行”事务处理数据仓库用来帮助“优化”业务25integration*intelligence*insight来自多个数据源的单一的，完整的一致的数据存储。

什么是BI?

什么是数据仓库?

数据仓库架构数据挖掘如何同数据仓库共同工作数据仓库的好处数据仓库和OLTP的区别需要分离出数据仓库的原因要点概述要点概述可靠的报表快速读取数据集成数据更好的进行决策BI集成了挖掘数据，分析，报表的功能。

数据挖掘提供从企业数据仓库中挖掘的知识。

用来分析业务用来运行业务26integration*intelligence*insight测验测验1._是数据仓库的面向一个主题的视图是数据仓库的面向一个主题的视图OLTP系统系统/DataStagingArea/DataMart/None2.数据挖掘意味着数据挖掘意味着_Modeling/Forecasting/ExplanatoryAnalysis3.订单输入系统是一个订单输入系统是一个OLTP系统的例子系统的例子True/False4.数据仓库的并发用户数量不是很多数据仓库的并发用户数量不是很多False/True5.数据抽取是数据抽取是_过程过程A.从数据源获取信息从数据源获取信息/数据，并将其变成可用于数据仓库数据，并将其变成可用于数据仓库B.将抽取的数据加载到数据仓库将抽取的数据加载到数据仓库C.BothDataMartForecastingTrueTrueBoth27integration*intelligence*insight数据仓库架构数据仓库架构模块模块模块模块2228integration*intelligence*insight架构架构,设计设计&构造构造数据仓库架构加载及更新结构/模型integration*intelligence*insight29integration*intelligence*insightintegration*intelligence*insight涵盖的主题涵盖的主题这个部分包括下列内容：

数据仓库架构基本的两个层次架构-独立的数据集市-数据集市及数据存储ETL过程数据质量保证数据质量保证工具ETL工具元数据及其重要性3030integration*intelligence*insightintegration*intelligence*insight数据仓库架构数据仓库架构数据仓库架构数据仓库架构业务系统业务系统信息转换/集成架构外部系统外部系统企业数据仓库财务数据集市财务数据集市独立的独立的销售数据集市销售数据集市非独立的非独立的市场数据集市市场数据集市非独立的非独立的网络服务器网络服务器外部客户外部客户备份服务局域网客户局域网客户31integration*intelligence*insight数据仓库架构数据存储介质数据存储介质遗留系统遗留系统元数据存储元数据存储临时存储区临时存储区抽取抽取/转换服务器转换服务器往数据仓库往数据仓库/数据集市数据集市元数据设计元数据设计/管理管理清洗工具清洗工具映射工具映射工具抽取管理工具抽取管理工具转换工具转换工具移植管理工具移植管理工具32数据仓库架构数据仓库架构通用的两类架构独立的数据集市数据集市和操作型数据存储这两个层次的架构都会涉及到数据的抽取，转换及加载（ETL）33integration*intelligence*insight通用的两类架构通用的两类架构ETLOne,company-widewarehouse周期性抽取数据仓库的数据并不全都是最新的数据34integration*intelligence*insight独立数据集市独立数据集市数据集市数据集市数据集市数据集市:

小型数据仓库,范围有所限制ETL每个独立的数据集市必须单独进行ETL数据获取复杂是由于存在多个数据集市造成的35integration*intelligence*insight非独立数据集市和操作型数据存储非独立数据集市和操作型数据存储ETL对于企业数据仓库的单一对于企业数据仓库的单一ETL过过程程（EDW）数据访问将变得简单ODS提供获取当前最新数据的渠