客户关系管理教案第07讲文档格式.docx
《客户关系管理教案第07讲文档格式.docx》由会员分享，可在线阅读，更多相关《客户关系管理教案第07讲文档格式.docx（17页珍藏版）》请在冰豆网上搜索。
从某种意义上说，数据仓库是客户关系管理的灵魂。
利用数据仓库，企业可以对客户行为进行分析与预测，从而制定准确的市场策略、发现企业的重点客户和评价市场性能，并通过销售和服务等部门与客户交流，实现企业利润的提高。
对于客户量大、市场策略对企业影响较大的企业来说，必须在客户关系管理系统中包含数据仓库。
DSS：
决策支持系统（DecisionSupportsystem），相当于基于数据仓库的应用。
决策支持就是在收集所有有关数据和信息，经过加工整理，来为企业决策管理层提供信息，为决策者的决策提供依据。
■■■打开幻灯片■■■PageNo.4
4.1.1数据仓库的产生
早期的数据库主要支持联机事务处理
决策支持对数据分析的需求
传统数据库系统不适宜DSS
1）事务处理（LTP）和分析处理（LAP）的性能特性不同
2）数据集成问题
3）数据动态集成问题
4）历史数据问题
5）数据的综合问题
6）操作繁简问题
■■■打开幻灯片■■■PageNo.5
（1）事务处理和分析处理的性能特性不同。
所有联机事务处理强调的是数据更新处理性能和系统的可靠性，并不关心数据查询的方便与快捷。
在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处理的时间短。
在分析处理环境中，用户的行为模式与此完全不同，强调的是数据处理和分析的能力。
在传统数据库系统基础上的DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。
联机分析和事务处理对系统的要求不同，同一个数据库在理论上难以做到两全，将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。
什么是联机分析处理（OLAP）
联机分析处理（OLAP）的概念最早是由关系数据库之父E.F.Codd于1993年提出的，他同时提出了关于OLAP的12条准则。
OLAP的提出引起了很大的反响，OLAP作为一类产品同联机事务处理（OLTP）明显区分开来。
当今的数据处理大致可以分成两大类：
联机事务处理OLTP（on-linetransactionprocessing）、联机分析处理OLAP（On-LineAnalyticalProcessing）。
OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。
OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
■■■打开幻灯片■■■PageNo.6
（2）数据集成问题。
DSS需要集成的数据。
全面而正确的数据是有效的分析和决策的首要前提，相关数据收集得越完整，得到的结果就越可靠。
当前绝大多数企业内数据的真正状况是分散而非集成的。
造成这种分散的原因有多种，主要有事务处理应用分散、“蜘蛛网”问题、数据不一致问题、外部数据和非结构化数据。
■■■打开幻灯片■■■PageNo.7
（3）数据动态集成问题。
静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这些
变化将不能反映给决策者，导致决策者使用的是过时的数据。
集成数据必须以一定的周期（例如24小时）进行刷新，我们称其为动态集成。
显然，事务处理系统不具备动态集成的能力。
■■■打开幻灯片■■■PageNo.8
（4）历史数据问题。
事务处理一般只需要当前数据，在数据库中一般也是存储短期数据，且不同数据的保存期限也不一样，即使有一些历史数据保存下来了，也被束之高阁，未得到充分利用。
但对于决策分析而言，历史数据是相当重要的，许多分析方法必须以大量的历史数据为依托。
没有历史数据的详细分析，是难以把握企业的发展趋势的。
DSS对数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。
■■■打开幻灯片■■■PageNo.9
（5）数据的综合问题。
在事务处理系统中积累了大量的细节数据，一般而言，DSS并不对这些细节数据进行分析。
在分析前，往往需要对细节数据进行不同程度的综合。
而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而加以限制。
■■■打开幻灯片■■■PageNo.10
（6）操作繁简问题。
业务数据的模式是针对事务处理系统而设计的，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。
■■■打开幻灯片■■■PageNo.11
有人感叹：
20年前查询不到数据是因为数据太少了，而今天查询不到数据是因为数据太多了。
要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离。
必须把分析型数据从事务处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。
数据仓库的数据从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到。
它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。
■■■打开幻灯片■■■PageNo.12
4.1.2数据仓库的概念和特征
目前，数据仓库一词尚没有一个统一的定义。
著名的数据仓库专家W.H.Inmon在其著作《BuildingtheDataWarehouse》一书中给予如下描述：
数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。
■■■打开幻灯片■■■PageNo.13
数据仓库概念的两个层次
功能上：
数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；
内容和特征上：
数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。
■■■打开幻灯片■■■PageNo.14
数据仓库四个特点-面向主题
传统的数据库是面向应用而进行数据组织的，其抽象程度不够高，没有完全实现数据与应用的分离。
但这种方式能较好地将企业业务活动与数据库模式相对应，利于从手工处理向计算机处理过渡，因而具有较好的可操作性；
数据仓库是面向主题而进行数据组织的。
主题是一个在较高层次上对数据的抽象，在逻辑意义上，它是对企业中某一宏观领域所涉及的分析对象，即将数据组织成主题域。
例如，在银行经营运作中，业务（存款、贷款、汇兑）、货币、客户、机构、会计科目是其主要构架或方向，因此在银行业务数据仓库中，选择业务、货币、客户、机构、会计科目五个主题，并将会计科目作为连接其他四个主题的交易主题进行处理。
面向主题可以独立于数据处理逻辑，适用于分析型数据环境，适用于建设企业全局数据库；
数据仓库中目前仍采用关系数据库技术来实现，其面向主题所作较高程度上的抽象，应强调其逻辑意义。
■■■打开幻灯片■■■PageNo.15
数据仓库四个特点-集成的
面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。
在数据仓库的所有特性之中，这是最重要的。
应用问题的设计人员历经多年制定出来的不同的设计决策有很多很多种不同的表示方法，没有什么应用在编码、命名习惯、实际属性、属性度量等方面是一致的，各个应用问题设计员自由地做出他或她自己的设计决策。
数据仓库中的数据是集成的。
而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。
在数据仓库建设中，这是最关键最复杂的一个步骤，主要工作有：
一是，进行数据的综合和计算；
二是，统一源数据中所有不一致和矛盾的地方（如同名异义、异名同义、字长不一致、单位不一致等）。
■■■打开幻灯片■■■PageNo.16
■■■打开幻灯片■■■PageNo.17
数据仓库四个特点-相对稳定的
操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。
数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。
■■■打开幻灯片■■■PageNo.18
■■■打开幻灯片■■■PageNo.19
数据仓库四个特点-反映历史变化
操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。
数据仓库中的数据时间期限要远远长于操作型系统中的数据时间期限。
操作型系统的时间期限一般是60～90天，而数据仓库中数据的时间期限通常是5～10年。
操作型数据库含有“当前值”的数据，这些数据的准确性在访问时是有效的，同样当前值的数据能被更新。
而数据仓库中的数据仅仅是一系列某一时刻生成的复杂的快照。
操作型数据的键码结构可能包含也可能不包含时间元素，如年、月、日等。
而数据仓库的键码结构总是包含某时间元素。
数据仓库的数据码键都包含时间项，用作标明数据的历史时期。
数据仓库中的数据包含有大量综合数据，很多与时间有关，如按时间段进行综合或隔时间片进行抽样。
随着时间变化，数据仓库需要不断增加新数据、删去旧数据。
■■■打开幻灯片■■■PageNo.20
■■■打开幻灯片■■■PageNo.21
数据仓库本质
教材P51
数据仓库实际上是一个“以大型数据管理信息系统为基础的、附加在这个数据库系统之上的、存储了从企业所有业务数据库中获取的综合数据的、并能利用这些综合数据为用户提供经过处理后的有用信息的应用系统”。
如果说传统数据库系统的重点与要求是快速、准确、安全、可靠地将数据存进数据库中的话，那么数据仓库的重点与要求就是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。
数据仓库所要研究和解决的问题就是从数据库中获取信息。
■■■打开幻灯片■■■PageNo.22
数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向于工程，具有强烈的工程性。
因此，在技术上人们习惯于从工作过程等方面来分析，并按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方面。
■■■打开幻灯片■■■PageNo.23
数据的抽取
数据的抽取是数据进入仓库的入口。
由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。
数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等方面。
数据仓库中的数据并不要求与联机事务处理系统保持实时同步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。
■■■打开幻灯片■■■PageNo.24
存储和管理
数据仓库的真正关键是数据的存储和管理。
数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。
要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。
■■■打开幻灯片■■■PageNo.25
数据的表现
数据表现实际上相当于数据仓库的门面，其性能主要集中在多维分析、数理统计和数据挖掘方面。
而多维分析又是数据仓库的重要表现形式，近几年来由于互联网的发展，使得多维分析领域的工具和产品更加注重提供基于Web前端联机分析界面，而不仅仅是在网上发布数据。
■■■打开幻灯片■■■PageNo.26
4.1.4数据仓库系统体系结构
■■■打开幻灯片■■■PageNo.27
数据源
数据源是数据仓库系统的基础，是整个系统的数据源泉。
通常包括企业内部信息和外部信息。
内部信息包括各种业务处理数据和各类文档数据。
外部信息包括各类法律法规、市场信息和竞争对手的信息等等。
■■■打开幻灯片■■■PageNo.28
数据的存储与管理
数据的存储与管理是整个数据仓库系统的核心。
针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。
数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。
■■■打开幻灯片■■■PageNo.29
OLAP服务器
OLAP服务器对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。
其具体实现可以分为：
ROLAP、MOLAP和HOLAP。
ROLAP基本数据和聚合数据均存放在RDBMS之中；
MOLAP基本数据和聚合数据均存放于多维数据库中；
HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。
■■■打开幻灯片■■■PageNo.30
前端工具
前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具及各种基于数据仓库或数据集市的应用开发工具。
其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。
■■■打开幻灯片■■■PageNo.31
数据仓库概述小结
4.1.2数据仓库概念及特征
4.1.4数据仓库系统的体系结构
■■■打开幻灯片■■■PageNo.32
vCRM与数据仓库的关系
vCRM中数据仓库的作用
vCRM中数据仓库的系统结构
这部分内容通过阅读教材第55~60页来学习，找出要点。
■■■打开幻灯片■■■PageNo.33
4．3数据仓库的项目实施
数据仓库的建设是一个系统工程，是一个不断建立、发展、完善的过程，通常需要较长的时间。
这就要求各企业对整个系统的建设提出一个全面、清晰的远景规划及技术实施蓝图，将整个项目的实施分成若干个阶段，以“总体规划、分步实施、步步见效”为原则，不仅可迅速从当前投资中获得收益，而且可以在已有的基础上，结合其他已有的业务系统，逐步构建起完整、健壮的数据仓库系统。
数据仓库提供了有效地存取和管理大量数据的理想环境，而数据仓库系统的建立是一个由数据驱动、以技术支撑并满足应用需求的不断增长和完善的开发过程。
因此数据仓库的建立可以从数据、技术和应用三方面展开。
■■■打开幻灯片■■■PageNo.34
数据仓库的项目实施
■■■打开幻灯片■■■PageNo.35
4.3.1项目计划
项目计划是指定义创建数据仓库的项目目标和确定项目范围，包括对项目计划的评估和流程的调整。
数据仓库在构建之初应明确其主题，主题是一个在较高层次将数据归类的标准，每一个主题对应一个宏观的分析领域，针对具体决策需求可细化为多个主题表，具体来说就是确定决策涉及的范围和所要解决的问题。
但是主题的确定必须建立在现有联机事务处理（OLTP）系统基础上，否则按此主题设计的数据仓库存储结构将成为一个空壳，缺少可存储的数据。
但一味注重OLTP数据信息，也将导致迷失数据提取方向，偏离主题。
需要在OLTP数据和主题之间找到一个“平衡点”，根据主题的需要完整地收集数据，这样构建的数据仓库才能满足决策和分析的需要。
确定范围的主要任务包括了解方向性分析处理需求，确定信息需求，确定数据覆盖范围。
方向性需求包括：
决策类型、决策者感兴趣的问题（或对象）等。
在确定范围时应该重视的因素是必须用户驱动和数据驱动相结合，同时可以借鉴国内外已有的成功经验。
■■■打开幻灯片■■■PageNo.36
4.3.2业务需求分析
业务需求分析是数据仓库中一个很重要的阶段，好的业务需求分析会使项目成功的机率大大增加。
分析阶段主要包括两个方面的任务是深入了解数据源和分析数据仓库系统所包含的主题域及其相互之间的关系。
分析阶段必须坚持用户参与，并且与原有系统开发或维护人员进行深入的沟通。
■■■打开幻灯片■■■PageNo.37
4.3.3数据线
数据线的实施可以分为模型设计、物理设计、数据预处理三个步骤，用以满足对数据的有效组织和管理。
■■■打开幻灯片■■■PageNo.38
数据线-模型设计
需求分析已经确定了用户业务分析所需要的数据。
模型设计阶段将确定数据仓库系统将来的蓝图。
数据仓库的逻辑设计一般采用星型模型和雪花模型设计其数据模型。
包括选择合适的主题，确定事实表、相关的维、属性和粒度划分，设计正确的表结构和主键、外键关系等。
模型设计主要包括四个基本步骤：
确定合适的主题、划分粒度层次、设计维表和设计事实表。
■■■打开幻灯片■■■PageNo.39
ER图（实体关系图）
ER（Entity-relationship）图：
实体关系图，也称ERD，出现于20世纪70年代中期，创建者是Perter
Chen博士。
ER图概念化地构建实体间关系的模型。
ER图的理念是：
项目所有参与者都能理解ER图。
ER图由不同实体类型、关系、特性和类型构成。
实体是诸如用户的实际对象，有时更抽象，但必须有业务意义。
特性用于描述实体，关系用于实体之间。
ER图的一个问题是没有真正的标准。
不过，多数人对ER图的用法差别并不大。
■■■打开幻灯片■■■PageNo.40
三维透视图
■■■打开幻灯片■■■PageNo.41
ER图中所示的数据模型中有四个相互关联的简单实体。
如果数据库设计只需要考虑数据模型的话，可以推断所有的实体都是平等关系。
换言之，从数据模型的设计角度来看，所有的实体之间的关系是对等的。
仅仅从数据模型的角度来着手设计数据仓库会产生一种“平面”效应。
实际上，由于种种原因，数据仓库的实体绝不会是相互对等的。
一些实体，要求有它们自己的特别处理。
为了明确为什么从数据模型的角度看一个组织中的数据和关系会发生失真，根据在数据仓库中建立实体时将载入数据实体的数据量，我们来考虑数据仓库中数据的一种三维透视。
三维透视图表明了这种三维透视。
代表供应商、客户、产品、发货的实体被稀疏地载入，而代表订单的实体则大量地载入。
将会有大量的数据载入代表订单实体的表中，而在代表别的实体的表中载入的数据量则相对较少。
由于大量的数据要载入订单实体，因此需要一种不同的设计处理方式。
■■■打开幻灯片■■■PageNo.42
用来管理数据仓库中载入某个实体的大量数据的设计结构通常用“星型连接”。
首先确立主题，订单是有大量数据的重要主题，那么“订单”位于星型连接的中央。
在其周围分别是“产品”、“客户”、“供应商”和“发货”实体。
这些实体仅仅会产生不大的数据量。
星型连接中央的“订单”被称作是“事实表”，而其周围的其他实体—“产品”、“客户”、“供应商”和“发货”则被称为“维表”。
事实表包含了“订单”独有的标识数据，也包含了订单本身的独有数据。
事实表还包含了指向其周围的表—维表的外键。
■■■打开幻灯片■■■PageNo.43
■■■打开幻灯片■■■PageNo.44
创建和使用星型连接的一个有趣的方面是，在很多情况下，文本数据与数值数据是分离开的。
文本数据常出现在维表中，数值数据常出现在事实表中，这种划分似乎在所有情况都会发生。
■■■打开幻灯片■■■PageNo.45
■■■打开幻灯片■■■PageNo.46
创建和使用星型连接的好处是可以为决策支持系统的处理优化数据。
通过数据预连接和建立有选择的数据冗余，设计者为访问和分析过程大大简化了数据，这正是数据仓库所需要的。
如果不是在决策支持系统数据仓库环境中使用星型连接，则会有很多的缺点。
在决策支持系统数据仓库环境以外，常有数据更新，而且数据关系的管理要在秒的一级上进行。
在这种情况下星型连接在创建和维护上就是很麻烦的数据结构。
但是由于数据仓库是一个装载—访问环境，它包括很多历史数据，且有大量的数据要管理，因此，星型连接的数据结构是十分理想的。
■■■打开幻灯片■■■PageNo.47
雪花模型。
雪花模型是对星型模型的扩展，每个维表都可以向外连接到多个详细类别表。
雪花模型对星型模型的维表进一步层次化，原有的各维表可能被扩展为小的事实表，形成一些局部的“层次”区域。
在维表上连接对事实表进行详细描述的详细类别表，达到了缩小事实表，提高查询效率的目的。
■■■打开幻灯片■■■PageNo.48
■■■打开幻灯片■■■PageNo.49
雪花模型的优点是：
通过最大限度的减少数据存储量以及联合较小的维表来改善查询性能。
雪花模型增加了用户必须处理的表数量，增加了某些查询的复杂性，但这种方式可以使系统进一步专业化和实用化，同时降低了系统的通用程度。
■■■打开幻灯片■■■PageNo.50
数据线-物理设计
物理设计的主要任务是定义支持模型设计必需的物理结构。
其过程包括以下三个方面：
1）确定物理存储结构；
2）确定索引策略；
3）确定存储分配。
■■■打开幻灯片■■■PageNo.51
数据线-数据处理
（1）数据预处理。
它是数据仓库设计工程中非常重要的过程，它由三个主要步骤组成：
抽取（Extraction）、转换（Transformation）、加载（Load），简称ETL。
抽取过程将会暴露源系统中数据的质量问题。
由于数据的质量严重影响着数据仓库的可信程度，因此在数据预处理过程中，需要提高数据质量，让数据仓库使用真正有效的数据。
目前有很多工具可以帮助用户完成数据抽取、转换和装载工作，但是还有相当一部分工作是要手工编程来完成的。
根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源（包括各平台的数据库、文本文件、HTML文件、知识库等）进行清理、转换，对数据进行重新组织和加工，装载到数据仓库的目标库中。
在组织不同来源的数据过程中，先将数据转换成一种中间模式，再把它移至临时工作区。
加工数据是保证目标
升级会员 