第5章 电子商务中的数据仓库技术.pptx

1、第 5 章 电子商务中的数据仓库技术主要内容：CIF 与电子商务 识别电子商务用户 电子商务与企业数据的整合 数据仓库在电子商务中的应用、探索与变化24年2月1日1武汉大学信息管理学院5.1 CIF 和电子商务本节主要内容：nCIF 的组成部分n定义电子商务体系结构需求n理解点击流数据n利用元数据转化语言来解释信息n理解 CIF 和电子商务接口24年2月1日2武汉大学信息管理学院5.1.1 CIF 组成部分q CIF：企业信息工厂，Corporate Information Factory，CIF 基础设施包括以下组成部分：因特网（Internet）企业网站（Corporate Web Sit

2、e）防火墙（Firewall）企业操作型系统（Corporate operational system）粒度管理器（Granualrity manager）24年2月1日3武汉大学信息管理学院企业数据仓库（Enterprise data warehouse）企业数据集市环境（Corporate data mart environment）探索环境（Exploration environment）可选存储/近线存储环境（Alternative storage/near line storage environment）企业操作型数据存储环境（Corporate operational data

3、store）24年2月1日4武汉大学信息管理学院24年2月1日5武汉大学信息管理学院（一）定义 WEB 环境WEB 环境三要素：Internet防火墙网站本身除了这些外，WEB 环境还要包括一些内容：24年2月1日6武汉大学信息管理学院1.企业操作型系统企业操作型系统企业操作型系统负责运行日常操作,这些操作通常是在某种媒介上进行。企业操作型系统主要用来管理事务。消费者或者代理可以直接提交这些事务。数据是通过集成/转化（I/T）程序来提供的，I/T 程序也称作抽取、转化、和装载抽取、转化、和装载（ETL，Extract,Transform,Load）程序。它们负责将这些来自许多程序的数据转化为一

4、种统一的格式和结构，从而将电子商务数据无缝地集成到企业中来。24年2月1日7武汉大学信息管理学院2.粒度管理器粒度管理器粒度管理器是一种用于对网站数据进行预处理以便让数据进入 CIF 的软件。负责组织网站数据，以便这些数据可以有效应用于整个系统中。有些情况下，需要丢弃一些数据，而在另外一些情况下，则需要合并相似类型的数据，因此必须谨慎使用粒度管理器，以免破坏数据。24年2月1日8武汉大学信息管理学院3.企业数据仓库企业数据仓库企业数据仓库（Enterprise Data Warehouse，EDW）位于整个处理过程的中心。所有数据都曾经存储在企业数据仓库中，包括：粒状数据粒状数据历史数据历史数

5、据集成数据集成数据企业数据企业数据24年2月1日9武汉大学信息管理学院n粒状数据粒状数据 这是最低的细节级，可以转化为不同的形式和结构。n历史数据历史数据 近 5 年的数据均可以保存，这些数据可用于直接分析。n集成数据集成数据 这种数据是消除了应用偏差的数据。n企业数据企业数据 通常包括这些数据：易于访问，易于修改。24年2月1日10武汉大学信息管理学院4.企业数据集市环境企业数据集市环境企业数据仓库包含了一些粒度非常小而非常详细的数据。一个组织内的不同部门需要根据特定需要查看不同形式组织的数据。这样就要建立物理上独立的数据库数据集市。经常需要拥有自己的数据集市的部门：q销售销售：用于销售报表

6、。q营销营销：用于确定市场潜力和渗透力。q财务财务：用于在开支上进行下钻。q会计会计：用于建立报表和修正。q人力资源人力资源：用于满足管理需求。q工程工程：用于提供产品跟踪。q保险精算保险精算：用于风险管理。24年2月1日11武汉大学信息管理学院5.5.探索型数据仓库探索型数据仓库6.探索型数据仓库允许探索者随心所欲地7.进行大量探索处理，而不会对数据仓库环8.境的其他用户造成负面影响。来自 WEB 环9.境中的数据可以通过起一数据仓库进入探10.索型数据仓库。11.探索型数据仓库对 WEB 用户而言非常12.重要，当业务模式发生变化时，探索型数13.据仓库会最先并且最清楚地察觉到这些变14.

7、化。24年2月1日12武汉大学信息管理学院6.可选存储可选存储虽然使用高性能磁盘存储，从技术上对企业数据仓库意义非常大，但是下列 2 个因素使得这种存储并不是最佳方案：n数据仓库的信息量急剧增加，电子商务中非常明显n需要将数据分类：经常使用的数据、很少使用的数据因此，有必要将 EDW 开展到高性能磁盘存储以外的介质上。即：可选二级存储，与高性能磁盘存储相比，可选存储比较廉价，但存取速度也较慢。当数据仓库被扩展到二级存储时，数据可以以最低节级、最高粒度存入数据仓库。24年2月1日13武汉大学信息管理学院7.操作型数据存储（操作型数据存储（ODS）Web 环境中，ODS（Operational D

8、ata Store)是CIF 中最重要的结构之一。ODS 的特征就是一种能够处理混合负载的操作系统和数据库管理系统。两种 ODS 类型：q Web ODS：存在于 Web 环境内部，核心部分是一台普通规模的计算机q 企业 ODS：存在于 CIF 内部，核心部分是一台大型计算机这两种 ODS 分别针对不同的目的而设计。企业 ODS 是一个真正的“产业实力”处理器，它能够容纳比 WEB ODS 多的数据，是一种“全局的”ODS。Web ODS 只为源于 Web 服务器内部的事务提供服务，是一种“局部的”ODS。利用粒度管理器，ODS 可以适应不同级别的数据粒度（0 级、1 级、2 级）。24年2月

9、1日14武汉大学信息管理学院24年2月1日15武汉大学信息管理学院24年2月1日16武汉大学信息管理学院24年2月1日17武汉大学信息管理学院（二）定义电子商务体系结构需求n什么是电子商务基础设施n什么是点击流数据n在 web 用户与网站交互过程中发生了什么行为和活动？这些行为和活动如何影响总的体系结构和模型？n什么是信息和元数据转化语言？XML、HTML和 XHMTL 语言如何作用于数据和元数据转化？n应该如何来处理海量数据？24年2月1日18武汉大学信息管理学院建立电子商务基础设施建立电子商务基础设施在初始阶段，企业一般从一到两太用于支持网站的服务器开始，在创建电子商务环境的早期，网页主要

10、包含了描述性的静态信息；随着业务不断扩大，使用多个服务器支持在线环境，收集 Web日志信息和向用户传送任何类型的内容；为了满足需求，开始建立一个由企业本身控制的在线环境，首先考虑转移到代理服务器，当需要额外的服务器来处理特殊工作时，网站就会成为集中式的或者分布式的。24年2月1日19武汉大学信息管理学院5.1.2 理解点击流数据理解点击流数据1、点击流数据Web 日志里包含的数据被称作点击流数据。是用户在与网站交互活动中产生的。Web 日志包含了以下数据：Web 用户的唯一在线标识符或者 Internet 地址用户来自哪里的网络用户用哪些查询来打开网页。Web 日志的使用分为三种级别（三种粒度

11、级别），所有级别都是 ODS 的一部分。n0 级：最低立地级别，在电子商务环境中表示为 Web 日志中包含的数据，用于及时分析。常驻在 ODS 中n1 级：包含 0 级数据的简单聚集，这种聚集是在与其他企业数据进行集成基础上创建的n2 级：包含那些被聚集或汇总的表主要用于报表24年2月1日20武汉大学信息管理学院来自 Web 日志的数据可以以多种方式使用：n作为即时分析的基础n用于非即时分析（Web 日志收集后的 15分钟 1 个小时）n分析 Web 日志数据以获得关于网站客户的更多知识24年2月1日21武汉大学信息管理学院24年2月1日22武汉大学信息管理学院识别形式：n 客户 IP 地址n

12、客户或用户标识符n认证用户要素n日期和时间戳n关于统一支援定位符的服务器请求信息n请求状态n发送字节数24年2月1日23武汉大学信息管理学院2、使用先前站点信息说明用户访问当前网站之前访问的那个网站的相关信息。3、与 ODS 结合起来 Web、个性化引擎、内容服务器、两种操作型数据存储以及数据仓库之间的交互如图所示。24年2月1日24武汉大学信息管理学院24年2月1日25武汉大学信息管理学院5.1.3 利用元数据转化语言来解释信息n企业应用集成（EAI）一种接口，它与不同平台和软件合作以便将数据集成到同一数据存储中。它为应用程序之间的交互提供了必要的基础。EAI 策略需要的三种形式的软件：应用

13、交换技术数据转化技术XML、HTML 和 XHTML 技术24年2月1日26武汉大学信息管理学院（四）理解 CIF 和电子商务接口nWeb 环境发送需要在操作型环境中执行的事务。nWeb 环境通过粒度管理器传送数据到企业数据仓库中。nWeb 环境通过 ODS 接受数据到网络服务器中。24年2月1日27武汉大学信息管理学院24年2月1日28武汉大学信息管理学院通向 CIF 的三种接口24年2月1日29武汉大学信息管理学院发送事务到操作型环境中24年2月1日30武汉大学信息管理学院数据经过粒度管理器24年2月1日31武汉大学信息管理学院24年2月1日32武汉大学信息管理学院数据经过 ODS24年2

14、月1日33武汉大学信息管理学院24年2月1日34武汉大学信息管理学院5.2 识别电子商务用户n识别内部用户群体n识别外部用户群体n获得过程n支持所有用户24年2月1日35武汉大学信息管理学院5.2.1 内部用户：n分析型用户分析型用户：“农夫”出现在管理人员和业务计划小组中，有着一致的、定义完整的需求。“旅行者”管理和行政级别上的用户。“探索者”非传统的思考者。“挖掘者”在大范围的、高度集中的数据集上进行深入研究。“操作员”最普通的用户。24年2月1日36武汉大学信息管理学院24年2月1日37武汉大学信息管理学院n终端用户群体终端用户群体：这类内部用户团体包含分析型用户，他们使用很多相同的业务

15、智能工具；但是工作的协作特性还需要一些其他的工具、格式和通道（包括网站、点击流数据和遥测技术）。工作组工作组通常由管理人员组成、其主要工作是送货和提供服务。实践团队实践团队以分组学习活动、共享与工作有关的焦点问题为特性。24年2月1日38武汉大学信息管理学院24年2月1日39武汉大学信息管理学院24年2月1日40武汉大学信息管理学院5.2.2 外部用户：n业务合作伙伴业务合作伙伴有效的电子商务合作关系以综合的、用户可定制的服务为中心，包括个性化的界面、专门的定价、广泛的客户支持、技术信息、软件升级、产品配置工具、故障诊断支持、在线培训和认证课程。24年2月1日41武汉大学信息管理学院n消费者消

16、费者商业人员要建立和客户之间相互满意的关系以获得客户的信任，就必须把重点放在为客户提供最满意的服务上。研究人员研究人员最懂计算机的、注意力最集中和最顽强的一类人员。购物者购物者主要被价格和产品可用性等因素驱动。采购员采购员注意力更为集中的、目的性更强的购物者。24年2月1日42武汉大学信息管理学院24年2月1日43武汉大学信息管理学院24年2月1日44武汉大学信息管理学院n社区社区在最好的环境下，“社区”建立了一种对于产品供应方面的紧密关系和信任感觉。第一层好处：聚集个人的兴趣和活动另两个好处：社区作为 CRM 的目标社区作为协作的基础24年2月1日45武汉大学信息管理学院24年2月1日46武

17、汉大学信息管理学院24年2月1日47武汉大学信息管理学院5.2.3 获得过程获得过程（procurement）是指获得企业运转所需要的商品和服务，以及为流线型业务过程提供最为丰厚的回报的过程。将注意力集中在获得过程的业务用户，和与之对应的消费者相比，显著的不同有：购买优先级；定制功能选项的范围 供应链上的合作关系24年2月1日48武汉大学信息管理学院5.2.4 支持所有用户n知识管理和 CIF：以结构化方式归档企业中所有的智能资产的过程。1.知识映射作为知识管理的补充，是一种信息映射的扩展形式。2.培训和教育要素：智能课程丰富的媒体集24年2月1日49武汉大学信息管理学院24年2月1日50武汉

18、大学信息管理学院24年2月1日51武汉大学信息管理学院5.3 电子商务与企业数据的整合n粒度级别n数据模型的作用n模型之间的关系24年2月1日52武汉大学信息管理学院5.3.1 Web 站点数据模型 主题域模型 企业逻辑数据模型 数据仓库和数据集市模型Web 站点 ODS 模型 企业 ODS 模型24年2月1日53武汉大学信息管理学院q主题域模型用于更好地理解各个领域的情况。围绕的主题通常为：客户、产品、交易和财务。可帮助开发企业逻辑数据模型。q企业逻辑数据模型用于将不同主题域关联起来。可以用来设计数据仓库和 ODS数据模型。24年2月1日54武汉大学信息管理学院24年2月1日55武汉大学信息

19、管理学院24年2月1日56武汉大学信息管理学院q数据仓库和数据集市模型用于满足目的性强的操作型需要。是面向主题的、集成的、非易失的、时变的数据集合。特征模式（profile）Web 站点 ODS 模型用于利用 Web 站点日志路径信息。局部 Web ODS 负责在网站内部直接响应来自网站的交易请求。第 0 级：Web 日志24年2月1日57武汉大学信息管理学院24年2月1日58武汉大学信息管理学院qWeb 站点 ODS 模型第 0 级：Web 日志24年2月1日59武汉大学信息管理学院24年2月1日60武汉大学信息管理学院24年2月1日61武汉大学信息管理学院q企业 ODS 模型用于整合 We

20、b 数据和其他企业数据。第 1 级：企业 ODS类型 1 ODS：源数据系统数据的集成是实时进行类型 2 ODS：源数据系统数据与 ODS 的集成是一天中按一定时间间隔进行类型 3 ODS：源数据系统数据是每天集成一次 类型 4 ODS：根据需要从数据仓库或数据集市中进行更新，即：从源数据系统中的更新至少每天一次地进行，并且只根据需要从数据仓库或数据集市中更新第二级：日常聚集24年2月1日62武汉大学信息管理学院24年2月1日63武汉大学信息管理学院24年2月1日64武汉大学信息管理学院24年2月1日65武汉大学信息管理学院5.3.2 模型之间的关系：24年2月1日66武汉大学信息管理学院5.

21、4 数据仓库在电子商务中的应用n定义分析型应用n网站滞留时间：确立网站有效性准则n网站内基于内容的分析24年2月1日67武汉大学信息管理学院5.4.1 定义分析型应用n分析型应用时将数据转化为有用的商业信息的第一级。n电子商务中的分析型应用与其他商业中的分析型应用没有特别的不同之处，主要的区别是由于电子商务本身的不稳定性所引起的。24年2月1日68武汉大学信息管理学院n经典财务和操作型报表经典财务和操作型报表n以客户为中心的报表以客户为中心的报表（流失分析；客户亲密关系分析）n以产品为中心的报表以产品为中心的报表（存货号；主页是网站生的最高速的区域）n事务分析事务分析（向量分析属于数据仓库工程

22、探索范围而非经典分析的范围）n纯信息型网站分析纯信息型网站分析（衡量网站的影响力）n网站内部导航分析网站内部导航分析（资格鉴定）24年2月1日69武汉大学信息管理学院24年2月1日70武汉大学信息管理学院5.5 数据仓库在电子商务中的探索n 时间n 操作型探索n 经典商业价值和探索n 建立模型n 在探索中确定客户的价值24年2月1日71武汉大学信息管理学院5.5.1 时间n电子商务环境中快速的变化迫使信息利用方面的行为也随之不断变化。n电子商务对个体事件的影响是非常敏感的，如果要求能够有效地制定决策，探索句必须把重点放在更短的时间单元里面。24年2月1日72武汉大学信息管理学院5.5.2 操作

23、型探索n在电子商务中，需要根据需求来分配资源n许多的电子商务网站总是处在一种连续的状态变化过程中。n在企业转变的过程中，一般都以商业计划为指导。24年2月1日73武汉大学信息管理学院5.5.3 探索方法的重要性nWeb 交易中的方法所分析的问题包括：指向网站的链接、网站的点击率、交易人的特征信息。n在新环境中，客户可能通过多种途径到达网站，更重要的是客户可能做一系列操作，包括接触并前进、接近、着陆。n第二个问题是如何发现用户特征24年2月1日74武汉大学信息管理学院5.5.4 建立模型：n定义探索的目标（如收入的增长的识别）n定义接近的模式n初始的接触和联系n推断性关联24年2月1日75武汉大

24、学信息管理学院5.5.5 在探索中确定客户的价值n电子商务中的同属家庭处理同属家庭处理计算一个经济单元的过程最常用的技术为 Harte Hanks 公司拥有。n探索不同的地址联系使用地址作为联系越来越重要，不仅用于同属家庭处理中，而且在探索分析中成为接近路径的向量因素。事件和时间24年2月1日76武汉大学信息管理学院5.6 适应电子商务的变化n 品牌淡化和损失n 对电子商务灵活性的需求n 电子商务灵活性面临的挑战n 电子商务起步阶段的特点n 企业性能：盈利能力的水平n 为企业性能而管理信息资产24年2月1日77武汉大学信息管理学院n对于那些无法或者不愿意建立电子商务的企业，也可以采用一些可用的

25、分时技术，例如应用服务提供商，来提供相应的一套复杂技术。n电子商务需要企业各方面的信息资源，它们不能与企业中的其他资源及已分配的独占性资源分离开来，否则就会失败。24年2月1日78武汉大学信息管理学院24年2月1日79武汉大学信息管理学院5.6.1 品牌淡化和损失n将在线经营和物理渠道分离开来并各自独立运作时一种错误的做法。n基本品牌理论说明了尊重和维护品牌的一致经营的重要性。n有效地用电子形式提升物理品牌的价值的唯一途径就是创立电子品牌，并使其成为已有成绩的有机延伸。24年2月1日80武汉大学信息管理学院5.6.2 对电子商务灵活性的需求n电子商务的灵活性就是指其不断调整和改变的能力。主要包

26、括：移动化、敏感度24年2月1日81武汉大学信息管理学院移动化电子商务资源移动化（Mobilization）需要：n对客户偏好和使用模式的了解n跨越不同渠道来集中客户注意力的策略客户偏好经常随着经济环境和可用选择而变化。从集成的、移动的资源集合到反应迅速的资源集合的转换时电子商务灵活性面临的下一个挑战。24年2月1日82武汉大学信息管理学院24年2月1日83武汉大学信息管理学院敏感度电子商务灵活性致力于使信息资源对两种反馈类型敏感。n第一种是状态和控制敏感度。它跟踪正在进行的起步阶段的状态并控制其进展过程，同时还需要经常对信息进行更新。n第二种反馈形式更加广泛，跨越了更宽的时间范围。管理必须跟

27、踪起步阶段的总功效来判断起步阶段与预期目的的“吻合程度”。预期的目的和范围也要认真地进行考虑。24年2月1日84武汉大学信息管理学院24年2月1日85武汉大学信息管理学院5.6.3 电子商务灵活性面临的挑战建立电子商务灵活性基础的三个步骤：n对信息资产进行分类，评估它们的性能特征。n确定当前和将来的信息流价值n配置 CIF 以适应当前需要，并且能保持足够的灵活性来适应将来的需求。电子商务灵活性的巨大优势24年2月1日86武汉大学信息管理学院5.6.4 电子商务起步阶段的特点电子商务起步阶段是根据“新经济”的期望来设计、认可并实现的。这些都被一种对立即回报的急切渴望和“我们现在需要在线销售”的需

28、求所驱动“现在就需要”的特点通常包括：n马上让企业的投资者满意n回答安全和保密问题n支持通常难以估计的增长率n使用相对新的有时是外来的技术n应付由于内部技术资源不足带来的问题n应付资金分配机制的不确定性24年2月1日87武汉大学信息管理学院新旧经济的比较1.位置上的传送物理度量标准在一个级别上是相似的：产品传送的位置方面。同店销售同店销售一直是衡量零售业成功与否的一个重要标准。电子商务中的同店销售正在成为 Web 到商店的连接。2.合作系数合作系数是一种用来衡量企业的“速度限制”的标准。企业可通过研究与并发研究与并发、合并与合并与收购收购、合作与合股合作与合股三种途径来填补生产线和服务线的差距

29、。24年2月1日88武汉大学信息管理学院5.6.5 企业性能：盈利能力的水平n恰当的、基于生产线水平的盈利能力分析已经发展成支撑资源分配决策的关键手段。n在电子商务中，盈利能力度量方法已经扩展为包含非传统的业务规则。n电子商务从可盈利分析对电子商务的灵活性而言甚至比实际业务中的受益更多。n关系型盈利能力n企业型盈利能力24年2月1日89武汉大学信息管理学院n随着 C RM让路于客户盈利管理客户盈利管理（C ustom er Profi tabi l i ty M anagem ent，C PM），客户关系与客户盈利能力之间的关系变得越来越明显。n基于事务的盈利能力是专业化程度的反映。n在电子商

30、务中，通过财务和技术管理来挖掘客户关系的深度正在成为新的范例。电在商务的发展包括一下几个阶段：1：事务型2：关系型3：生命周期型24年2月1日90武汉大学信息管理学院24年2月1日91武汉大学信息管理学院EAI、ERP、CRMnMRP（生产资源计划）为在 ERP 中进行客户订单处理的“放心地许诺”之日到来奠定了基础，并且建立了最小化的流水线级别以防止关键商品缺货。n同时采用 CRM 和 ERP，使这两种应用都出现了一些困难。nERP 和 CRM 应用对企业关系的着眼点有着巨大的差距，调和这些差距需要耗费相当的技术和业务资源。还有，将企业行为简化为一组单独的应用的趋势也需要对相关的问题进行探讨。24年2月1日92武汉大学信息管理学院5.6.6 为企业性能而管理信息资产n信息资产管理是各种信息工程和信息体系结构工作的产物。它一般在有限的、基于产品的消息中被具体化。其一般思想是基于产品的功能对信息的构造、管理和分发提供帮助。n致力与信息资产管理的销售商已经在这方面迈出了第一步，即将其对产品及销售过程的投资和企业性能联系在一起。n评价企业信息资产：CIF 记分卡记分卡用于企业中，为了获得积极的回报，它支持以财务扩展的观点看待信息资产及其管理。24年2月1日93武汉大学信息管理学院