数据仓库设计逻辑模型.ppt

1、第一次作业题目n请详细描述数据库应用系统与数据仓库之间的区别。（越详细越好，越全面越好）n下星期三以前交。数据仓库设计逻辑模型内容提要n数据仓库的逻辑模型设计n分析主题域n粒度模型设计n数据分割设计n数据抽取模型设计n元数据模型建立数据仓库的逻辑模型设计数据仓库的逻辑模型设计n数据仓库的逻辑模型设计任务：n分析主题域，确定要装载到数据仓库的主题；n确定粒度层次划分；n确定数据分割策略；n关系模式的定义和记录系统定义、确定数据抽取模型等。数据仓库的逻辑模型设计数据仓库的逻辑模型设计n逻辑模型最终设计成果：n每个主题的逻辑定义，并将相关内容记录在数据仓库的元数据中；n粒度划分；n数据分割策略；n表

2、划分和数据来源等。分析主题域分析主题域主题名公共码键属性组商品商品号商品固有信息：商品号，商品名，类型，颜色等商品采购信息：商品号，供应商号，供应价，供应日期，供应量等商品库存信息：商品号，库房号，库存量，日期等销售销售单号销售单固有信息：销售单号，销售地址等销售信息：客户号，商品号，销售价，销售量、销售时间等客户客户号客户固有信息：客户号，客户名，性别，年龄，文化程度，住址，电话等客户经济息：客户号，年收入，家庭总收入等数据仓库的实体定义数据仓库的实体定义实体容量更新频率Customer 中等容量，有100个重点客户，2000个跟踪客户每月对客户情况进行一次分析，更新频率也为每月一次Prod

3、uct小容量，500种商品大约有500种商品，商品的更新是每月一次，数据更新也照此。Order_Detail大容量，其上限是354，000，000，000，考虑到各种客户类型与各种商品的组合情况，一般很少达到。数据每月汇总一次，但是业务处理系统的数据每日需要更新一次，因此更新频率为每日一次。数据仓库的实体定义数据仓库的实体定义列名列的键属性值来源/值域完整性约束类型与大小Customer_Number主键列、外部键列来自客户实体的合法客户键列没有客户键列，数据就不存在Char(10)Order_Number主键列、外部键列来自销售单实体的合法键列没有销售单键列，数据就不存在Char(10)Pr

4、oduct_Number主键列、外部键列来自商品实体的合法键列没有商品键列，数据就不存在Char(10)Product_Price正的金额数Money(float)粒度层次划分粒度层次划分n粒度设计步骤n数据量的粗略估算n确定采用双重还是单一的粒度n确定粒度级别n反馈与调整数据量的粗略估算n对每一张表估算这几个值n数据的行数n数据所占存储设备空间n数据所需要的索引空间n只能做数据级上的估算n从一方或多方收集信息进行合理估算粗略估算数据量算法双重粒度和单一粒度n表的行数是影响粒度划分主要的因素n将数据库的总行数与下表进行比较确定粒度的循环和反复n选择合适的粒度级别是体系结构设计环境成功的关键。n

5、选择粒度级别的一般方法，是利用常识，建立数据仓库的一小部分，并让用户去访问这些数据。然后仔细聆听用户的意见，根据他们的反馈意见适当调整粒度的级别。n最坏的想法是想要事先设计好所有的粒度级别，再进行数据仓库的建造。n即使在最好的情况下，能使设计的5 0%是正确的就已经很不错的了。数据仓库环境的特点就是只有当决策支持系统分析员实际看到了报告之后，才能想像哪些是真正需要的。确定粒度的循环和反复提高粒度的方法n当源数据置入数据仓库时，对它进行汇总。n当源数据置入数据仓库时，对它求平均或进行计算。n把最大/最小的设定值置入数据仓库。n只把显然需要的数据置入数据仓库。n用条件逻辑选取记录的一个子集置入数据

6、仓库。n对于数据怎样轻度汇总是没有限制的(限制只存在于设计者的脑海里)。例：银行粒度设计例：银行粒度设计数据分割n数据分片概念n水平分片n垂直分片n混合分片n导出分片 n按时间进行数据分割是最普遍的n分割标准n数据量n数据分析处理的实际情况n简单易行n粒度划分策略数据仓库的数据抽取模型数据仓库的数据抽取模型F1 数据抽取规则P2清理数据记录F8 数据清理规则F2KHCGF5 CQLS_KHCGF6 CQLS_KHCGF7 SJCK_KHCGP4加载到数据仓库F3SPQKF4ZGYJP3数据排序聚集P1抽取数据源记录数据仓库的数据抽取、转换与加载计划n影响数据抽取、转换与加载的因素n数据格式n坏

7、数据n系统的兼容性n数据源的变化n数据抽取的时间 n数据抽取、转换与加载对策 n全库比较n利用程序日志n利用数据库日志n利用时间戳或利用位图索引数据仓库的数据清理转换方法n数据仓库的数据清理转换方法n类型转换n串操作n数学函数n参照完整性n关键字翻译n聚集运算数据源抽取对象表数据源抽取对象表 数据平台数据库表名备注Windows/SQL ServerXSSJKHCG客户采购商品表Windows/SQL ServerXSSJSPQK商品情况表Windows/AccessRSGLZGYJ职工业绩表数据源抽取规则表 表.列名过滤与连接条件比较值复合条件备注KHCG.CGSL500AND采购商品数量大

8、于500SPQK.SPIDABOR商品前两位非AB数据抽取的目标列与源列对应关系表 目标表.列源表.列转换公式备注SJCK_KHCG.KHZYKHCG.KHZY直接转换客户职业SJCK_KHCG.CGRQKHCG.CGRQ将月/年/日的日期格式转换成年/月/日格式客户采购日期数据抽取过程的排序、概括和导出情况表 表.列名排序概括/导出备注CQLS_KHCG.CGSL降序分组按照采购数量从大到小排序、按照日期进行分组SJCK_KHCG.CGHZ概括对每一客户采购量按照星期分别进行概括处理，计算客户的采购总量SJCK_KHCG.PJL导出对每一客户采购情况按照星期分别进行平均采购量计算数据概括表与

9、事实表对应关系 概括表表.列名是否导出事实表.列名备注SPGKB.SP_ID否SPGYB.SP_ID商品编号SPGKB.GYS_ID否SPGYB.GYS_ID供应商编号SPGKB.SPGYZSL是SPGYB.SPGYL商品供应总量，按照供应商编号对供应数量求和SPGKB.SPGYZJE是SPGYB.SPGYJE商品供应总金额，按照供应商编号对供应商品的金额进行汇总数据仓库的元数据模型建立与应用数据源物理模型 查询统计逻辑模型 业务分组来源定义 加载统计来源-目标映射建模工具元 数 据 目录数据加载工具数据仓库前端展示工具a b逻辑模型的评审逻辑模型的评审n逻辑模型的文档内容：n主题域分析报告，n数据粒度划分模型，n数据分割策略，n指标实体、维实体与详细类别实体的关系模式和n数据抽取模型。逻辑模型的评审要点逻辑模型的评审要点n对逻辑模型的评审主要集中在主题域是否可以正确地反映用户的决策分析需求。n从用户对概括数据使用的要求，评审数据粒度的划分和数据分割策略是否可以满足用户决策分析的需要。n为提高数据仓库的运行效率是否需要对关系模式进行反规范化处理。n数据的抽取模型是否正确地建立了数据源与数据仓库的对应关系。n数据的约束条件和业务规则是否在这些模型中得到了正确的反映。