数据仓库与数据挖掘考试习题汇总汇总Word文档格式.docx

1、7、 当维表中的主键在事实表中没有与外键关联时，这样的维称为退化维。它于 事实表并无关系，但有时在查询限制条件（如订单号码、出货单编号等）中需 要用至V。8、 维度可以根据其变化快慢分为元变化维度、缓慢变化维度和剧烈变化维度三 类。9、 数据仓库的数据量通常较大，且数据一般很少更新，可以通过设计和优化索 引结构来提高数据存取性能。10、 数据仓库数据库常见的存储优化方法包括表的归并与簇文件、反向规范化 引入冗余、表的物理分割（分区）。第四章1、 关联规则的经典算法包括 Apriori算法和FP-growth算法，其中FP-grownth 算法的效率更高。2、 如果 L2=a,b,a,c,a,d

2、,b,c,b,d,则 连接产生的 C3=a,b,c,a,b,d,a,c,d,b,c,d 再经过修剪，C3=a,b,c,a,b,d3、 设定supmin=50%，交易集如则 L仁A，B，C |L2=A,CT1 A B CT2 A CT3 A DT4 B E F第五章1、 分类的过程包括获取数据、预处理、分类器设计和分类决策。2、 分类器设计阶段包含三个过程：划分数据集、分类器构造和分类器测试。3、 分类问题中常用的评价准则有精确度、查全率和查准率和集合均值。4、 支持向量机中常用的核函数有多项式核函数、径向基核函数和 S型核函数。第六章1、 聚类分析包括连续型、二值离散型、多值离散型和混合类型

3、4种类型描述属 性的相似度计算方法。2、 连续型属性的数据样本之间的距离有欧氏距离、 曼哈顿距离和明考斯基距离。3、 划分聚类方法对数据集进行聚类时包含三个要点：选种某种距离作为数据样 本减的相似性度量、选择评价聚类性能的准则函数和选择某个初始分类，之后 用迭代的方法得到聚类结果，使得评价聚类的准则函数取得最优值。4、层次聚类方法包括凝聚型和分解型两中层次聚类方法。填空题20分，简答题25分，计算题2个（25分），综合题30分1、 数据仓库的组成？ P2数据仓库数据库，数据抽取工具，元数据，访问工具，数据集市，数据仓库 管理，信息发布系统2、 数据挖掘技术对聚类分析的要求有哪几个方面？ P13

4、1可伸缩性；处理不同类型属性的能力；发现任意形状聚类的能力；减小对先 验知识和用户自定义参数的依赖性；处理噪声数据的能力；可解释性和实用性3、 数据仓库在存储和管理方面的特点与关键技术？ P7数据仓库面对的是大量数据的存储与管理并行处理针对决策支持查询的优化支持多维分析的查询模式4、 常见的聚类算法可以分为几类？ P132基于划分的聚类算法，基于层次的聚类算法，基于密度的聚类算法，基于网 格的聚类算法，基于模型的聚类算法 等。5、 一个典型的数据仓库系统的组成？ P12数据源、数据存储与管理、OLAP服务器、前端工具与应用6数据仓库常见的存储优化方法？ P71表的归并与簇文件；反向规范化，引入

5、冗余；表的物理分割。7、 数据仓库发展演变的5个阶段？ P20以报表为主以分析为主以预测模型为主以运行向导为主以实时数据仓库、自动决策应用为主8、 ID3算法主要存在的缺点？ P116（1） ID3算法在选择根结点和各内部结点中的分枝属性时， 使用信息增益作 为评价标准。信息增益的缺点是倾向于选择取值较多的属性，在有些情况下这类属性可能不会提供太多有价值的信息。（2） ID3算法只能对描述属性为离散型属性的数据集构造决策树。9、 简述数据仓库ETL软件的主要功能和对产生数据的目标要求。 P30ETL软件的主要功能：数据的抽取，数据的转换，数据的加载对产生数据的目标要求：详细的、历史的、规范化的

6、、可理解的、即时的、质量可控制的10、 简述分类器设计阶段包含的3个过程划分数据集，分类器构造，分类器测试11、 什么是数据清洗？ P33数据清洗是一种使用模式识别和其他技术，在将原始数据转换和移到数据仓库之前来升级原始数据质量的技术。12、 支持度和置信度的计算公式及数据计算（P90）找出所有的规则X 丫 ,使支持度和置信度分别大于门限支持度： 事务中 X和丫同时发生的比例，P（X ? 丫）置信度：项集X发生时，丫同时发生的条Support（X Y）件概率P（Y|X） Example:13、 利用信息包图设计数据仓库概念模型需要确定的三方面内容。 P57 确定指标，确定维度，确定类别14、

7、K-近邻分类方法的操作步骤（包括算法的输入和输出）。P128输Ai训练集皿 未知类标号據踹本沪尿跖：讥*输岀未脱标号脱据祥本皿类标号,（1）对干未知类标号的数据样本恥按照下式计算它可训练集盂中每一个数辭本臉氏距务d（汕）匸丫仅厂砧$ 口2/totals（2） 将第（1）步中的所有既氏距匡按鹽由小序进行摊序，并艮取前k 个距匪从而找出X在盂“中的k个近邻，假设分别是k个近 邻中屎于类别 Cij c： t j 加样本敎氢“（3） 如果pf = maxt 1二1忆：叭则词类标号为g BP zc|B *15、 什么是技术元数据，主要包含的内容？ P29技术元数据是描述关于数据仓库技术细节的数据，应用于

8、开发、管理和维护 Dvy包含：DW结构的描述,如DW的模式、视图、维、层次结构和导出 数据的定义，数据集市的位置和内容等 业务系统、DW和数据集市的体系结构和模式 汇总算法。包括度量和维定义算法，数据粒度、主题领域、 聚合、汇总和预定义的查询和报告。由操作型业务环境到数据仓库业务环境的映射。包括源数 据和他们的内容、数据分割、数据提取、清洗、转换规则和 数据刷新规则及安全（用户授权和存取控制）16、 业务元数据主要包含的内容？业务元数据：从业务角度描述了 DW中的数据，提供了介于使用者和实际系 统之间的语义层，主要包括：使用者的业务属于所表达的数据模型、对象名和属性名访问数据的原则和数据的来源

9、系统提供的分析方法及公式和报表的信息。17、 K-means算法的基本操作步骤（包括算法的输入和输出）。P138*转 入数据集X= total,耳中的数据样本只包含描述属性，不包含类别属性；聚粪个数廟d输出険误差平行和准则最小的k个聚类一（1） 从数据黑风中随机地选择k个数据样本作再聚类的初始代表点，每一个代表 点表示一个类别.卩（2） 对于X中的任一数:据样本K. （lntotal）,计算它与k个初始代表点的 距离，芥且将它划分到距禽最近的初始代表点所表示的类别中（阳完成数据样本的划分之后，对于毎一个聚类，计算其中所有数据样本的均值， 并且将其作为该聚类的新的代表点，由此得到比个均值代表点.

10、屮（4） 对于X中的任一数据样本（lntotal）,计算它与k个均值代表点的 距离，并且将它划分到距禽最近的均值代表点所表示的类别中.（5） 重复歩骤（3）和（G,直到各个聚粪不再发生变化为止，即误差平方和准 则函数田值达到最优18、 数据从集结区加载到数据仓库中的主要方法？ P36SQL命令（如 Insert 或 Update）由DW供应商或第三方提供专门的加载工具由DW管理员编写自定义程序19、 多维数据模型中的基本概念：维，维类别，维属性，粒度 P37维：人们观察数据的特定角度，是考虑问题的一类属性，如时间 维或产品维维类别：也称维分层。即同一维度还可以存在细节程度不同的各 个类别属性（

11、如时间维包括年、季度、月等）维属性：是维的一个取值，是数据线在某维中位置的描述。粒度：DW中数据综合程度高低的一个衡量。粒度低，细节程度高， 回答查询的种类多？ ？ 20、Apriori算法的基本操作步骤 P93Apriori使用一种称作逐层搜索的迭代方法， K项集用于探索K+1项集。该方法是基于候选的策略，降低候选数Apriori剪枝原则：若任何项集是非频繁的，则其超集必然是非频繁的（不 用产生和测试超集）该原则基于以下支持度的特性：PX,Y:（X 匸丫）二 s（X）Xs（Y） 项集的支持度不会超过其子集 支持度的反单调特性（anti-monotone ）:如果一个集合不能通过 测试，则它的

12、所有超集也都不能通过相同的测试。令k=1产生长度为1的频繁项集循环，直到无新的频繁项集产生从长度为k的频繁项集产生长度为k+1的候选频繁项集连接步：项集的各项排序，前k-1个项相同若候选频繁子集包含长度为k的非频繁子集，则剪枝剪枝步：利用支持度属性原则扫描数据库，计算每个候选频繁集的支持度 删除非频繁项 , 保留频繁项 什么是数据仓库？ 数据仓库是一个面向主体的、集成的、时变的、非易失的数据集合，支持管理 过程的决策过程 数据仓库排除与对于决策无用的数据，提供特定主题的简明视图。通过集成多 个异种数据源而构成 数据仓库总是物理地分离存放数据，这些数据源于操作环境下的应用数据操作 性的数据更新不

13、会发生在数据仓库的环境下 .2联机事务处理 OLTP （on-line transaction processing）传统的关系 DBMS 的主要任务他们涵盖了一个组织的大部分日常操作：购买、库存、制造、银行、工资、注 册、记账等。联机分析处理 OLAP （on-line analytical processing）数据仓库系统的主要任务数据分析和决策OLTP 和 OLAP 的区别用户和系统的面向性 :OLTP 面向顾客，而 OLAP 面向市场数据内容： OLTP 系统管理当前数据，而 OLAP 管理历史的数据。数据库设计：OLTP系统采用实体-联系（ER）模型和面向应用的数据库设计，而 OL

14、AP 系统通常采用星形和雪花模型视图： OLTP 系统主要关注一个企业或部门内部的当前数据，而 OLAP 系统 主要关注汇总的统一的数据。访问模式： OLTP 访问主要有短的原子事务组成， 而 OLAP 系统的访问大部分 是只读操作，尽管许多可能是复杂的查询数据仓库和 OLAP 工具基于多维数据模型。这种模型将数据看作数据立方体形 式。数据立方体允许从多维对数据建模和观察。它由维和事实定义。3 最流行的数据仓库数据模型是多维模型，这种模型可以以星形模式、雪花型 模式或事实星座模式形式存在。建立数据仓库模型：维与度量星型模型 : 最常见的模型范例是星形模式，其中数据仓库包括（ 1）一个大的 包含

15、大批数据并且不含冗余的中心表（事实表） ；（2）一组小的附属表（维表） ， 每维一个。中间是事实表，连接一组维表雪花模式 : 雪花模式是星型模式的变种，其中某些维表是规范化的，而数据进 一步分解到附加的维表中，它的图形类似于雪花的形状事实星座表 : 多个事实表共享维表，这种模式可以看作星型模式及，因此称为 星系模式或事实星座 数据立方体度量是一个数值函数，可以对数据立方体空间的每一个点求值。通 过对给定点的各维 -值对聚集数据，计算该点的度量值。 度量可以根据所用的聚集函数类型可以分成三类 （即分布的、代数的和整体的）。 概念分层定义一个映射序列，将低层概念映射到更一般的较高层概念。多维数据模

16、型中的 OLAP 操作（1） 上卷：上卷操作通过沿一个维的概念分层向上攀升或者通过维规约，对数据 立方体进行聚集；（2） 下钻：下钻是上卷的逆操作，它由不太详细的数据到更详细的数据。下钻可 以通过沿维的概念分层向下或引入附加的维来实现；（3）切片和切块： 切片操作对给定立方体的一个维进行选择， 导致一个子立方体。 切块操作通过对两个或多个维执行选择，定义子立方体；（4）转轴（旋转）：转轴是一种可视化操作，它转动数据的视角，提供数据的替 代表示；（5）其他 OLAP 操作：钻过执行涉及多个事实表的查询； 钻透操作使用关系 SQL 机制，钻透数据立方体的底层，到后段关系表。三层数据仓库的系统结构（

17、1） 底层是仓库数据服务器，它几乎总是关系数据库系统。（2）中间层是OLAP服务器，其典型的实现或者是（i）关系OLAP （ROLAP ）模 型,即扩充的关系DBMS，它将对多维数据的操作映射为标准的关系操作；或 者是（ii）多维OLAP（MOLAP）模型即专门的服务器，它直接实现多维数据 和操作。（3）顶层是前段客户层， 它包括查询和报表工具、 分析工具和 /或数据挖掘工具（例 如趋势分析、预测等） 。从结构的角度看，有三种数据仓库模型：企业仓库、数据集市和虚拟仓库。 数据集市（ Data Mart ）：数据集市包含企业范围数据的一个子集，对于特定的 用户群是有用的。其范围限于选定的主题。根

18、据数据的来源不同，数据集市分为独立的和依赖的两类。 数据仓库后端工具和实用程序包含以下功能：数据提取；数据清理；数据变换； 装入；刷新。数据立方体的物化有三种选择： （1）不物化； （2）完全物化；（ 3）部分物化。 有三种数据仓库应用：信息处理、分析处理和数据挖掘。4 分类和预测 找出描述并区分数据类和概念的模型 （或函数） 以便能够使用模型预测类标记 未知的对象类。例如：依据气候划分国家类型或者依据每里的耗油量划分汽车类型。 表示形式：判定树，分类规则，神经网络。预测：预测某些未知的或空缺的数据值。聚类分析 类标记未知：把数据聚类或分组成新的类，例如：把房子聚类来找出房子的分 布模式。聚类

19、依据以下原则：最大化类内的相似性和最小化类间的相似性。FP-树结构的优点完整性 : 不会破坏任何交易的长模式 为频繁模式挖掘保存了完整的信息 简洁性 减少了不相关的信息 非频繁项集被删掉 频繁项集按支持度递减顺序排列 :越是频繁的项集越有可能被共享不会比原数据库大 （如果不算节点链和计数 ）基本思想 （分治策略）：使用FP-树循环的产生频繁模式路径方法对于每一个项，先构造它的条件模式基，然后构造它的条件FP-树在每一个新创建的条件FP-树上重复此过程直到结果 FP 树为空 ，或它只包含一条路径 （单路径将产生所有的它的子路径的 结合 ，每一条子路径都是一个频繁模式 ）挖掘FP-树的主要步骤1）

20、 为FP-树中的每一个节点构造条件模式基2） 为每一个条件模式基条件FP-树3） 循环的挖掘条件FP-树，生成至今为止获得的频繁模式如果条件FP-树只包含单条路径，简单的列举所有的模式一、 名词解释1.数据仓库：是一种新的数据处理体系结构，是面向主题的、集成的、不可 更新的 （稳定性 ）、随时间不断变化 （不同时间 ）的数据集合，为企业决策支 持系统提供所需的集成信息。2.孤立点：指数据库中包含的一些与数据的一般行为或模型不一致的异常数 据。3.OLAP ：OLAP 是在 OLTP 的基础上发展起来的，以数据仓库为基础的数 据分析处理， 是共享多维信息的快速分析， 是被专门设计用于支持复杂的

21、分析操作，侧重对分析人员和高层管理人员的决策支持。4.粒度：指数据仓库的数据单位中保存数据细化或综合程度的级别。粒度影 响存放在数据仓库中的数据量的大小， 同时影响数据仓库所能回答查询问 题的细节程度。5.数据规范化：指将数据按比例缩放 （如更换大单位 ），使之落入一个特定的 区域（如 01）以提高数据挖掘效率的方法。规范化的常用方法有：最 大最小规范化、零均值规范化、小数定标规范化。6.关联知识：是反映一个事件和其他事件之间依赖或相互关联的知识。如果 两项或多项属性之间存在关联， 那么其中一项的属性值就可以依据其他属 性值进行预测。7.数据挖掘：从大量的、不完全的、有噪声的、模糊的、随机的数

22、据中，提 取隐含在其中的、人们事先不知道的、 但又是潜在有用的信息和知识的过 程。8.OLTP：OLTP 为联机事务处理的缩写， OLAP 是联机分析处理的缩写。 前者是以数据库为基础的， 面对的是操作人员和低层管理人员， 对基本数 据进行查询和增、删、改等处理。9.ROLAP ：是基于关系数据库存储方式的，在这种结构中，多维数据被映 像成二维关系表，通常采用星型或雪花型架构，由一个事实表和多个维度 表构成。10. MOLAP ：是基于类似于“超立方”块的 OLAP 存储结构，由许多经压缩 的、类似于多维数组的对象构成，并带有高度压缩的索引及指针结构，通 过直接偏移计算进行存取。11.数据归约

23、：缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并 且能够得到和原始数据相同的分析结果。12.广义知识：通过对大量数据的归纳、概括和抽象，提炼出带有普遍性的、 概括性的描述统计的知识。13.预测型知识：是根据时间序列型数据，由历史的和当前的数据去推测未来 的数据，也可以认为是以时间为关键属性的关联知识。14.偏差型知识：是对差异和极端特例的描述，用于揭示事物偏离常规的异常 现象，如标准类外的特例，数据聚类外的离群值等。15.遗传算法：是一种优化搜索算法，它首先产生一个初始可行解群体，然后 对这个群体通过模拟生物进化的选择、 交叉、变异等遗传操作遗传到下一 代群体，并最终达到全局最优。16

24、.聚类：是将物理或抽象对象的集合分组成为多个类或簇 （cluster）的过程，使得在同一个簇中的对象之间具有较高的相似度， 而不同簇中的对象差别 较大。17.决策树：是用样本的属性作为结点，用属性的取值作为分支的树结构。它 是分类规则挖掘的典型方法，可用于对新样本进行分类。18.相异度矩阵：是聚类分析中用于表示各对象之间相异度的一种矩阵， n 个 对象的相异度矩阵是一个 nn 维的单模矩阵，其对角线元素均为 0，对角 线两侧元素的值相同。19.频繁项集：指满足最小支持度的项集，是挖掘关联规则的基本条件之一。20.支持度：规则A B的支持度指的是所有事件中 A与B同地发生的的概率， 即P（AU

25、B）,是AB同时发生的次数与事件总次数之比。支持度是对关联 规则重要性的衡量。21.可信度：规则A B的可信度指的是包含 A项集的同时也包含B项集的条 件概率P（B|A）,是AB同时发生的次数与 A发生的所有次数之比。可信度 是对关联规则的准确度的衡量。22.关联规则： 同时满足最小支持度阈值和最小可信度阈值的规则称之为关联 规则。综合题1何谓数据挖掘？它有哪些方面的功能？从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含 在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为 数据挖掘。相关的名称有知识发现、数据分析、数据融合、决策支持等。数据挖掘的功能包括：概念描述、关

26、联分析、分类与预测、聚类分析、 趋势分析、孤立点分析以及偏差分析等。2何谓数据仓库？为什么要建立数据仓库？数据仓库是一种新的数据处理体系结构，是面向主题的、集成的、不可更新的（稳定性）、随时间不断变化（不同时间）的数据集合，为企业决策支 持系统提供所需的集成信息。建立数据仓库的目的有3个：一是为了解决企业决策分析中的系统响应问题，数据仓库能提供比传 统事务数据库更快的大规模决策分析的响应速度。二是解决决策分析对数据的特殊需求问题。决策分析需要全面的、正 确的集成数据，这是传统事务数据库不能直接提供的。三是解决决策分析对数据的特殊操作要求。决策分析是面向专业用户 而非一般业务员，需要使用专业的分析工具，对分析结果还要以商业智能 的方式进行表现，这是事务数据库不能提供的。3.列举操作型数据与分析型数据的主要区别。操作型数据分析型数据当前的、细节的历史的、综合的面向应用、事务驱动面向分析、分析驱动频繁增、删、改几乎不更新，定期追加操作需求事先知道分析需求事先不知道生命周期符合SDLC完全不同的生命周期对性能要求高对性能要求宽松一次操作数据量小一次操作数据量大支持日常事务