数据挖掘复习111Word格式文档下载.docx

数据挖掘复习111Word格式文档下载.docx

《数据挖掘复习111Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《数据挖掘复习111Word格式文档下载.docx（10页珍藏版）》请在冰豆网上搜索。

（bookp105）（P3-3）

数据清理,数据集成与变换,数据归约。

7．什么是数据清理（datacleaning）？

（bookP109）（P3-5）

现实世界的数据一般是脏的、不完整的和不一致的，数据清理例程试图填充空缺的值，识别孤立点，消除噪声，并纠正数据中的不一致。

8．数据清理（datacleaning）的内容包括哪些？

（bookP109-112小节标题）（（P3-5-6））

填充缺失值，平滑噪音数据，纠正不一致的数据

9．什么是数据集成（dataintegration）？

（bookP1123.3.1）（P3-8）

将数据由多个源合并成一致的数据存储。

10．什么是数据归约（datareduction）？

（bookP116）（P3-10）

一种用于得到数据集归约表示的技术，它小得多，但仍接近于保持原数据的完整性。

11.将下列缩略语（acronym）复原

OLAP——on-lineanalyticalprocessing

DM——datamining

KDD——knowledgediscoveryindatabases

OLTP——on-linetransactionprocessing

DBMS——databasemanagementsystem

DWT——discretewavelettransform

12．什么是数据挖掘（datamining）？

答案1：

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

答案2：

（bookP5）（P1-6）数据挖掘就是从大量数据中提取或“挖掘”知识。

13．什么是关联规则（associationrule）？

（bookP23）（P1-14）

关联规则是形如XY，即“A1∪…∪Am”“B1∪…∪Bn”的规则（其中A1（i∈{1,…,m}）,Bj（j∈{1,…,n}）的属性值对。

14．什么是置信度（confidence）？

（p6-4-5）

置信度是条件概率P（Y|X）；

即，包含X的事务也包含Y的概率。

更形式地，置信度定义为

confidence（X⇒Y）=P（Y|X）

15．什么是支持度（support）？

支持度表示满足规则的样本百分比。

支持度是概率P（X∪Y），其中，X∪Y表示同时包含X和Y的事务；

即，项集X和Y的并。

更形式地，支持度定义为

support（X⇒Y）=P（X∪Y）

16．数据仓库（datawarehouse）的主要特征是什么？

（bookp40）（P2-3-4）

（1）面向主题的（subject-oriented）:

数据仓库围绕一些主题，如顾客、供应商、产品和销售组织。

（2）集成的（integrated）：

构造数据仓库是将多个异种数据源，如关系数据库、一般文件和联机事务处理记录，集成在一起。

（3）时变的（time-variant）：

数据存储从历史的角度提供信息数据仓库的关键结构，隐式地或显式地包含时间元素。

（4）非易失的（nonvolatile）：

数据仓库总是物理地分离存放数据；

这些数据源于操作环境下的应用数据。

由于这种分离，数据仓库不需要事务处理、恢复和并发控制机制。

它只需要两种数据访问：

数据的初始化装入和数据访问。

17．什么是数据集市（datamart）？

（bookP15）

答案：

数据集市是数据仓库的一个部门子集。

它聚焦在选定的主题上，是部门范围的。

18．数据库中的知识发现（knowledgediscoveryindatabases）过程由哪几个步骤组成？

（bookp7）（P1-6）

数据清理：

消除噪声或不一致数据。

数据集成：

将多种数据源组合在一起。

数据选择：

从数据库中检索与分析任务相关的数据。

数据变换：

数据变换或统一成适合挖掘的形式，如通过汇总或聚集操作。

数据挖掘：

基本步骤，使用智能方法提取数据模式。

模式评估：

根据某种兴趣度度量，识别表示知识的真正有趣的模式。

知识表示：

使用可视化和知识表示技术，向用户提供挖掘的知识。

19．典型的数据挖掘系统有哪几个主要成分？

（bookp7-9）（1-7-8）

数据库、数据仓库或其他数据库,数据库或数据仓库服务器,知识库,数据挖掘引擎,模式评估模块,图形用户界面。

20．从软件工程的观点来看，数据仓库的设计和构造包含哪些步骤？

（bookP64）（P2-20）

规划,需求分析,问题分析,仓库设计,数据集成和测试,部署数据仓库。

21-22.deleted

23．数据清理时，对空缺值有哪些处理方法？

（bookP1094-9）（3-5-6）

忽略元组

人工填写空缺值

使用一个常量填充空缺值

使用属性的平均值填充空缺值

使用与给定元组属同一类的所有样本的平均值

使用最可能的值填充空缺值。

24．什么是数据变换（datatransformation）？

包括哪些内容？

（bookP114）（3-8-9）

数据变换是把数据转换成适用于挖掘的形式。

所涉及的内容包括：

平滑：

去掉数据中的噪声。

包括分箱、聚类和回归。

属于数据清理。

聚集：

对数据进行汇总和聚集。

属于数据归约。

数据概化：

使用概念分层，用高层次概念替换低层次原始数据。

规范化：

将属性数据按比例缩放，使之落入一个小的特定区间。

属性构造：

构造新属性，加入到给定的属性集合中，为数据挖掘过程提供帮助。

25．数据归约（datareduction）的策略包括哪些？

（bookP116-117）（3-10）

数据立方体聚集,维归约,数据压缩,数值压缩,离散化和概念分层产生。

26．提高数据挖掘算法效率有哪几种思路？

共有三种思路：

（1）减少数据库扫描次数，这种技术对效率会有巨大提高。

（2）利用采样技术，对要挖掘的数据集合进行选择。

（3）采用并行数据挖掘。

因为大规模的数据库经常分布在若干网络节点上，并行挖掘技术显然能提高效率。

这对于在Internet上的海量数据挖掘研究具有重要的意义。

27．（P115P3-9例3.1）假定属性income的最小值与最大值分别为￥12000和￥98000，如映射income到区间[0.0，1.0]，根据min-max规范化，income值￥73600将变为0.716。

计算过程：

（73600-12000）/（98000-12000）*（1.0-0.0）+0.0=0.716

28．（P115P3-9例3.2）假定属性income的平均值和标准差分别为￥54000和￥16000。

使用Z-score规范化，值￥73600被转换为1.225。

（73600-54000）/16000=1.225

29．（P116P3-9例3.3）假定A的值由-986到917。

A的最大绝对值为986，使用小数定标规范化，-986被规范化为-0.986。

30．从结构角度来看，有三种数据仓库模型（datawarehousemodel）________________。

企业仓库,数据集市,虚拟仓库

31．什么是离散小波变换（discretewavelettransform）？

（bookP121）（P3-13）

离散小波变换是一种线性信号处理技术，当用于数据向量D时，将它转换成数值上不同的小波系数的向量D’。

两个向量具有相同的长度。

32.与数据挖掘类似的术语有：

（bookP5）（P1-6）

数据库中知识挖掘,知识提取,数据/模式分析,数据考古,数据捕捞。

33．解释下列术语（bookP7）（P1-6）

34．翻译下列术语

DataMining数据挖掘

Datawarehousing数据仓库

DataMart数据集市

drill-down下钻

roll-up上卷

OLAP联机分析处理

Datacube数据立方体

Associationrule关联规则

Datacleaning数据清理

Dataintegration数据集成

Datatransformation数据变换

Datareduction数据归约

35.可以对按季度汇总的销售数据进行______，来观察按月汇总的数据。

（bookP15）（P1-12）

A上卷B下钻C切片D切块

36．可以对按城市汇总的销售数据进行______，来观察按国家总的数据。

37．通过不太详细的数据得到更详细的数据，称为________。

（bookP60）（P2-16）

A上卷B下钻C细化D维规约

38．三层数据仓库结构中，从底层到顶层分别是_________________。

（bookP65）（P2-21）

仓库数据库服务器,OLAP服务器,客户

39．已知事务数据库D，假定最小支持度为2，使用Apriori算法求所有的频繁项集和它们的支持度。

（bookP232-234）（P6-6-8）

解：

1）在算法的第一次迭代，每个项都是候选1-项集的集合C1的成员。

算法简单地扫描所有的事务，对每个项的出现次数计数。

2）由最小事务支持计数为2（即min_sup=2／9=22％），可以确定频繁1-项集的集合L1。

它由具有最小支持度的候选1-项集组成。

3）为发现频繁2-项集的集合L2，算法使用L1╳L1产生候选2-项集的集合C2。

C2由

个2-项集组成。

4）下一步，扫描D中事务，计算C2中每个候选项集的支持计数，如图1的第二行的中间表所示。

5）确定频繁2-项集的集合L2，它由具有最小支持度的C2中的候选2-项集组成。

6）候选3-项集的集合C3的产生详细地列在图2中。

首先，令C3=L2╳L2={{I1，I2，13}，{I1，I2，I5}，{I1，I3，I5}，{I2，I3，I4}，{I2，I3，I5}，{I2，I4，I5}}。

根据Apriori性质，频繁项集的所有子集必须是频繁的，我们可以确定后4个候选不可能是频繁的。

因此，我们把它们由C3删除，这样，在此后扫描D确定L3时就不必再求它们的计数值。

注意，Apriori算法使用逐层搜索技术，给定k-项集，我们只需要检查它们的（k-1）-子集是否频繁。

7）扫描D中事务，以确定L3，它由具有最小支持度的C3中的候选3-项集组成（图1）。

8）算法使用L3╳L3产生候选4-项集的集合C4。

尽管连接产生结果{{I1，I2，I3，I5}}，这个项集被剪去，因为它的子集{I2，13，15}不是频繁的。

这样，C4=Ø

（空集），因此算法终止，找出了所有的频繁项集。

图2

40.什么是聚类（clustering）？

它与分类（classification）有什么不同？

（bookP335）

聚类就是将数据对象分组成为多个类或簇（cluster），在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。

它与分类不同的是，它要划分的类是未知的。

41.什么是区间标度变量？

（bookP339）

区间标度变量是一个粗略线性标度的连续度量。

42.大体上，主要的聚类算法可以划分为哪几类？

（bookP346-348）

（1）划分方法（partitioningmethod）：

给定一个n个对象或元组的数据库，一个划分方法构建数据的k个划分，每个划分表示一个聚簇，并且k≤n。

（2）层次的方法（hierarchicalmethod）：

层次的方法对给定数据对象集合进行层次的分解。

根据层次的分解如何形成，层次的方法可以分为凝聚的和分裂的。

（3）基于密度的方法（density-basedmethod）：

绝大多数划分方法基于对象之间的距离进行聚类。

这样的方法只能发现球状的簇，而在发现任意形状的簇上遇到了困难。

（4）基子网格的方法（grid-basedmethod）：

基于网格的方法把对象空间量化为有限数目的单元，形成了一个网格结构。

所有的聚类操作都在这个网格结构（即量化的空间）上进行。

（5）基于模型的方法（model-basedmethod）：

基于模型的方法为每个簇假定了一个模型，寻找数据对给定模型的最佳拟合。