数据挖掘知识点概况及试题.docx
《数据挖掘知识点概况及试题.docx》由会员分享,可在线阅读,更多相关《数据挖掘知识点概况及试题.docx(22页珍藏版)》请在冰豆网上搜索。
数据挖掘知识点概况及试题
第一章
1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。
2、元数据是描述数据仓库内数据的结构和建立方法的数据,它为访问数据仓库提供了一个信息目录,根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。
3、数据处理通常分成两大类:
联机事务处理和联机分析处理。
4、多维分析是指以“维”形式组织起来的数据(多维数据集)采取切片、切块、钻取和旋转等各种分析动作,以求剖析数据,使拥护能从不同角度、不同侧面观察数据仓库中的数据,从而深入理解多维数据集中的信息。
5、ROLAP是基于关系数据库的OLAP实现,而MOLAP是基于多维数据结构组织的OLAP实现。
6、数据仓库按照其开发过程,其关键环节包括数据抽取、数据存储于管理和数据表现等。
7、数据仓库系统的体系结构根据应用需求的不同,可以分为以下4种类型:
两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库。
8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的(但是可“挥发”的)、企业级的、详细的数据库,也叫运营数据存储。
9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则。
10、从应用的角度看,数据仓库的发展演变可以归纳为5个阶段:
以报表为主、以分析为主、以预测模型为主、以运营导向为主和以实时数据仓库和自动决策为主。
第二章
1、调和数据是存储在企业级数据仓库和操作型数据存储中的数据。
2、抽取、转换、加载过程的目的是为决策支持应用提供一个单一的、权威数据源。
因此,我们要求ETL过程产生的数据(即调和数据层)是详细的、历史的、规范的、可理解的、即时的和质量可控制的。
3、数据抽取的两个常见类型是静态抽取和增量抽取。
静态抽取用于最初填充数据仓库,增量抽取用于进行数据仓库的维护。
4、粒度是对数据仓库中数据的综合程度高低的一个衡量。
粒度越小,细节程度越高,综合程度越低,回答查询的种类越多。
5、使用星型模式可以从一定程度上提高查询效率。
因为星型模式中数据的组织已经经过预处理,主要数据都在庞大的事实表中。
6、维度表一般又主键、分类层次和描述属性组成。
对于主键可以选择两种方式:
一种是采用自然键,另一种是采用代理键。
7、雪花型模式是对星型模式维表的进一步层次化和规范化来消除冗余的数据。
8、数据仓库中存在不同综合级别的数据。
一般把数据分成4个级别:
早期细节级、当前细节级、轻度综合级和高度综合级。
第三章
1、SQLServerSSAS提供了所有业务数据的同意整合试图,可以作为传统报表、在线分析处理、关键性能指示器记分卡和数据挖掘的基础。
2、数据仓库的概念模型通常采用信息包图法来进行设计,要求将其5个组成部分(包括名称、维度、类别、层次和度量)全面地描述出来。
3、数据仓库的逻辑模型通常采用星型图法来进行设计,要求将星型的各类逻辑实体完整地描述出来。
4、按照事实表中度量的可加性情况,可以把事实表对应的事实分为4种类型:
事务事实、快照事实、线性项目事实和事件事实。
5、确定了数据仓库的粒度模型以后,为提高数据仓库的使用性能,还需要根据拥护需求设计聚合模型。
6、在项目实施时,根据事实表的特点和拥护的查询需求,可以选用时间、业务类型、区域和下属组织等多种数据分割类型。
7、当维表中的主键在事实表中没有与外键关联时,这样的维称为退化维。
它于事实表并无关系,但有时在查询限制条件(如订单号码、出货单编号等)中需要用到。
8、维度可以根据其变化快慢分为元变化维度、缓慢变化维度和剧烈变化维度三类。
9、数据仓库的数据量通常较大,且数据一般很少更新,可以通过设计和优化索引结构来提高数据存取性能。
10、数据仓库数据库常见的存储优化方法包括表的归并与簇文件、反向规范化引入冗余、表的物理分割(分区)。
第四章
1、关联规则的经典算法包括Apriori算法和FP-growth算法,其中FP-grownth算法的效率更高。
2、如果L2={{a,b},{a,c},{a,d},{b,c},{b,d}},则
连接产生的C3={{a,b,c},{a,b,d},{a,c,d},{b,c,d}}
再经过修剪,C3={{a,b,c},{a,b,d}}
3、设定supmin=50%,交易集如
则L1={A},{B},{C}L2={A,C}
T1ABC
T2AC
T3AD
T4BEF
第五章
1、分类的过程包括获取数据、预处理、分类器设计和分类决策。
2、分类器设计阶段包含三个过程:
划分数据集、分类器构造和分类器测试。
3、分类问题中常用的评价准则有精确度、查全率和查准率和集合均值。
4、支持向量机中常用的核函数有多项式核函数、径向基核函数和S型核函数。
第六章
1、聚类分析包括连续型、二值离散型、多值离散型和混合类型4种类型描述属性的相似度计算方法。
2、连续型属性的数据样本之间的距离有欧氏距离、曼哈顿距离和明考斯基距离。
3、划分聚类方法对数据集进行聚类时包含三个要点:
选种某种距离作为数据样本减的相似性度量、选择评价聚类性能的准则函数和选择某个初始分类,之后用迭代的方法得到聚类结果,使得评价聚类的准则函数取得最优值。
4、层次聚类方法包括凝聚型和分解型两中层次聚类方法。
填空题20分,简答题25分,计算题2个(25分),综合题30分
1、数据仓库的组成?
P2
数据仓库数据库,数据抽取工具,元数据,访问工具,数据集市,数据仓库管理,信息发布系统
2、数据挖掘技术对聚类分析的要求有哪几个方面?
P131
可伸缩性;处理不同类型属性的能力;发现任意形状聚类的能力;减小对先验知识和用户自定义参数的依赖性;处理噪声数据的能力;可解释性和实用性
3、数据仓库在存储和管理方面的特点与关键技术?
P7
数据仓库面对的是大量数据的存储与管理
并行处理
针对决策支持查询的优化
支持多维分析的查询模式
4、常见的聚类算法可以分为几类?
P132
基于划分的聚类算法,基于层次的聚类算法,基于密度的聚类算法,基于网格的聚类算法,基于模型的聚类算法等。
5、一个典型的数据仓库系统的组成?
P12
数据源、数据存储与管理、OLAP服务器、前端工具与应用
数据仓库常见的存储优化方法?
P71
表的归并与簇文件;反向规范化,引入冗余;表的物理分割。
数据仓库发展演变的5个阶段?
P20
以报表为主
以分析为主
以预测模型为主
以运行向导为主以实时数据仓库、自动决策应用为主
ID3算法主要存在的缺点?
P116
(1)ID3算法在选择根结点和各内部结点中的分枝属性时,使用信息增益作为评价标准。
信息增益的缺点是倾向于选择取值较多的属性,在有些情况下这类属性可能不会提供太多有价值的信息。
(2)ID3算法只能对描述属性为离散型属性的数据集构造决策树。
简述数据仓库ETL软件的主要功能和对产生数据的目标要求。
P30
ETL软件的主要功能:
数据的抽取,数据的转换,数据的加载
对产生数据的目标要求:
详细的、历史的、规范化的、可理解的、即时的、质量可控制的
简述分类器设计阶段包含的3个过程。
★
划分数据集,分类器构造,分类器测试
什么是数据清洗?
P33★
数据清洗是一种使用模式识别和其他技术,在将原始数据转换和移到数据仓库之前来升级原始数据质量的技术。
支持度和置信度的计算公式及数据计算(P90)
找出所有的规则XY,使支持度和置信度分别大于门限支持度:
事务中X和Y同时发生的比例,P(XՈY)置信度:
项集X发生时,Y同时发生的条件概率P(Y|X)
Example:
13、利用信息包图设计数据仓库概念模型需要确定的三方面内容。
P57
确定指标,确定维度,确定类别
14、K-近邻分类方法的操作步骤(包括算法的输入和输出)。
P128
15、什么是技术元数据,主要包含的内容?
P29
技术元数据是描述关于数据仓库技术细节的数据,应用于开发、管理和维护DW,包含:
DW结构的描述,如DW的模式、视图、维、层次结构和导出数据的定义,数据集市的位置和内容等
业务系统、DW和数据集市的体系结构和模式
汇总算法。
包括度量和维定义算法,数据粒度、主题领域、聚合、汇总和预定义的查询和报告。
由操作型业务环境到数据仓库业务环境的映射。
包括源数据和他们的内容、数据分割、数据提取、清洗、转换规则和数据刷新规则及安全(用户授权和存取控制)
16、业务元数据主要包含的内容?
P29
业务元数据:
从业务角度描述了DW中的数据,提供了介于使用者和实际系统之间的语义层,主要包括:
使用者的业务属于所表达的数据模型、对象名和属性名
访问数据的原则和数据的来源
系统提供的分析方法及公式和报表的信息。
17、K-means算法的基本操作步骤(包括算法的输入和输出)。
P138★
18、数据从集结区加载到数据仓库中的主要方法?
P36
SQL命令(如Insert或Update)
由DW供应商或第三方提供专门的加载工具
由DW管理员编写自定义程序
19、多维数据模型中的基本概念:
维,维类别,维属性,粒度P37
维:
人们观察数据的特定角度,是考虑问题的一类属性,如时间维或产品维
维类别:
也称维分层。
即同一维度还可以存在细节程度不同的各个类别属性(如时间维包括年、季度、月等)
维属性:
是维的一个取值,是数据线在某维中位置的描述。
粒度:
DW中数据综合程度高低的一个衡量。
粒度低,细节程度高,回答查询的种类多
?
?
20、Apriori算法的基本操作步骤P93★
Apriori使用一种称作逐层搜索的迭代方法,K项集用于探索K+1项集。
该方法是基于候选的策略,降低候选数
Apriori剪枝原则:
若任何项集是非频繁的,则其超集必然是非频繁的(不用产生和测试超集)
该原则基于以下支持度的特性:
项集的支持度不会超过其子集
支持度的反单调特性(anti-monotone):
如果一个集合不能通过测试,则它的所有超集也都不能通过相同的测试。
令k=1
产生长度为1的频繁项集
循环,直到无新的频繁项集产生
从长度为k的频繁项集产生长度为k+1的候选频繁项集
连接步:
项集的各项排序,前k-1个项相同
若候选频繁子集包含长度为k的非频繁子集,则剪枝
剪枝步:
利用支持度属性原则
扫描数据库,计算每个候选频繁集的支持度
删除非频繁项,保留频繁项
单选题
1.某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?
(A)
A.关联规则发现B.聚类
C.分类D.自然语言处理
2.以下两种描述分别对应哪两种对分类算法的评价标准?
(A)
(a)警察抓小偷,描述警察抓的人中有多少个是小偷的标准。
(b)描述有多少比例的小偷给警察抓了的标准。
A.Precision,RecallB.Recall,Precision
A.Precision,ROCD.Recall,ROC
3.将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?
(C)
A.频繁模式挖掘B.分类和预测C.数据预处理D.数据流挖掘
4.当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离?
(B)
A.分类B.聚类C.关联分析D.隐马尔可夫链
5.什么是KDD?
(A)
A.数据挖掘与知识发现B.领域知识发现
C.文档知识发现D.动态知识发现
6.使用交互式的和可视化的技术,对数据进行探索属于数据挖掘的哪一类任务?
(A)
A.探索性数据分析B.建模描述
C.预测建模D.寻找模式和规则
7.为数据的总体分布建模;把多维空间划分成组等问题属于数据挖掘的哪一类任务?
(B)
A.探索性数据分析B.建模描述
C.预测建模D.寻找模式和规则
8.建立一个模型,通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务?
(C)
A.根据内容检索B.建模描述
C.预测建模D.寻找模式和规则
9.用户有一种感兴趣的模式并且希望在数据集中找到相似的模式,属于数据挖掘哪一类任务?
(A)
A.根据内容检索B.建模描述
C.预测建模D.寻找模式和规则
11.下面哪种不属于数据预处理的方法?
(D)
A变量代换B离散化C聚集D估计遗漏值
12.假设12个销售价格记录组已经排序如下:
5,10,11,13,15,35,50,55,72,92,204,215使用如下每种方法将它们划分成四个箱。
等频(等深)划分时,15在第几个箱子内?
(B)
A第一个B第二个C第三个D第四个
13.上题中,等宽划分时(宽度为50),15又在哪个箱子里?
(A)
A第一个B第二个C第三个D第四个
14.下面哪个不属于数据的属性类型:
(D)
A标称B序数C区间D相异
15.在上题中,属于定量的属性类型是:
(C)
A标称B序数C区间D相异
16.只有非零值才重要的二元属性被称作:
(C)
A计数属性B离散属性C非对称的二元属性D对称属性
17.以下哪种方法不属于特征选择的标准方法:
(D)
A嵌入B过滤C包装D抽样
18.下面不属于创建新属性的相关方法的是:
(B)
A特征提取B特征修改C映射数据到新的空间D特征构造
19.考虑值集{1、2、3、4、5、90},其截断均值(p=20%)是(C)
A2B3C3.5D5
20.下面哪个属于映射数据到新的空间的方法?
(A)
A傅立叶变换B特征加权C渐进抽样D维归约
21.熵是为消除不确定性所需要获得的信息量,投掷均匀正六面体骰子的熵是:
(B)
A1比特B2.6比特C3.2比特D3.8比特
22.假设属性income的最大最小值分别是12000元和98000元。
利用最大最小规范化的方法将属性的值映射到0至1的范围内。
对属性income的73600元将被转化为:
(D)
A0.821B1.224C1.458D0.716
23.假定用于分析的数据包含属性age。
数据元组中age的值如下(按递增序):
13,15,16,16,19,20,20,21,22,22,25,25,25,30,33,33,35,35,36,40,45,46,52,70,问题:
使用按箱平均值平滑方法对上述数据进行平滑,箱的深度为3。
第二个箱子值为:
(A)
A18.3B22.6C26.8D27.9
24.考虑值集{12243324556826},其四分位数极差是:
(A)
A31B24C55D3
25.一所大学内的各年纪人数分别为:
一年级200人,二年级160人,三年级130人,四年级110人。
则年级属性的众数是:
(A)
A一年级B二年级C三年级D四年级
26.下列哪个不是专门用于可视化时间空间数据的技术:
(B)
A等高线图B饼图C曲面图D矢量场图
27.在抽样方法中,当合适的样本容量很难确定时,可以使用的抽样方法是:
(D)
A有放回的简单随机抽样B无放回的简单随机抽样C分层抽样D渐进抽样
28.数据仓库是随着时间变化的,下面的描述不正确的是(C)
A.数据仓库随时间的变化不断增加新的数据内容;
B.捕捉到的新数据会覆盖原来的快照;
C.数据仓库随事件变化不断删去旧的数据内容;
D.数据仓库中包含大量的综合数据,这些综合数据会随着时间的变化不断地进行重新综合.
29.关于基本数据的元数据是指:
(D)
A.基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息;
B.基本元数据包括与企业相关的管理方面的数据和信息;
C.基本元数据包括日志文件和简历执行处理的时序调度信息;
D.基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息.
30.下面关于数据粒度的描述不正确的是:
(C)
A.粒度是指数据仓库小数据单元的详细程度和级别;
B.数据越详细,粒度就越小,级别也就越高;
C.数据综合度越高,粒度也就越大,级别也就越高;
D.粒度的具体划分将直接影响数据仓库中的数据量以及查询质量.
31.有关数据仓库的开发特点,不正确的描述是:
(A)
A.数据仓库开发要从数据出发;
B.数据仓库使用的需求在开发出去就要明确;
C.数据仓库的开发是一个不断循环的过程,是启发式的开发;
D.在数据仓库环境中,并不存在操作型环境中所固定的和较确切的处理流,数据仓库中数据分析和处理更灵活,且没有固定的模式
32.在有关数据仓库测试,下列说法不正确的是:
(D)
A.在完成数据仓库的实施过程中,需要对数据仓库进行各种测试.测试工作中要包括单元测试和系统测试.
B.当数据仓库的每个单独组件完成后,就需要对他们进行单元测试.
C.系统的集成测试需要对数据仓库的所有组件进行大量的功能测试和回归测试.
D.在测试之前没必要制定详细的测试计划.
33.OLAP技术的核心是:
(D)
A.在线性;
B.对用户的快速响应;
C.互操作性.
D.多维分析;
34.关于OLAP的特性,下面正确的是:
(D)
(1)快速性
(2)可分析性(3)多维性(4)信息性(5)共享性
A.
(1)
(2)(3)
B.
(2)(3)(4)
C.
(1)
(2)(3)(4)
D.
(1)
(2)(3)(4)(5)
35.关于OLAP和OLTP的区别描述,不正确的是:
(C)
A.OLAP主要是关于如何理解聚集的大量不同的数据.它与OTAP应用程序不同.
B.与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务.
C.OLAP的特点在于事务量大,但事务内容比较简单且重复率高.
D.OLAP是以数据仓库为基础的,但其最终数据来源与OLTP一样均来自底层的数据库系统,两者面对的用户是相同的.
36.OLAM技术一般简称为”数据联机分析挖掘”,下面说法正确的是:
(D)
A.OLAP和OLAM都基于客户机/服务器模式,只有后者有与用户的交互性;
B.由于OLAM的立方体和用于OLAP的立方体有本质的区别.
C.基于WEB的OLAM是WEB技术与OLAM技术的结合.
D.OLAM服务器通过用户图形借口接收用户的分析指令,在元数据的知道下,对超级立方体作一定的操作.
37.关于OLAP和OLTP的说法,下列不正确的是:
(A)
A.OLAP事务量大,但事务内容比较简单且重复率高.
B.OLAP的最终数据来源与OLTP不一样.
C.OLTP面对的是决策人员和高层管理人员.
D.OLTP以应用为核心,是应用驱动的.
38.设X={1,2,3}是频繁项集,则可由X产生__(C)__个关联规则。
A、4B、5C、6D、7
40.概念分层图是__(B)__图。
A、无向无环B、有向无环C、有向有环D、无向有环
41.频繁项集、频繁闭项集、最大频繁项集之间的关系是:
(C)
A、频繁项集频繁闭项集=最大频繁项集
B、频繁项集=频繁闭项集最大频繁项集
C、频繁项集频繁闭项集最大频繁项集
D、频繁项集=频繁闭项集=最大频繁项集
42.考虑下面的频繁3-项集的集合:
{1,2,3},{1,2,4},{1,2,5},{1,3,4},{1,3,5},{2,3,4},{2,3,5},{3,4,5}假定数据集中只有5个项,采用合并策略,由候选产生过程得到4-项集不包含(C)
A、1,2,3,4B、1,2,3,5C、1,2,4,5D、1,3,4,5
43.下面选项中t不是s的子序列的是(C)
A、s=<{2,4},{3,5,6},{8}>t=<{2},{3,6},{8}>
B、s=<{2,4},{3,5,6},{8}>t=<{2},{8}>
C、s=<{1,2},{3,4}>t=<{1},{2}>
D、s=<{2,4},{2,4}>t=<{2},{4}>
44.在图集合中发现一组公共子结构,这样的任务称为(B)
A、频繁子集挖掘B、频繁子图挖掘C、频繁数据项挖掘D、频繁模式挖掘
45.下列度量不具有反演性的是(D)
A、系数B、几率C、Cohen度量D、兴趣因子
46.下列__(A)__不是将主观信息加入到模式发现任务中的方法。
A、与同一时期其他数据对比
B、可视化
C、基于模板的方法
D、主观兴趣度量
47.下面购物篮能够提取的3-项集的最大数量是多少(C)
ID购买项
1牛奶,啤酒,尿布
2面包,黄油,牛奶
3牛奶,尿布,饼干
4面包,黄油,饼干
5啤酒,饼干,尿布
6牛奶,尿布,面包,黄油
7面包,黄油,尿布
8啤酒,尿布
9牛奶,尿布,面包,黄油
10啤酒,饼干
A、1B、2C、3D、4
48.以下哪些算法是分类算法,A,DBSCANB,C4.5C,K-MeanD,EM(B)
49.以下哪些分类方法可以较好地避免样本的不平衡问题,A,KNNB,SVMC,BayesD,神经网络(A)
50.决策树中不包含一下哪种结点,A,根结点(rootnode)B,内部结点(internalnode)C,外部结点(externalnode)D,叶结点(leafnode)(C)
51.不纯性度量中Gini计算公式为(其中c是类的个数)(A)
A,B,C,D,(A)
53.以下哪项关于决策树的说法是错误的(C)
A.冗余属性不会对决策树的准确率造成不利的影响
B.子树可能在决策树中重复多次
C.决策树算法对于噪声的干扰非常敏感
D.寻找最佳决策树是NP完全问题
54.在基于规则分类器的中,依据规则质量的某种度量对规则排序,保证每一个测试记录都是由覆盖它的“最好的”规格来分类,这种方案称为(B)
A.基于类的排序方案
B.基于规则的排序方案
C.基于度量的排序方案
D.基于规格的排序方案。
55.以下哪些算法是基于规则的分类器(A)
A.C4.5B.KNNC.Na?
veBayesD.ANN
56.如果规则集R中不存在两条规则被同一条记录触发,则称规则集R中的规则为(C);
A,无序规则B,穷举规则C,互斥规则D,有序规则
57.如果对属性值的任一组合,R中都存在一条规则加以覆盖,则称规则集R中的规则为(B)
A,无序规则B,穷举规则C,互斥规则D,有序规则
58.如果规则集中的规则按照优先级降序排列,则称规则集是(D)
A,无序规则B,穷举规则C,互斥规则D,有序规则
59.如果允许一条记录触发多条分类规则,把每条被触发规则的后件看作是对相应类的一次投票,然后计票确定测试记录的类标号,称为(A)
A,无序规则B,穷举规则C,互斥规则D,有序规则
60.考虑两队之间的足球比