数据挖掘概念与核心技术.docx
《数据挖掘概念与核心技术.docx》由会员分享,可在线阅读,更多相关《数据挖掘概念与核心技术.docx(9页珍藏版)》请在冰豆网上搜索。
![数据挖掘概念与核心技术.docx](https://file1.bdocx.com/fileroot1/2022-12/9/b11ec066-cbe4-4a90-9e5f-147ecaaeb01e/b11ec066-cbe4-4a90-9e5f-147ecaaeb01e1.gif)
数据挖掘概念与核心技术
数据挖掘概念与技术
一.什么是数据挖掘,数据挖掘知识体系及应用范畴
1.定义:
又称数据中知识发现,从大量数据中挖掘有趣模式和知识过程。
知识发现过程:
1).数据清理:
除噪声和删除不一致数据
2).数据集成:
各种数据源组合
3).数据选取:
取和分析与任务有关数据
4).数据变换:
数据变换和统一成适合挖掘形式
5).数据挖掘:
使用智能办法提取数据格式
6).模式评估:
辨认代表知识有趣模式
7).知识表达:
使用可视化和知识表达技术,向顾客提供挖掘知识
2.为什么要进行数据挖掘
将来将是大数据时代,IDC(国际数据公司)研究报告指出全球信息资料量为2.8ZB(240次方GB),而在预测会达到40ZB,平均每人拥有5247GB数据。
庞大数据量背后隐藏着巨大潜在价值,人们手握巨量数据却没有较好手段去充分挖掘其中价值,因而对数据挖掘研究可以协助咱们将数据转化成知识。
3.数据挖掘知识体系
数据挖掘作为一种应用驱动领域,吸纳了许多应用领域技术,涉及:
记录学、机器学习、模式辨认、数据库和数据仓库、信息检索、可视化、算法、高性能计算等。
数据挖掘任务分类:
描述性任务:
刻画目的数据普通性质
预测性任务:
归纳及做出预测
数据挖掘功能:
1).数据特性化与数据区别
2).频繁模式
3).关联和有关性挖掘
4).分类和回归
5).聚类分析
6).离群点分析
4.数据挖掘应用领域
1.金融数据分析
2.零售与电信业:
例如分析零售数据有助于做出对的决策;产品推荐;顾客保有及促销方略
3.科学与工程数据挖掘
4.网络数据挖掘:
社交网络顾客行为分析,多媒体、文本和web数据分析
5.信息检索:
搜索引擎、云计算、数据仓库
二.结识数据
1.属性总结:
标称属性:
某些符号和事物名称,如头发颜色和学历是描述人属性。
二元属性:
只有0、1两种状态
序数属性:
也许值具备故意义序,如教师职称
数值属性:
定量,用实数值表达
2.度量数据相似性和相异性(即数据邻近性)
非对称二元属性:
Jaccard属性
数值属性:
欧几里得距离、曼哈顿距离、闵可夫斯基距离、上确界距离
相似性评估:
余弦相似性(用于比较文档)、Tanimoto系数
3.数据预解决
1).数据清理:
弥补缺失值、光滑噪声、辨认离群点、纠正数据不一致性,普通是一种两步迭代过程,涉及偏差检测盒数据变换
解决缺失值:
有忽视元组、人工填写、全局常量填充、
均值或中位数填充、同类均值或中位数填充、最也许值填充六种办法。
噪声数据解决:
分箱(考察近邻数据值,有箱均值、箱中位数、箱边界光滑办法)
回归、离群点分析
2).数据集成:
将来自各种数据源数据整合成一致数据存储
实体辨认问题:
模式集成和对象匹配。
如在一种系统中discount用于订单,而在另一种系统中用于商品,集成不对的导致商品不对的打折
冗余和有关分析:
冗余指一种属性能由另一种或另一组属性导出,则这个属性是冗余,可用有关分析检测到。
标称数据使用卡方检查,数值属性用有关系数和协方差
3).数据规约:
简化数据集表达,涉及维规约和数值规约
维规约:
数据压缩技术(如小波变换和主成分分析),属性子集选取,属性构造
数值规约:
参数模型(如回归),非参数模型(聚类、抽样、直方图)
4).数据变换:
将数据变换成适于挖掘形式
变换方略涉及:
光滑,属性构造,汇集,规范化,离散化,由标称数据产生概念分层。
三.数据仓库与数据立方体技术
1.数据仓库基本概念:
1).数据仓库定义:
一种面向主题、集成、时变、非易失数据集合,支持管理者决策过程。
2).数据库与数据仓库区别:
重要区别在于数据库是面向事务操作解决,而数据仓库是面向分析信息解决。
数据库顾客为数据库专业人员、解决寻常操作,而数据仓库为主管和分析人员,为决策提供支持。
3).数据仓库体系架构:
底层数据,中间层OLAP服务器,顶层前端工具
4).数据仓库模型:
公司仓库:
提供公司范畴内数据集成,公司范畴
数据集市:
包括公司范畴数据一种子集,对特定顾客群,咸鱼选定主题,部门范畴。
虚拟仓库:
操作数据库上视图集合
2.数据仓库建模
数据立方体:
容许以多维数据建模和观测,由维(属性)和事实(数值)定义
方体:
给定诸维每个也许自己产生一种方体,成果形成方体格,方体格称作数据立方体。
多维模型:
星形模式:
涉及一种大中心表(事实表)、一组小附属表(维表),维表环绕中心表
雪花模式:
是星形表变种,某些维表被规范化费解到附加表中,用于数据集市
事实星座:
各种事实表分享维表,用于复杂应用,惯用于公司数据仓库
3.典型OLAP操作:
上卷:
沿一种维概念分层向上攀升或通过维规约进行汇集,如由city上卷到country
下钻:
沿维概念分层向下或引入附加维来实现,如由季度数据到更详细月数据
切片:
在立方体一种维上进行选取,定义一种子立方体,如选取季度一数据
切块:
在立方体两个或各种维上进行选取,定义子立方体,如选取季度为一和商品类型为计算机数据
转轴:
转动数据视角,或将3D立方变换成2D平面序列
物化:
完全物化(完全立方体):
计算定义数据立方体格中所有方体,需要过多存储空间,导致维劫难某些物化:
选取性计算子立方体
冰山立方体:
一种数据立方体,只存储其汇集值不不大于某个最小支持度阈值立方体单元。
立方体外壳:
只预测算涉及少数维方体,这些方体形成相应数据立方体。
4.数据立方体计算办法:
1).多路数组聚焦:
基本思想:
使用多维数组作为基本数据构造,使用数组直接寻址,其中维值通过位置或相应数组位置下标访问。
也许产生稀疏数组构造,可以采用chunkID+offset作为单元寻址机制来压缩数组。
长处:
比老式基于关系记录计算办法快
缺陷:
由于维数增长,计算方体数指数增长,因而该办法仅对具备较少维立方体有效;
不能计算冰山立方体,由于该办法从基本方体开始计算,逐渐向上泛化,因而不能运用先验剪枝,导致即时单元不满足冰山条件指定最小支持度,也无法剪掉。
2). BUC:
基本思想:
以相反顺序观测方体格,顶点方体在底部,而基本方体在顶部,因而事实上市自底向上,BUC可以分担数据划分开销,在构造立方体是可以使用先验性质进行剪枝。
长处:
可以计算冰山立方体,可以分担数据划分开销
缺陷:
易受维顺序和倾斜数据影响。
抱负地,应当先解决最有区别能力为,维应当以基数递减序解决。
3).Star-Cubing:
基本思想:
运用自底向上和自顶向下模式计算模式。
在全局计算顺序上,使用自底向上,而它下面有一种基于自顶向下模式子层,运用共享维概念。
这种集成容许算法在各种维上汇集,而依然划分父母分组并剪裁不满足冰山条件子女分组。
如果共享维上汇集值不满足冰山条件,则沿共享维向下所有单元也不满足冰山条件,这样单元和它们所有后裔都可以剪枝。
长处:
计算完全立方体,速度比BUC快,可以与MultiWay相媲美;计算冰山立方体速度比BUC快。
4).外壳片段立方体:
冰山立方体计算和存储开销虽然比完全立方体小,但是依然很高,一种也许解决方案是计算一种很薄立方体外壳,但是这种立方体外壳不支持高维OLAP,它不支持在4维或更多维上OLAP,并且它甚至不支持沿3个维下钻,因而取代计算立方体外壳可以只计算它一某些或片段。
外壳片段立方体基本思想:
给定一种高维数据集,把维划提成互不相交维片段,把每个片段转换成倒排索引表达,构造立方体外壳片段,使用预测算立方体外壳片段,计算所需要数据立方体方体单元,这可以通过倒排索引上集合交操作完毕。
四.挖掘频繁模式、关联和有关性
1.基本概念
1).一种典型例子:
购物篮分析
顾客也许会在一次购物同步购买哪些商品?
分析成果可以用于营销筹划和商店布局。
2).规则兴趣度度量:
支持度和置信度
支持度:
两种商品同步被购买占事务总数比例,反映发现该规则有用性
置信度:
购买一种商品顾客中同步购买另一种商品顾客所占比例,反映规则拟定性。
项集:
项集合,如集合{computer,antivirus_software}是一种2项集
支持度计数:
项集事务数
频繁项集:
相对支持度满足最小支持度阈值项集
闭频繁项集:
项集X在数据集D中是闭,如果不存在真超项集Y使得Y与X在D中具备相似支持度计数,如果X在D中是闭和频繁,则X是数据集闭频繁项集。
极大频繁项集:
X是频繁,并且不存在超项集Y使得Y在D中是频繁。
关联规则挖掘包括两步:
(1).找出所有频繁项集
(2).由频繁项集产生强关联规则(同步满足最小支持度阈值和最小置信度阈值规则)
2.频繁项集挖掘办法
可以分为三类:
类Apriori算法,基于频繁模式增长算法(如FP-growth算法),使用垂直数据格式算法
1).Apriori算法(数据挖掘十大典型算法)
频繁项集先验性质:
频繁项集所有非空子集也一定是频繁。
基本思想:
使用逐级搜索迭代办法,其中k项集用于摸索(k+1)项集,使用先验性质压缩搜索空间。
如何使用L(k-1)找到L(k):
通过连接步和剪枝步完毕。
连接步通过将L(k-1)与自身连接产生候选k项集集合。
剪枝步从候选k项集拟定L(k)。
提高Apriori算法效率:
基于散列技术:
将事务产生k项集散列到散列表不同桶中,并增长相应桶计数,相应桶计数不大于支持度阈值不也许是频繁,可以从候选集中删除。
这一技术可以明显地压缩需要考察k项集
事务压缩:
不包括任何频繁k项集事务不也许包括任何频繁(k+1)项集,因而在其后考虑时,可以加上标记或删除。
划分:
分两个阶段,阶段一把D划提成n个分区,找出每个分区局部频繁项集,组合所有局部频繁项集形成候选项集;阶段二评估每个候选实际支持度,找出候选项集中全局频繁项集。
整个过程只需要两次数据库扫描。
抽样:
基本思想是选用数据库D随机样本S,然后再S中搜索频繁项集。
这种办法牺牲了某些精度换取了有效性,也许会丢失某些全局频繁项集
动态项集计数:
基本思想是奖数据库划分为用开始点标记块。
不像Apriori算法仅在每次完整数据库扫描前拟定新候选,这种变形中,可以再任何开始点添加新候选集。
该变形需要数据库扫描笔Apriori算法少。
Apriori算法优缺陷
长处:
明显压缩了候选项集规模,产生较好性能
缺陷:
仍需要产生大量候选项集,需要重复扫描整个数据库
2).频繁模式增长(FP-growth)
目的:
挖掘所有频繁项集而无需代价昂贵候选产生过程
基本思想:
采用分治方略,一方面将频繁项集数据库压缩到一棵频繁模式树(FP树),该树仍保存项集关联信息。
然后把压缩后数据库划提成一组条件数据库,每个数据库关联一种频繁项或模式段,并分别挖掘每个条件数据库。
随着被考察模式增长,这种办法明显地压缩被搜索数据集大小。
概括起来可分为构造FP树和挖掘FP树两个环节。
当数据库很大时,构造FP数也许太大而不能放进主存,可以递归地将数据库划提成投影数据库集合。
FP-growth办法对于挖掘长频繁模式和短频繁模式,都是有效和可伸缩,并且大概比Apriori算法快一种数量级。
3).使用垂直数据格式挖掘频繁项集
Apriori算法和FP-growth算法都是使用水平数据格式,即{TID:
itemset},其中TID为事务标记符,itemset是TID中购买商品。
垂直数据格式:
{item:
TID}
基本思想:
通过扫描一次数据库,把水平格式数据转换成垂直格式,依照先验性质,使用频繁k项集来构造候选k+1项集,通过去频繁k项集TID集交,计算相应k+1项集TID集,重复该过程,懂得不能找到频繁项集或候选项集。
长处:
运用先验性质,不需要扫描数据库来拟定k+1项集支持度。
缺陷:
TID集也许很长,需要大量内存,长集合交运算还需要大量计算时间。
3.模式评估
并非所有强关联规则都是有趣,例如项集计算机游戏和录像也许满足强关联规则,但是它们是负有关。
提高度:
一种有关性度量,成果值不不大于1是正有关,为1表达独立,不大于1表达负有关。
有关性度量尚有最大置信度和余弦。
五.挖掘频繁模式、关联和有关性
1.高档模式形式:
多层关联、多维关联、量化关联规则、稀有模式、负模式
2.基于约束挖掘:
模式剪枝约束、数据剪枝约束
模式搜索空间剪枝:
检查候选模式,使用先验性质,剪掉一种模式,如果它超模式都不也许产生。
数据搜索空间剪枝:
检查数据集,判断特定数据片段与否对其后可满足模式产生有贡献。
模式剪枝约束分为五类:
反单调:
如果一种项集不满足规则约束,则它任何超集不也许满足该约束
单调:
如果一种项集满足这个规则约束,则它所有超集也满足。
简洁:
可以枚举并且仅枚举可以保证该约束所有集合,该类约束不必迭代检查
可转变:
不属于以上三类,但该约束在项集一特定顺序排列时也许成为单调或反单调。
不可转变:
大某些都属于以上四类。
3.挖掘高维数据和巨型模式:
涉及运用垂直数据格式扩充模式增长办法和模式融合办法。
垂直数据格式模式增长:
将具备较少行但具备大量维数据集变换成具备大量航少量维数据集。
模式融合:
基本思想:
融合少量较短频繁模式,形成巨型模式候选。
一方面,她以有限宽度遍历树,只使用有限大小候选池中模式作为模式树向下搜索开始结点,避免了指数搜索空间问题。
它产生巨型模式近似解,可以找出大某些巨型模式。
环节:
1.池初始化:
一种短长度(长度不超过3)频繁模式完全集。
2.迭代模式融合:
从当前池中随机选用k个种子,对每个种子找出直径为T球内所有模式,将这些球融合成超模式集。
由于每个超模式支集随迭代而收缩,因而迭代过程终结。
模式融合合并打魔石小子模式,而不是用单个项增量地扩展模式。
4.挖掘压缩或近似模式:
1.基于聚类压缩:
采用一种好相似性度量,把相似对象聚合到一种簇中,代表模式从每个簇中选用,从而提供频繁模式集一种压缩版本。
模式距离:
闭模式之间距离度量。
包括模式支持度信息。
感知冗余top-k模式:
具备低冗余k个代表模式小集合。
一种减少挖掘返回模式数量方略。
5.模式挖掘应用:
1).作为预解决,用于噪声过滤盒数据清理
2).发现隐藏在数据中固有构造和簇
3).基于模式分类
4).高维空间中子空间有效聚类
5).对时间空间、序列、图像、视频数据进行分析
6).序列与构造数据分析,如图、树、子序列和网络分析
7).作为基本索引构造
8).推荐系统