信息管理MBA课程三数据挖掘与商务智能.pptx

1、 All Rights Reserved,吴联仁 北京第二外国语学院数据挖掘与商业智能数据挖掘与商业智能吴联仁吴联仁2016.4.24 All Rights Reserved,吴联仁 北京第二外国语学院数据挖掘与商业智能数据挖掘与商业智能1 什么激发数据挖掘？什么激发数据挖掘？2 数据库与数据仓库数据库与数据仓库3 数据挖掘算法数据挖掘算法4 数据挖掘软件的发展数据挖掘软件的发展5 商业商业智能智能 All Rights Reserved,吴联仁 北京第二外国语学院【引导案例引导案例1 1】1-3中国能制作出类纸牌屋的电视剧吗？原因：A.A.没有系统性的数据积累、分析和挖掘习惯没有系统性的数据

2、积累、分析和挖掘习惯B.B.广告模式不足以覆盖全部成本广告模式不足以覆盖全部成本C.C.内容需要一定的程序审核内容需要一定的程序审核大数据解读星星互联网时代造神剧 All Rights Reserved,吴联仁 北京第二外国语学院【引导案例引导案例2 2】1-4犯罪的根源犯罪的根源:孟菲斯警察局与孟菲斯大学合作利用孟菲斯警察局与孟菲斯大学合作利用SPSSSPSS创创建一个统计包，利用统计历史减少犯罪。建一个统计包，利用统计历史减少犯罪。All Rights Reserved,吴联仁 北京第二外国语学院n措施：锁定抢劫案的多发地区，加派警力进行巡逻，对行为异常措施：锁定抢劫案的多发地区，加派警力

3、进行巡逻，对行为异常的人员加强盘查。的人员加强盘查。n结果：结果：收效甚微，发案率依然居高不下。收效甚微，发案率依然居高不下。n系统中保存了多年的案件和案犯的卷宗信息，通过利用数据挖掘等分析技术，揭示出最近这段时间的抢劫犯具有一些非常显著的特征：没有固定住所，无家可归，而且也没有稳定的工作。另外，在很多抢劫案发生前，这些罪犯都吸食了毒品。n新措施：新措施：加强对无业人员和有吸毒前科人员的管理，并通过社会福利机构对他们实施救助；加强对毒品交易易发场所的严打和治理，从源头上掐断毒品的供应。n结果：抢劫案的发案率迅速降低。结果：抢劫案的发案率迅速降低。1-5【引导案例引导案例2 2】All Righ

4、ts Reserved,吴联仁 北京第二外国语学院1-6【引导案例引导案例3 3】卡夫食品，卡夫食品，“澳洲老干妈澳洲老干妈”传奇传奇:有 着 90年 历 史 的 澳 大 利 亚 国 民 食 品VEGEMITE（咸味酱），面临着市场“审美疲劳”的威胁，在IBM协助下，抓取互联网社交媒体上海量数据与信息，将分析转化为洞察，开辟了全新的市场机会，销量激增。All Rights Reserved,吴联仁 北京第二外国语学院1-7【引导案例引导案例3 3】社交媒体（Social Media)，也称为社会化媒体、社会性媒体，指允许人们撰写、分享、评价、讨论、相互沟通的网站和技术。社交媒体营销有两种含义：

5、n一种是这些媒体营销自己；n一种是其他公司利用这些媒体营销自身的产品。All Rights Reserved,吴联仁 北京第二外国语学院1-8 All Rights Reserved,吴联仁 北京第二外国语学院数据挖掘与商业智能数据挖掘与商业智能1 什么激发数据挖掘？什么激发数据挖掘？2 数据库与数据仓库数据库与数据仓库3 数据挖掘算法数据挖掘算法4 数据挖掘软件的发展数据挖掘软件的发展5 商业商业智能智能 All Rights Reserved,吴联仁 北京第二外国语学院数据挖掘的社会需求数据挖掘的社会需求数据挖掘数据挖掘数据库越来越大数据库越来越大有价值的知识有价值的知识可怕的数据可怕的数

6、据 All Rights Reserved,吴联仁 北京第二外国语学院数据挖掘的社会需求数据挖掘的社会需求数据爆炸，知识贫乏数据爆炸，知识贫乏 苦恼:淹没在数据中；不能制定合适的决策!数据数据知识知识决策决策n模式模式n趋势趋势n事实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府nPOS.n人口统计人口统计n生命周期生命周期 All Rights Reserved,吴联仁 北京第二外国语学院什么是数据挖掘？堆积如山的数据堆积如山的数据数据挖掘：在你的

7、数据中搜索知识数据挖掘：在你的数据中搜索知识 All Rights Reserved,吴联仁 北京第二外国语学院什么是数据挖掘？数据挖掘-从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构；数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型。All Rights Reserved,吴联仁 北京第二外国语学院p数据挖掘（Data mining），也称为数据库知识发现（Knowledge-Discovery in Databases，KDD)，或认为是KDD中的一个基本步骤。矿山（数据）挖掘工具（算法）金子（知

8、识）All Rights Reserved,吴联仁 北京第二外国语学院数据挖掘视为知识发现过程的基础步骤数据挖掘视为知识发现过程的基础步骤数据清理数据清理、数据集成数据集成、数据选择数据选择、数据变换数据变换、数据挖掘数据挖掘、模式评估模式评估、知识表示：知识表示：消除噪音或不一致数据消除噪音或不一致数据多种数据源可以组合在一起多种数据源可以组合在一起从数据库中提取与分析任务相关的数据；从数据库中提取与分析任务相关的数据；数据变换或统一成适合挖掘的形式数据变换或统一成适合挖掘的形式使用各种算法提取数据模式使用各种算法提取数据模式识别提供知识的真正有用的模式识别提供知识的真正有用的模式使用可视化

9、和知识表示技术，使用可视化和知识表示技术，向用户提供挖掘的知识向用户提供挖掘的知识 All Rights Reserved,吴联仁 北京第二外国语学院数数据据库库、数数据据仓仓库库、或或其其它它信信息息库库：数数据据挖挖掘掘的的数数据据源源，需需要在其上进行数据清理和集成要在其上进行数据清理和集成数数据据库库或或数数据据仓仓库库服服务务器器：根根据据用用户户的的数数据据挖挖掘掘请请求求，数数据据库库或或数数据据仓仓库库服服务务器器负负责责提提取取相关数据相关数据知识库知识库：存储面向领域的知识，：存储面向领域的知识，用于指导搜索，或评估结果模用于指导搜索，或评估结果模式的兴趣度式的兴趣度数据挖

10、掘引擎数据挖掘引擎：数据挖掘系统：数据挖掘系统核心部分，由一组功能模块组核心部分，由一组功能模块组成，用于特征、关联、分类、成，用于特征、关联、分类、聚类分析、演变和偏差分析等聚类分析、演变和偏差分析等数据挖掘系统体系结构数据挖掘系统体系结构 All Rights Reserved,吴联仁 北京第二外国语学院模式评估模块模式评估模块：使使用用兴兴趣趣度度度度量量，与与挖挖掘掘模模块块交交互互，以以便便将将搜搜索聚焦在有趣的模式上索聚焦在有趣的模式上对对于于有有效效的的数数据据挖挖掘掘，建建议议尽尽可可能能地地将将模模式式评评估估推推进进到到挖挖掘掘过过程程之之中中，以以便便将将搜搜索索限限制制

11、在在有有兴兴趣的模式上趣的模式上数据挖掘系统体系结构数据挖掘系统体系结构 All Rights Reserved,吴联仁 北京第二外国语学院图形用户界面图形用户界面：该模块在用户和挖掘系统之间通讯该模块在用户和挖掘系统之间通讯允许用户与系统交互，指定数据挖允许用户与系统交互，指定数据挖掘查询或任务，提供信息、帮助搜掘查询或任务，提供信息、帮助搜索聚焦，根据数据挖掘的中间结果索聚焦，根据数据挖掘的中间结果进行探索式数据挖掘。进行探索式数据挖掘。允许用户浏览数据库和数据仓库模允许用户浏览数据库和数据仓库模式或数据结构，评估挖掘的模式，式或数据结构，评估挖掘的模式，以不同的形式对模式可视化以不同的形

12、式对模式可视化数据挖掘系统体系结构数据挖掘系统体系结构 All Rights Reserved,吴联仁 北京第二外国语学院数据挖掘与商业智能数据挖掘与商业智能1 什么激发数据挖掘？什么激发数据挖掘？2 数据库与数据仓库数据库与数据仓库3 数据挖掘算法数据挖掘算法4 数据挖掘软件的发展数据挖掘软件的发展5 商业商业智能智能 All Rights Reserved,吴联仁 北京第二外国语学院 文件组织术语和概念文件组织术语和概念数据结构数据结构位是计算机能处理的最小数据单位。一组位叫字节，可以表示一个字母、数字或字符。若干个字节组成一个字、一组字（例如姓名、年龄等），称为字段。相关字段的有序集合称

13、为记录。相同类型的记录汇集成文件。一组有序的文件组成数据库。一个记录描述一个实体（entity）。每一个描述实体的特性称为一个属性（attribute）。All Rights Reserved,吴联仁 北京第二外国语学院 传统文件环境带来的问题传统文件环境带来的问题会计和金融会计和金融人力资源人力资源销售和市场销售和市场制造业制造业衍生文件衍生文件传统文件处理过程传统文件处理过程传统文件处理过程传统文件处理过程传统文件环境带来的问题：数据冗余、数据-程序依赖、缺乏灵活性、低安全性以及低共用性。All Rights Reserved,吴联仁 北京第二外国语学院 数据库模型数据库模型数据库软件：是

14、一种软件，可以看得见，可以操作。用来实现数据库逻辑功能。属于物理层。如Oracle，SQL Server等数据库：是一种逻辑概念，用来存放数据的仓库。通过数据库软件来实现。数据库由很多表组成，表是二维的，一张表里可以有很多字段。字段一字排开，对应的数据就一行一行写入表中。数据库的美，在于能够用二维表现多维关系。目目前前市市面面上上流流行行的的数数据据库库都都是是二二维维数数据据库库。如如：Oracle、DB2、MySQL、Sybase、MS SQL Server等。等。All Rights Reserved,吴联仁 北京第二外国语学院关关系系数数据据库库：是是表表的的集集合合，每每个个表表都都

15、赋赋予予一一个个唯唯一一的的名名字字（关关键键字字段段）。每每个个表表包包含含一一组组属属性性，并并通通常常存存放放大大量量元元组组（记记录录或或行行）。关关系系中中的的每每个个组组元元代代表表一一个个被唯一关键字标识的对象，并被一组属性值描述。被唯一关键字标识的对象，并被一组属性值描述。关系数据库关系数据库数据库在生产环境就是用来干活的，凡是跟业务应用挂钩的，都使用数据库。数据库在生产环境就是用来干活的，凡是跟业务应用挂钩的，都使用数据库。All Rights Reserved,吴联仁 北京第二外国语学院n数数据据仓仓库库，（Data Warehouse）。数数据据仓仓库库是是为为企企业业所

16、所有有级级别别的的决决策策制制定定过过程程提提供供支支持持的的所所有有类类型型数数据据的的战战略略集集合合。它它是是单单个个数数据据存存储储，出出于于分分析析性性报报告告和和决决策策支支持持的的目目的的而而创创建建。为为企企业业提提供供需需要要业业务务智智能能来来指指导导业业务务流流程程改改进进和和监视时间、成本、质量和控制。监视时间、成本、质量和控制。n是商业智能（是商业智能（BI，Business Intelligence）下的其中一种技术。）下的其中一种技术。数据仓库数据仓库比比如如我我想想知知道道在在哪哪个个时时间间段段，用用户户登登录录的的量量最最多多？哪哪个个用用户户一一年年购购物物最最多多？诸诸如如此此类的指标。类的指标。数数据据仓仓库库的的表表结结构构是是依依照照分分析析需需求求，分分析析维度，分析指标进行设计的。维度，分析指标进行设计的。All Rights Reserved,吴联仁 北京第二外国语学院ETLETL技术技术多维数据分析多维数据分析ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（Extract）、转置