数据挖掘.docx
《数据挖掘.docx》由会员分享，可在线阅读，更多相关《数据挖掘.docx（55页珍藏版）》请在冰豆网上搜索。
数据挖掘
一数据仓库/挖掘技术
1、决策支持系统概述
计算机是当代发展最为迅速的科学技术之一，其应用几乎已深入到人类活动和生活的一切领域，大大提高了社会生产力，引起了经济结构、社会结构和生活方式的深刻变化和变革。
计算机科学技术具有极大的综合性质，与众多科学技术相交叉而反过来又渗入更多的科学技术，促进它们的发展。
计算机科学与其他学科相交叉产生了许多新学科，推动着科学技术向更广阔的领域发展。
智能决策支持系统IDSS（IntelligentDecisionSupportSystems）是决策支持系统DSS与人工智能AI（ArtificialIntelligence）相结合的产物，它将人工智能中的知识表示与处理的思想引入到DSS，其独特的研究方法和广泛的发展前途使之一出现就成为决策支持技术研究的热点。
决策支持系统是以信息技术为手段，应用管理科学、计算机科学及有关学科的理论和方法，针对半结构化和非结构化的决策问题，通过提供背景材料、协助明确问题、修改完善模型、列举可能方案、进行分析比较等方式，为管理者做出正确决策提供帮助的人机交互信息系统。
智能决策支持系统是以信息技术为手段，应用管理科学、计算机科学及有关学科的理论和方法，针对半结构化和非结构化的决策问题，通过提供背景材料、协助明确问题、修改完善模型、列举可能方案、进行分析比较等方式，为管理者做出正确决策提供帮助的智能型人机交互信息系统。
IDSS是一个新的正在发展的研究领域，涉及IDSS的文献大量涌现。
有文献将IDSS称为基于知识的DSS。
尽管这些研究侧重点不尽相同，但它们的一个共同特点就是人工智能技术融于传统的DSS之中，弥补传统DSS单纯依靠模型技术与数据处理技术，以及用户高度卷入而可能出现意向性偏差的缺陷。
一、DSS的产生与发展
1.1DSS的产生背景
电子数据处理——EDP（ElectronicDataProcessing）
管理信息系统——MIS（ManagementInformationSystems）
决策支持系统——DSS（DecisionSupportSystems）
电子数据处理EDP（ElectronicDataProcessing）提高了工作效率，把人们从繁琐的事务处理中解脱出来。
缺点：
仅局限于具体信息处理，不共享，不考虑整体或部门情况。
管理信息系统MIS（ManagementInformationSystems）：
整体分析，系统设计，信息共享，部门协调。
缺点：
难于适应多变的内、外部管理环境，对管理人员的决策帮助十分有限。
决策支持系统DSS（DecisionSupportSystems）：
70年代中期Keen和ScottMorton在《管理决策系统》（1971）一书中提出。
目标：
对管理者做决策提供技术支持。
技术背景：
运筹学模型发展已经比较完善，多目标决策分析突破了单一效用理论的框架，计算机软、硬件及网络技术的迅猛发展，人工智能特别是知识处理技术的发展，数据库技术、图形显示技术、各类工具软件的发展与完善，构成了DSS形成与发展的技术基础。
1.2DSS的发展
•70年代，ScottMorton在《管理决策系统》（1971）一书中首次提出DSS。
•PeterG.W.Keen等人编写了一套丛书，阐明DSS的主要观点，初步构造出DSS的基本框架。
•1978至1988年，DSS得到迅速发展，许多实用系统被开发出来，投入实际应用，产生明显效益。
•1988至现在，DSS技术持续发展，目前已基本成熟。
新一代DSS研究仍然十分活跃。
1.3DSS的理论基础
（1）信息论
•信息是现代科学技术中普遍使用的一个重要概念。
•信息论是运用信息的观点，把系统看作是借助于信息的获取、传送、加工处理、输出而实现其有目的性行为的研究方法。
（2）计算机技术
•计算机软件技术•计算机硬件技术•计算机网络技术•计算机图形处理技术•计算机知识处理技术等。
（3）管理科学与运筹学
管理科学MS（ManagementScience）：
面向管理者，研究决策问题，如决策目标、决策效能等。
运筹学OR（OperationsResearch）：
提供一系列优化、仿真、决策等模型。
（4）信息经济学
在信息时代，研究信息的产生、获得、传递、加工处理、输出等方面的价值问题。
从经济学的角度，研究信息产生和获得的成本是多少？
利润是多少？
即研究信息价值问题。
（5）行为科学：
研究决策者的决策风格、在决策过程中的决策行为等，指导DSS的设计和开发。
涉及到决策者的心理学。
（6）人工智能
将人工智能技术用于管理决策是一项开拓性工作。
当前研究的IDSS就是DSS与AI技术相结合的产物，它用领域专家的知识来选择和组合模型，完成问题的推理和运行，为用户提供智能的交互式接口。
人工智能技术作为计算机应用研究的前沿，近十年取得了惊人的进展，呈现了光明的前景。
专家系统、智能机器人和模式识别是人工智能中最活跃、最富有成果的三个研究领域。
其中专家系统（ExpertSystems,即ES）研究，取得了许多实用化的成果。
当今世界上已经有上万个专家系统，应用于医疗、诊断、探矿、军事、调度、质谱分析、计算机配置、辅助教育等各种领域，并已开始涉足财务分析、计划管理、工程评估、法律咨询等管理决策领域。
DSS和ES：
处于不同的学科范畴，有着不同的解决问题的方法。
DSS主要运用数据和模型，ES主要运用知识和推理。
在管理科学领域，一个是方兴未艾，一个是后起之秀，各有特色。
但是它们的互相结合和互相渗透，将会把计算机用于决策支持技术推向一个新的高度。
决策的正确性关系到经营效果和事业成败，决策理论、决策方法和决策工具的科学化和现代化是正确性的重要保证。
人工智能将为DSS提供有效的理论和方法。
例如，知识的表示和建模，推理、演绎和问题求解及各种搜索技术，再加上功能很强的人工智能语言，都为DSS的发展走向更加实用的阶段提供强有力的理论和方法的支持。
1.4DSS与相关技术的关系
•决策与预测的关系•DSS与MS/OR的关系•DSS与MIS的关系•DSS与ES的关系
（1）决策与预测的关系
•决策：
创造未来，基于预测，实现将来一个目标。
•预测：
预言未来，基于分析、研究、仿真、实验。
例如：
灾害预测与防灾决策、日常预测与决策、经营预测与决策、宏观预测与决策、贯序预测与决策、为重大决策作预备性研究等。
（2）DSS与MS/OR的关系
MS：
处理结构化问题，运用分析的观点。
OR：
处理结构化问题，研究对象主要集中在数学规划、决策论、对策论等理论和方法上。
DSS：
处理战略、规划等半结构化和非结构化一类的决策问题。
（3）DSS与MIS的关系
MIS：
收集、传递、存储、加工处理各种信息，监测运营数据，利用历史数据预测未来，用指定的数学方法分析数据，提供全面数据和分析报告。
面向管理人员，提供低层次的决策支持。
DSS：
面向决策者，提供适当的决策支持，是MIS的高级阶段。
（4）DSS与ES的关系：
IDSS=DSS+ES
ES：
利用知识和推理机，处理半结构化和非结构化问题。
DSS：
使用数据和模型，处理结构化问题，与ES结合后，可处理半结构化和非结构化问题。
一、DSS的产生与发展二、DSS的基本概念三、DSS的构造与系统结构四、新一代DSS的研究与发展
二、DSS的基本概念
2.1决策过程
2.2决策问题的类型
决策问题的类型（按结构化程度分为）：
结构化决策问题半结构化决策问题非结构化决策问题
结构化程度：
对某一过程的环境和规律，能否用明确的语言（数学的或逻辑学的，形式的或非形式的）给予清晰的描述（定量的或推理的）。
•结构化问题：
能够描述清楚的问题。
三个阶段都能使用确定的算法或决策规则。
•非结构化问题：
不能够描述清楚，而只能凭直觉或经验作出判断的问题。
三个阶段都不能使用确定的算法或决策规则。
•半结构化问题：
介于两者之间的问题。
一个或二个阶段能使用确定的算法或决策规则。
2.3决策问题的性质和层次
2.4决策风格
按获取数据的方式分：
感知型（S）直觉型（N）
感知型——喜欢与特定问题有关的硬数据。
直觉型——喜欢描写可能性的整体信息。
按处理数据的方式分：
思考型（T）感觉型（F）
思考型——喜欢用逻辑或其他规范化的手段去推理。
感觉型——喜欢用个人的术语来考虑问题。
组合起来，共有四种类型的决策风格：
系统型（ST）思辩型（NT）司法型（SF）直观推断型（NF）
一、DSS的产生与发展二、DSS的基本概念三、DSS的构造与系统结构四、新一代DSS的研究与发展
三、DSS的构造与系统结构
•DSS的构造研究主要解决DSS的组成问题，即组成DSS的部件。
•现在，经典提法是：
DSS=四库系统+对话系统（人机界面）
•四库系统：
数据库系统、模型库系统、方法库系统、知识库系统。
近年来，有的学者提出增加DSS的组成部件，从而形成5库、6库、7库、8库等群库结构。
即：
DSS=群库系统+对话系统（人机界面）
群库系统：
数据库、模型库、方法库、知识库、文本库、图形库、语音库、工具库、地理信息库。
。
。
DSS的系统结构主要研究DSS各主要部件的连接关系。
3.1人机界面技术---主要研究内容集中在：
可视化图形界面技术基于多媒体技术的界面技术自然语言界面技术
3.2数据库系统：
数据库系统包括数据库及其管理系统，其基本技术与一般数据库及其管理系统基本相同。
但也有自己的特点。
共同点：
数据的独立性最小冗余度最大的共享性统一管理与控制适当的反映时间整体性（完整性）
可修改性和可扩充性安全和保密简明性
DSS数据库系统的特点：
面向决策支持过程组织和管理数据面向模型、面向模型生成来使用数据数据描述方式要面向不同的决策者
3.3模型库系统
模型——是以某种形式对一个系统的本质属性的描述，揭示系统的功能、行为及其变化规律。
模型库系统——以库的形式对模型进行组织和管理，包括模型库及模型库管理系统。
模型库（ModelBase）提供模型的存储和表示模式。
模型库管理系统提供模型的提取、访问、更新和合成等操作。
人们认识客观世界一般有三种方法：
逻辑推理法实验法模型法
模型法是我们认识客观世界的最得力、最方便、最有效的方法。
注意，并非所有模型都是数学模型，并非所有模型都是定量的。
例如，门捷列夫元素周期表。
3.3.1模型群：
解决软科学所涉及的问题时，可利用的模型已达100多个，根据他们的功能和用途可分为若干模型群。
（1）预测模型群
–定性模型：
特尔斐法、主观概率预测法、交叉影响巨阵法等
–定量模型：
回归预测、平滑预测、马尔柯夫链预测等
•回归预测：
一元回归、多元线性回归、非线性回归等；
•平滑预测：
平均预测法、指数预测法等
（2）系统结构模型群
主要用来分析社会经济系统以及其他系统的结构，反映系统各要素之间的主要联系和关联作用，从宏观上和结构上来揭示系统的运行规律。
系统结构模型、层次分析模型、投入产出模型、系统动力学模型等。
（3）数量经济模型群：
计量经济模型、经济控制论模型等。
（4）优化模型群：
线性规划、非线性规划、动态规划、目标规划和最优控制等
（5）不确定模型群：
模糊数学模型、灰色模型、随机模型等
（6）决策模型群：
单目标风险性决策、多目标决策，以及一些不确定性决策方法等
（7）系统综合模型群：
即大系统理论。
3.3.2模型体系：
解决某一特定系统工程问题的一系列模型。
（从概念上）
3.3.3模型库
模型库提供模型的存储和表示模式。
模型库管理系统提供模型的提取、访问、更新和合成等操作。
模型的表示形式---模型的程序表示：
基于程序的表示方法。
模型的数据表示：
基于数据的表示方法。
模型的逻辑表示：
基于知识的表示方法。
3.3.4当前研究课题：
模型的自动生成技术模型管理的人工智能方法模型管理与数据管理的结合
3.4方法库系统方法库系统（MBS）综合了数据库和程序库。
方法库——类似于程序库，包含面向多种应用的程序包或功能程序。
方法库管理系统——对程序方法提供多种功能操作。
•具有扩充的程序组件•可与多种数据库系统相连接•可随时加入新的程序组件
3.5知识库系统
3.5.1基本概念
数据——客观事物的属性、数量、位置及其相互关系等的抽象表示。
信息——数据所表示的含义（语义），因而说“数据是信息的载体”。
知识——信息之间结构化的关联关系。
3.5.2知识的分类
事实——指人类对客观事物属性的值或状态的描述。
（不包含任何变量）
规则——表示因果关系的知识，分为前提（条件）和结论两部分。
规律——带有变量的规则。
所以，规则是规律的例化。
3.5.3知识的属性：
真实性相对性不完全性模糊性可表示性
3.5.4推理方法
•演绎推理：
P→Q，由前提到结论
•归纳推理：
由个别到一般，“主观不充分置信推理”
•联想与类比•综合与分析•预测•假设与验证
从另外的角度还可分为
•演绎推理、归纳推理、缺省推理
•确定性推理、不确定性推理
•单调推理、非单调推理
•启发式推理、非启发式推理
•基于知识的推理、统计推理、直觉推理
•正向推理、逆向推理、混合推理、双向推理——推理控制策略
3.5.5知识库系统
知识库——提供知识的表示和存储。
知识库管理系统——提供对知识（规则）的存储、检索、修改、检查等操作。
推理机——利用知识库中的知识进行推理，对给定问题进行求解，得到结论。
3.5.6知识的表示方法
一阶谓词逻辑表示语义网络表示产生式规则知识的框架表示脚本表示过程表示Petri网表示面向对象表示
一、DSS的产生与发展二、DSS的基本概念三、DSS的构造与系统结构四、新一代DSS的研究与发展
四、新一代DSS的研究与发展
群决策支持系统（GDSS）分布式决策支持系统（DDSS）智能决策支持系统（IDSS）
决策支持中心（DSC）战略决策支持系统（SDSS）智能交互综合I3DSS
（1）群决策支持系统（GDSS）：
支持多人或集体共同决策：
利用通信技术（网络、电话会议、电子信息交换）、计算机技术（多用户系统、4GL、数据库、数据分析OLAP、数据存储、数据仓库、数据挖掘）和决策支持技术（议程设置）、AI与推理技术、决策模型方法——如决策树、风险分析、预测方法等，结构化群决策方法——如德尔菲法等）相结合。
（2）分布式决策支持系统（DDSS）：
研究DSS在分布式环境中、与分布式技术相结合相关的技术问题。
（3）智能决策支持系统（IDSS）：
AI与DSS技术相结合，形成了高级别的、具有知识处理能力的DSS。
组成：
四库系统+接口。
知识库、数据库、模型库、方法库及人机接口，还有问题求解模块。
（4）决策支持中心（DSC）：
1985年欧文提出来的。
功能：
提供办公决策支持，具有定性定量相结合的综合集成功能。
组成：
以决策支持小组为核心，为决策的全过程提供技术支持。
（5）战略决策支持系统（SDSS）
功能：
支持战略级或高层管理者的决策过程。
组成：
数据库系统、模型库系统、方法库系统、知识库系统、案例分析系统、输入输出系统、控制与通信系统等。
（6）I3DSS：
智能的、交互式的、集成化的（Intelligent,InteractiveandIntegrated）DSS。
特点：
面向问题，有机集成。
综合采用系统分析、运筹学方法、计算机技术、知识工程、专家系统等技术，使之有机结合，而不是单一的以信息为基础的系统，或单一的以数学模型为基础的系统，或单一的以知识为基础的系统。
在面向问题的前提下，充分发挥各自的优势，特别是发挥它们在联合运用时的优势，即集成化（Integrated）。
.
当DSS进入到高层次的决策活动领域时，由于处理的问题多半是半结构化或非结构化的，为了帮助决策者进一步明确问题、认定目标和环境约束，产生决策方案和对决策方案进行综合评价，系统应具有更强的人机交互能力，这种应用方式就是决策支持系统的交互性（Interactive）。
在处理难以定量分析的问题时，需要使用知识工程、专家系统方法与工具，已经涉及到人工智能领域。
而重要的问题在于如何使用知识工程的思想方法，组织各个有关模块，实现决策支持过程的集成化。
这种应用方式就是决策支持系统的智能化（Intelligent）。
I3DSS的提出和实际应用，是DSS进入一个新的历史阶段。
2、决策行为的科学化需求
决策行为的科学化需求：
决策科学与管理艺术决策科学及其支持技术思维的开放性要求与支持技术的可实现性制约
从支持技术看决策的层次性结构
决策支持技术的客观环境：
信息网络环境模型分析环境经验推理环境模式识别环境群体协调环境多媒体启发环境
系统分析与综合集成的开发方法：
背景系统的多层次系统分析组织决策层次系统分析决策过程系统分析
以空间地理特征为主线的综合查询以资源优化配置为目标的综合协调
以进程有序为特征的综合调度以人际目标协调为特征的综合协商
系统的环境适应性及系统的进化：
以多智能体（Agents）为基础的系统综合结构以遗传算法为基础的系统进化结构
3、决策支持系统的产生与发展决策的科学化与系统科学
系统科学与DSS
DSS的发展环境---从决策科学的发展看，Stabelll的看法，存在四种方向：
–1，DA（DecisionAnalysis）微观经济，统计学；多目标，不确定性。
–2，DC（DecisionCalculus）运筹学；状态模型的目标优化，着重方案选择。
–3，DR（DecisionResearch）行为科学，行为诊断学；人的行为模型选择。
–4，IP（ImplementationProcess）认知学，通信学，计算机科学；产生问题，建立交流关系，对决策过程的支持。
•以上各种方向各有偏重，不互斥，为DSS发展提供了环境条件。
DSS的发展环境---从信息科学发展看
DSS的发展环境
•PIMS个人信息管理系统•IRS信息检索系统•OIS办公信息系统
•DBMS数据库管理系统•DSS决策支持系统•GSS群体支持系统•CSCS计算机支持合作系统
DSS应具有的基本特征
•由于DSS难以准确定义，通过其应具有的基本特征，使其与ES，OA，OR，MIS等IS有区别。
–1，解决的问题特征：
非（半）结构化问题。
所谓非结构化问题是：
在新的问题环境中，不存在现存的决策分析求解模式。
（问题求解条件困难）运用可获得的信息资源，根据问题需要，按决策的全过程逐步向决策者提供分析的情景和求解方法的支持（解决问题的任务），促使决策者产生有科学依据的有效的决策方案，即支持实现决策目标。
–2，用户特征：
友善性要求，诱导性要求（user-seductive）。
在研究各种决策者对各类决策问题采取不同的媒体传播信息时的效果，从而运用好多媒体计算机技术进行有效的超文本编辑，实现综合情景的交互，以启发决策者产生好的决策思路。
目的是提高信息的有效性和启发性。
–3，系统结构特征：
可进化要求，可集成要求。
在可扩展可更新并保证一致性的基本要求下，可根据应用背景和环境的演变，在一定程度上实现系统结构的自组织。
即具有学习和自控的能力。
–DSS是IS发展过程中的产物，它的实际内容将不断补充更新。
但上述三个基本特征要求将始终保持，只是水平会不断提高。
DSS研究的问题-1
•对情报—方案设计—方案选择—结果评估四阶段的前二阶段的忽视。
–“问题生成”，需要情报，情景的支持，要重视客观性，启发性。
–“方案生成”，需要多专家，多方案支持，要克服主观性，重视全面性。
DSS研究的问题-2
•实际数据的分散性与数据集结形成信息的必要性之间的矛盾。
–由于情报失真，集结信息失误，系统可靠性下降。
–可通过多情报采集，信息网络化，互检化来克服。
DSS研究的问题-3
•黑箱模型描述与现实机理模型化要求间的矛盾。
–数据在科学，伦理，美学等方面的有效性尚需要研究，定性定量相结合是一条可行的路。
并通过多层次逐步细化来克服。
DSS研究的问题-4
•开发方法上原型法的收敛性问题。
–子系统设计中的整体性观念难以达到，系统开发迭代过程的强迫中止条件难以合理解决，局部利益与整体利益，短期利益与长期利益的统一难以真正满足。
DSS研究的问题-5
•个人机开发的独立性与硬软一致性的矛盾。
–实现资源共享，模块化开发是一条有效途径。
DSS研究的问题-6
•个人决策的灵活性与群体协调性的矛盾。
–通过网络建立人际协调关系，建立统一规范，视频会议，群决策方法的应用将帮助人—人合作。
DSS的核心问题
•核心问题是人与机，人与人结合的有效性，一致性，协调性。
•应研究的问题：
–DSS的实用性，有效性研究。
•从现实出发，重视与管理体制，管理水平相适应。
•抓住人—机接口，要求友善，简便，可变，有启发性。
•抓信息网络化，互检化。
增加用户对系统的依赖性。
–加强DSS一致性可集成结构的研究。
•数据，模型，知识的一致性。
4、DSS的结构及演变---内部职能结构
概念结构
外部功能结构
•从决策行为功能角度看，决策行为视为以下四个功能组成：
–描述（R）：
客观现实及主观思维的概念化表示。
包括信息和信息间的关系。
–操作（O）：
查询，统计，建模，仿真，分配，排序，优化，规则推理等均属操作。
它将涉及决策过程各阶段。
–存储（M）：
记忆：
将决策过程中及以后要用到的信息以各种形式存储于不同的媒体中
–控制（C）：
包括决策人对决策过程的控制，如菜单，功能键，声控，鼠标等，和DSS对人的引导，启发，如训练，帮助功能。
工程服务结构
DSS的群体结构-1
•网络式DSS体系
–DB—数据库–MI—模型接口–M—模型库–DI—对话接口–Di—对话–CIM—部件接口管理
DSS的群体结构-2
•桥式DSS
DSS的群体结构-3
•层式DSS
–对话和数据库部分共享，数据通信通过共享数据库进行，控制信息通过共享对话部件进行，也有统一的标准接口，模型部件要满足二个接口要求。
主要困难是外部数据的集成。
并必须在相同的运行环境条件下执行。
DSS的群体结构-4
•塔式DSS
基于EDM的结构体系
•随着系统规模的扩大内部关联更为复杂，一种新的构思是构建一完备的企业模型（或组织模型），称为企业数据模型EDM（EnterpriceDataModel）。
•它是抽去了为各种职责的决策人所构造的决策模型，而将企业（或组织）本身具有的内外部状态数据构成一关系模型，是一个元—信息模型系统。
基于EDM的结构体系
•各职责岗位人员有不同授权，均充当三种角色：
–分析者—以概念为依据构建决策分析模型。
–控制者—依据模型运行结果，调整系统状态，使概念例化。
–规范者—根据系统运行结果，发现概念存在的缺陷，确定新概念的描述。
•以这种视角观察，把“概念”作为媒体，以确立概念、解释概念、例化概念这一循环过程在组织系统的不同角色中传递、转变。
构成了组织运行过程。
其目标是实现各岗位间的协调，使企业（组织）处于理想的运行状态。
5、决策分析与数据挖掘---研究内容
升级会员 