数据挖掘技术论文开题报告Word下载.docx

数据挖掘技术论文开题报告Word下载.docx

《数据挖掘技术论文开题报告Word下载.docx》由会员分享，可在线阅读，更多相关《数据挖掘技术论文开题报告Word下载.docx（5页珍藏版）》请在冰豆网上搜索。

第二是信息真假难以辨认；

第三是信息安全难以保证；

第四是信息形式不一致，难以统一处理。

面对这种状况，一个新的挑战被提出来：

如何才能不被信息的汪洋大海所淹没，从中及时发现有用的知识，提高信息利用率呢？

这时出现了新的技术——数据挖掘（DataMining）技术便应用而生了。

　　面对海量的存储数据，如何从中发现有价值的信息或知识，成为一项非常艰巨的任务。

数据挖掘就是为迎合这种要求而产生并迅速发展起来的。

数据挖掘研究的目的主要是发现知识、使数据可视化、纠正数据。

　　二.概述

　　1，数据挖掘

　　数据挖掘（DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

这些数据可以是结构化的,如关系数据库中的数据，也可以是半结构化的，如文本，图形，图像数据，甚至是分布在网络上的异构型数据。

发现知识的方法可以是数学的，也可以是非数学的，可以是演绎的，也可以是归纳的。

发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以进行

　　数据自身的维护。

数据挖掘借助了多年来数理统计技术和人工智能以及知识工程等领域的研究成果构建自己的理论体系，是一个交叉学科领域，可以集成数据数据库、人工智能、数理统计、可视化、并行计算等技术。

2，数据挖掘技术

　　数据挖掘就是对观测到的数据集进行分析，目的是发现未知的关系和以数据拥有者可以理解并对其有价值的新颖方式来总结数据。

它利用各种分析方法和分析工具在大规模海量数据中建立模型和发现数据间关系的过程，这些模型和关系可以用来做出决策和预测。

　　数据挖掘的过程就是知识发现的过程，其所能发现的知识有如下几种：

广义型知识，反映同类事物共同性质的知识；

特征型知识，反映事物各方面的特征知识；

差异型知识，反映不同事物之间属性差别的知识；

关联型知识，反映事物之间依赖或关联的知识；

预测型知识，根据历史的和当前的数据推测未来数据；

偏离型知识，揭示事物偏离常规的异常现象。

所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不同用户、不同层次决策的需要。

　　数据挖掘是涉及数据库、人工智能、数理统计、机械学、人工神经网络、可视化、并行计算等的交叉学科，是目前国际上数据库和决策支持领域的最前沿的研究方向之一。

　　3，数据挖掘的功能

　　数据挖掘通过预测未来趋势及行为，做出预测性的、基于知识的决策。

数据挖掘的目标是从数据库中发现隐含的、有意义的知识，按其功能可分为以下几类。

　　关联分析（AssociationAnalysis）

　　关联分析能寻找到数据库中大量数据的相关联系，常用的一种技术为关联规则和序列模式。

关联规则是发现一个事物与其他事物间的相互关联性或相互依赖性。

　　聚类

　　输入的数据并无任何类型标记，聚类就是按一定的规则将数据划分为合理的集合，即将对象分组为多个类或簇，使得在同一个簇中的对象之间具有较高的相似度，而在不同簇中的对象差别很大。

聚类增强了人们对客观现实的认识，是概念描述和偏差分析的先决条件。

聚类技术主要包括传统的模式识别方法和数学分类学。

　　自动预测趋势和行为

　　数据挖掘自动在大型数据库中进行分类和预测，寻找预测性信息，自动地提出描述重要数据类的模型或预测未来的数据趋势，这样以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。

。

　　概念描述

　　对于数据库中庞杂的数据，人们期望以简洁的描述形式来描述汇集的数据集。

概念描述就是对某类对象的内涵进行描述并概括出这类对象的有关特征。

概念描述分为特征性描述和区别性描述，前者描述某类对象的共同特征，后者描述不同类对象之间的区别。

生成一个类的特征性只涉及该类对象中所有对象的共性。

生成区别性描述的方法很多，如决策树方法、遗传算法等。

　　偏差检测

　　数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。

偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。

偏差检测的基本方法是寻找观测结果与参照值之间有意义的差别。

这常用于金融银行业中检测欺诈行为，或市场分析中分析特殊消费者的消费习惯。

　　三．目前的研究现状及存在的主要问题

　　自KDD一词首次出现在1989年8月举行的第11届国际联合人工智能学术会议以来。

迄今为止,由美国人工智能协会主办的KDD国际研讨会已经召开了13次,规模由原来的专题讨论会发展到国际学术大会,人数由二三十人到超过千人,论文收录数量也迅速增加,研究重点也从发现方法逐渐转向系统应用直到转向大规模综合系统的开发,并且注重多种发现策略和技术的集成,以及多种学科之间的相互渗透。

其他内容的专题会议也把数据挖掘和知识发现列为议题之一,成为当前计算机科学界的一大热点。

　　与国外相比，国内对DMKD的研究稍晚，没有形成整体力量。

1993年国家自然科学基金首次支持我们对该领域的研究项目。

目前，国内的许多科研单位和高等院校竞相开展知识发现的基础理论及其应用研究，这些单位包括清华大学、中科院计算技术研究所、空军第三研究所、海军装备论证中心等。

其中，北京系统工程

　　研究所对模糊方法在知识发现中的应用进行了较深入的研究，北京大学也在开展对数据立方体代数的研究，华中理工大学、复旦大学、浙江大学、中国科技大学、中科院数学研究所、吉林大学等单位开展了对关联规则开采算法的优化和改造；

南京大学、四川联合大学和上海交通大学等单位探讨、研究了非结构化数据的知识发现以及Web数据挖掘。

　　四.研究内容

　　1，数据挖掘的过程

　　数据挖掘是指一个完整的过程，该过程从大型数据库中挖掘先前未知的、有效的、可实用的信息，并使用这些信息做出决策或丰富知识。

　　数据挖掘的一般过程如下流程图所示：

　　图1，数据掘的一般过程

　　神经网络

　　神经网络方法是模拟人脑神经元结构，以MP模型和Hebb学习规则为基础。

它主要有三种神经网络模型：

前馈式网络、反馈式网络、自组织网络。

为

　　决策树

　　决策树学习着眼于从一组无次序、无规则的事中推理出决策树表示形式的分类规则。

它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较并根据不同的属性值判断从该结点向下的分支，在决策树的叶结点得到结论。

　　遗传算法

　　遗传算法是一种优化技术，是模拟生物进化过程的算法。

基于进化理论，并采用遗传结合、遗传变异以及自然选择等设计方法。

由三个基本算子组成：

繁殖、交叉、变异。

　　传统统计分析

　　这类技术建立在传统的数理统计的基础上。

在数据库字段项之间存在两种关系：

函数关系（能用函数公式表示的确定性关系）和相关关系（不能用函数公式表示，但仍是相关确定性关系），对它们的分析可采用判别分析、因子分析、相关分析、多元回归分析及偏最小二乘回归方法等。

　　关联规则

　　关联规则是发现一个事物与其他事物间的相互关联性或相互依赖性。

关联规则是展示属性:

值频繁地在给定数据集中一起出现的条件，是数据挖掘中作用比较广泛的知识之一。

　　可视化技术

　　可视化技术是利用计算机图形学和图像技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。

可视化数据挖掘技术将可视化有机地融合到数据挖掘之中，使用户对于数据挖掘有一个更加直接直观清晰的了解，提供让用户有效、主动参与数据挖掘过程的方法。

　　3，数据挖掘的应用领域

　　数据挖掘技术从一开始就是面向应用的。

它不仅是面向特定数据库的简单检索查询调用，而且要对这些数据进行微观、中观乃至宏观的统计，分析，综合和推理，以指导实际问题的求解，企图发现事件间的相互关联，甚至利用已有的数据对未来的活动进行预测。

　　一般DataMining较长被应用的领域包括金融业、保险业、零售业、直效行销业、通讯业、制造业以及医疗服务业等。

更广义的说法是：

数据挖掘意味着在一些事实或观察数据的集合中寻找模式的决策支持过程。

　　4，数据挖掘的发展方向

　　目前，数据挖掘的研究方面主要有：

数据库知识发现方面，将知识发现（KDD）与数据库系统、数据仓库系统和Web数据库系统紧密结合，力图充分利用Web中的丰富资源；

机器学习方面，进一步研究知识发现方法，希望克服现存算法的计算性瓶颈，如注重对Bayes（贝叶斯）方法以及Boosting算法的研究和提高；

统计领域，加大传统统计方法在数据挖掘中的应用。

数据挖掘研究正蓬勃开展，在今后还会掀起更大的波澜，其研究焦点集中到以下几个方面：

研究专门用于知识发现的数据挖掘语言，也许会像SQL语言一样走向形式化和标准化；

寻求数据挖掘过程中的可视化方法，使得知识发现的过程能够被用户理解，也便于在知识发现过程中的人机交互；

研究在网络环境下的数据挖掘技术，特别是在Internet上建立数据挖掘服务器，与数据库服务器配合，实现数据挖掘；

加强对各种非结构化数据的挖掘，如文本数据、图形图像数据、多媒体数据。

　　5，数据挖掘的新技术

　　Web数据挖掘技术首要解决半结构化数据源模型和半结构化数据模型的查询与集成问题。

这就必须要有一个模型来清晰地描述Web上的数据，而寻找一个半结构化的数据模型是解决问题的关键所在。

除此之外，还需要一种半结构化模型抽取技术，即自动地从现有数据中抽取半结构化模型的技术。

　　XML可看作一种半结构化的数据模型，可以很容易地将XML的文档描述与关系数据库中的属性对应起来，实施精确地查询与模型抽取。

利用设计人员不仅能创建文字和图形，而且还能构建文档类型定义的多层次、相互依存的系统、数据树、元数据、超链接结构和样式表。

　　6，数据挖掘面临的问题和挑战

　　虽然数据挖掘技术已经在各方面都得到了广泛的应用，但数据挖掘技术的研究还不够成熟，在应用上有很大的局限性。

正是这些局限性，促使数据挖掘技术进一步的发展：

（1）挖掘的对象数据库更大，维数更高，属性之间更复杂，数据挖掘处理的数据通常十分巨大。

（2）数据丢失问题因大部分数据库不是为知识发现而定做的，那么它就有可能会存在一些重要的数据和属性丢失的问题。

　　（3）多种形式的输入数据目前数据挖掘工具能处理的数据形式有限，一般只能处理数值型的结构化数据。

　　（4）网络与分布式环境的KDD问题随网络的发展，资源的丰富，技术人员各自独立处理分离数据库的工作方式应是可协作的。

　　五.研究达到的预期结果

　　系统的介绍数据挖掘技术，使更多的研究人员在数据库中发现有用的，有潜在价值的数据知识。

　　六.小结

　　通过各方面资料的查找，理解了基本的数据挖掘概念、数据挖掘技术、数据挖掘的实际应用及国内外现状。

在论文中将对数据挖掘的概念以及发展概况进行介绍，并总结数据挖掘中使用的技术，主要结合当前的研究成果，分析了数据挖掘领