数据挖掘中的文本挖掘的分类算法综述.docx

1、数据挖掘中的文本挖掘的分类算法综述数据挖掘中的文本挖掘的分类算法综述摘要随着 Internet 上文档信息的迅猛发展，文本分类成为处理和组织大量文档数 据的关键技术。 本文首先对数据挖掘进行了概述包括数据挖掘的常用方法、 功能 以及存在的主要问题； 其次对数据挖掘领域较为活跃的文本挖掘的历史演化、 研 究现状、主要内容、 相关技术以及热点难点问题进行了探讨； 在第三章先分析了 文本分类的现状和相关问题，随后详细介绍了常用的文本分类算法，包括 KNN 文本分类算法、 特征选择方法、 支持向量机文本分类算法和朴素贝叶斯文本分类 算法；第四章对 KNN 文本分类算法进行深入的研究，包括基于统计和 L

2、SA 降 维的 KNN 文本分类算法；第五章对数据挖掘、文本挖掘和文本分类的在信息领 域以及商业领域的应用做了详细的预测分析；最后对全文工作进行了总结和展 望。关键词：数据挖掘，文本挖掘，文本分类算法ABSTRACTWith the development of Web 2.0, the number of documents on the Internet increases exponentially. One important research focus on how to deal with these great capacity of online documents. Tex

3、t classification is one crucial part of information management. In this paper we first introduce the basic information of data mining, including the methods, contents and the main existing problems in data mining fields; then we discussed the text mining, one active field of data mining, to provide

4、a basic foundation for text classification. And several common algorithms are analyzed in Chapter 3. In chapter 4 thorough research of KNN text classification algorithms are illustrated including the statistical and dimension reduction based on LSA and in chapter 5 we make some predictions for data

5、mining, text mining and text classification and finally we conclude our work.KEYWORDS ：data mining, text mining, text classification algorithms，KNN1.摘要第一章 数据挖掘概述 3.1.1数据挖掘介绍 3.1.2数据挖掘常用方法 4.1.3数据挖掘的功能 5.1.4数据挖掘的主要问题 5.第二章 文本挖掘概述 8.2.1文本挖掘介绍 8.2.1.1文本挖掘的历史演化 8.2.1.2文本挖掘的定义 8.2.1.3文本挖掘的研究现状 9.2.2文本挖掘主

6、要内容 9.2.3文本挖掘技术 1.0.2.3.1数据预处理技术 1.02.3.2数据挖掘分析技术 1.12.4文本挖掘热点难点问题 1.2第三章 文本分类算法 1.4.3.1文本分类概述 1.4.3.1.1文本分类的研究现状 1.43.1.2文本分类模型 1.53.1.3文本分类面临的挑战 1.73.1.4文本分类亟需解决的问题 1.83.2常用文本分类算法 1.83.2.1文本分类中的特征选择方法 1.93.3.2支持向量机文本分类算法 2.23.3.3朴素贝叶斯文本分类算法 2.3第四章 KNN 文本分类算法研究 2.74.1KNN 文本分类算法介绍 2.74.2基于统计的 KNN 文本

7、分类算法研究 2. 74.3基于 LSA 降维的 KNN 文本分类算法研究 3. 04.4其他改进的 KNN 文本分类算法 3.1第五章 文本挖掘应用 3.4.5.1数据挖掘应用 3.4.5.1.1数据挖掘解决的典型商业问题 3. 45.1.2数据挖掘在市场营销的应用 3.45.1.3数据挖掘在企业危机管理中的应用 3. 55.2文本挖掘应用 3.7.5.3文本分类应用 3.7.第六章 结论 3.9.参考文献 4.0.第一章 数据挖掘概述1.1 数据挖掘介绍 需要是发明之母。近年来，数据挖掘引起了信息产业界的极大关注，其主要 原因是存在大量数据， 可以广泛使用， 并且迫切需要将这些数据转换成有

8、用的信 息和知识。获取的信息和知识可以广泛用于各种应用， 包括商务管理， 生产控制， 市场分析，工程设计和科学探索等 1 。数据挖掘出现于 20世纪 80年代后期，是数据库研究中一个很有应用价值的 新领域，是一门交叉性学科，融合了人工智能、数据库技术、模式识别、机器学 习、统计学和数据可视化等多个领域的理论和技术数据挖掘作为一种技术， 它 的生命周期正处于沟坎阶段，需要时间和精力去研究、开发和逐步成熟， 并最终 为人们所接受。 20世纪 80年代中期，数据仓库之父 WHIn-mon 在建立数 据仓库(Building the Data Warehouse)一书中定义了数据仓库的概念，随后又给

9、出了更为精确的定义：数据仓库是在企业管理和决策中面向主题的、集成的、 时 变的以及非易失的数据集合。 与其他数据库应用不同的是， 数据仓库更像一种过 程对分布在企业内部各处的业务数据的整合、 加工和分析的过程。 传统的数据 库管理系统(database management system, DBMS)的主要任务是联机事务处理 (on-line transaction processing OLTP)；而数据仓库则是在数据分析和决策方面提 供服务，这种系统被称为联机分析处理(on-line an alytical processi ng， OLAP) . OLAP的概念最早是由关系数据库之父 E

10、. F. Codd于1993年提出的。 当时， Codd 认为 OLTP 已不能满足终端用户对数据库查询分析的需要，结构化 查询语言(structured query Ianguage SQL)对数据库进行的简单查询也不能满足用 户分析的需求.用户的决策分析需要对关系数据库进行大量计算才能得到结果， 因此Codd提出了多维数据库和多维分析的概念。数据挖掘(Data Mining)，就是从存放在数据库，数据仓库或其他信息库中的 大量的数据中获取有效的、新颖的、 潜在有用的、 最终可理解的模式的非平凡过 程。数据挖掘，在人工智能领域，习惯上又称为数据库中知识发现 (Knowledge Discov

11、ery in Database, KDD)， 也有人把数据挖掘视为数据库中知识发现过程的 一个基本步骤。知识发现过程以下三个阶段组成： (1) 数据准备， (2)数据挖掘，(3)结果表达和解释。数据挖掘可以与用户或知识库交互。并非所有的信息发现任务都被视为数据挖掘。例如，使用数据库管理系统查 找个别的记录，或通过因特网的搜索引擎查找特定的 Web 页面，则是信息检索 (information retrieval)领域的任务。虽然这些任务是重要的，可能涉及使用复 杂的算法和数据结构， 但是它们主要依赖传统的计算机科学技术和数据的明显特 征来创建索引结构，从而有效地组织和检索信息。尽管如此， 数据

12、挖掘技术也已 用来增强信息检索系统的能力。数据挖掘利用了来自如下一些领域的思想： (1) 来自统计学的抽样、估计和 假设检验， (2) 人工智能、模式识别和机器学习的搜索算法、建模技术和学习理 论。数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、 进化 计算、信息论、信号处理、可视化和信息检索。一些其他领域也起到重要的支撑 作用。特别地，需要数据库系统提供有效的存储、索引和查询处理支持。源于高 性能(并行)计算的技术在处理海量数据集方面常常是重要的。 分布式技术也能 帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。因此， 数 据挖掘被信息产业界认为是数据库系统最重要

13、的前沿之一， 是信息产业最有前途 的交叉学科。1.2数据挖掘常用方法 利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联 规则、特征、变化和偏差分析、 Web 页挖掘等， 它们分别从不同的角度对数据 进行挖掘。(1)分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将 其划分为不同的类， 其目的是通过分类模型， 将数据库中的数据项映射到某个给 定的类别。它可以应用到客户的分类、 客户的属性和特征分析、 客户满意度分析、 客户的购买趋势预测等， 如一个汽车零售商将客户按照对汽车的喜好划分成不同 的类，这样营销人员就可以将新型汽车的广告手册直接邮寄到有这种喜好的客户 手中

14、，从而大大增加了商业机会。(2)回归分析。回归分析方法反映的是事务数据库中属性值在时间上的特 征，产生一个将数据项映射到一个实值预测变量的函数， 发现变量或属性间的依 赖关系，其主要研究问题包括数据序列的趋势特征、 数据序列的预测以及数据间 的相关关系等。它可以应用到市场营销的各个方面，如客户寻求、 保持和预防客 户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。(3)聚类。聚类分析是把一组数据按照相似性和差异性分为几个类别，其目 的是使得属于同一类别的数据间的相似性尽可能大， 不同类别中的数据间的相似 性尽可能小。它可以应用到客户群体的分类、 客户背景分析、 客户购买趋势预测

15、、 市场的细分等。(4)关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则， 即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现， 即隐藏在 数据间的关联或相互关系。 在客户关系管理中， 通过对企业的客户数据库里的大 量数据进行挖掘， 可以从大量的记录中发现有趣的关联关系， 找出影响市场营销 效果的关键因素，为产品定位、定价与定制客户群，客户寻求、细分与保持，市 场营销与推销，营销风险评估和诈骗预测等决策支持提供参考依据。(5)特征。特征分析是从数据库中的一组数据中提取出关于这些数据的特征 式，这些特征式表达了该数据集的总体特征。 如营销人员通过对客户流失因素的 特征提取，

16、 可以得到导致客户流失的一系列原因和主要特征， 利用这些特征可以 有效地预防客户的流失。(6)变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常 实例，模式的例外， 观察结果对期望的偏差等， 其目的是寻找观察结果与参照量 之间有意义的差别。 在企业危机管理及其预警中， 管理者更感兴趣的是那些意外 规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预 警等方面。(7)Web 页挖掘。随着 Internet 的迅速发展及 Web 的全球普及， 使得 Web 上的信息量无比丰富， 通过对 Web 的挖掘，可以利用 Web 的海量数据进行分析， 收集政治、经济、政策、科技

17、、金融、各种市场、竞争对手、供求信息、客户等 有关的信息，集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境 信息和内部经营信息， 并根据分析结果找出企业管理过程中出现的各种问题和可 能引起危机的先兆，对这些信息进行分析和处理，以便识别、分析、评价和管理 危机。1.3 数据挖掘的功能数据挖掘通过预测未来趋势及行为，做出前摄的、基于知识的决策。数据挖 掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。（1）自动预测趋势和行为 数据挖掘自动在大型数据库中寻找预测性信息， 以往需要进行大量手工分析 的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测问 题，数据

18、挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户， 其它 可预测的问题包括预报破产以及认定对指定事件最可能作出反应的群体。（2）关联分析 数据关联是数据库中存在的一类重要的可被发现的知识。 若两个或多个变量 的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因 果关联。关联分析的目的是找出数据库中隐藏的关联网。 有时并不知道数据库中 数据的关联函数，即使知道也是不确定的， 因此关联分析生成的规则带有可信度。（3）聚类数据库中的记录可被化分为一系列有意义的子集， 即聚类。 聚类增强了人们 对客观现实的认识， 是概念描述和偏差分析的先决条件。 聚类技术主要包括传统 的模式

19、识别方法和数学分类学。 80 年代初， Mchalski 提出了概念聚类技术牞其 要点是， 在划分对象时不仅考虑对象之间的距离， 还要求划分出的类具有某种内 涵描述，从而避免了传统技术的某些片面性。（4）概念描述概念描述就是对某类对象的内涵进行描述， 并概括这类对象的有关特征。 概 念描述分为特征性描述和区别性描述， 前者描述某类对象的共同特征， 后者描述 不同类对象之间的区别。 生成一个类的特征性描述只涉及该类对象中所有对象的 共性。生成区别性描述的方法很多，如决策树方法、遗传算法等。（5）偏差检测数据库中的数据常有一些异常记录， 从数据库中检测这些偏差很有意义。 偏 差包括很多潜在的知识，

20、如分类中的反常实例、 不满足规则的特例、 观测结果与 模型预测值的偏差、量值随时间的变化等。 偏差检测的基本方法是， 寻找观测结 果与参照值之间有意义的差别。1.4 数据挖掘的主要问题 数据挖掘的主要问题，涉及挖掘方法、用户交互、性能和各种数据类型。这 些问题介绍如下：1.数据挖掘技术和用户交互问题：这反映所挖掘的知识类型、在多粒度上挖掘 知识的能力、领域知识的使用、临场即席挖掘和知识可视化。a） 挖掘数据库中不同类型的知识： 由于不同的用户可能对不同类型的知识感兴 趣，数据挖掘应当涵盖范围很广的数据分析和知识发现任务，包括数据特征 化、区分、关联与相关分析、 分类、预测、聚类、离群点分析和演

21、变分析 （包 括趋势和相似性分析） 。这些任务可能以不同的方式使用相同的数据库，并 需要开发大量数据挖掘技术。b） 多个抽象层的交互知识挖掘：由于很难准确地知道能够在数据库中发现什 么，数据挖掘过程应当是交互的。对于包含海量数据的数据库，首先应当使 用适当的抽样技术，进行交互式数据探查。交互式挖掘允许用户聚焦搜索模 式，根据返回的结果提出和精炼数据挖掘请求。特别，类似于 OLAP 对数据 立方体所做的那样，应当通过交互地在数据空间和知识空间下钻、上卷和旋 转来挖掘知识。用这种方法，用户可以与数据挖掘系统交互，以不同的粒度 和从不同的角度观察数据和发现模式。c)结合背景知识：可以使用背景知识或关

22、于所研究领域的信息来指导发现过 程，并使得发现的模式以简洁的形式在不同的抽象层表示。关于数据库的领 域知识，如完整性约束和演绎规则，可以帮助聚焦和加快数据挖掘过程，或 评估发现的模式的兴趣度。d)数据挖掘查询语言和特定的数据挖掘：关系查询语言(如 SQL)允许用户提出特定的数据检索查询。类似地，需要开发高级数据挖掘查询语言，使得用 户通过说明分析任务的相关数据集、领域知识、所挖掘的知识类型、被发现 的模式必须满足的条件和约束，描述特定的数据挖掘任务。这种语言应当与 数据库或数据仓库查询语言集成，并且对于有效的、灵活的数据挖掘是优化 的。e)数据挖掘结果的表示和可视化：发现的知识应当用高级语言、

23、可视化表示或 其他表示形式表示，使得知识易于理解，能够直接被人们使用。如果数据挖 掘系统是交互的，这一点尤其重要。这要求系统采用有表达能力的知识表示 技术，如树、表、规则、图、图表、交叉表、矩阵或曲线。f)处理噪声和不完全数据：存放在数据库中的数据可能反映噪声、异常情况或 不完全的数据对象。在挖掘数据规律时，这些对象可能搞乱分析过程，导致 所构造的知识模型过分拟合数据。其结果是，所发现的模式的准确性可能很 差。需要处理数据噪声的数据清理方法和数据分析方法，以及发现和分析异 常情况的离群点挖掘方法。g)模式评估即兴趣度问题：数据挖掘系统可能发现数以千计的模式。对于给定 的用户，所发现的许多模式都

24、不是有趣的， 因为它们表示常识或缺乏新颖性。 关于开发模式兴趣度的评估技术，特别是关于给定用户类，基于用户的信念 或期望，评估模式价值的主观度 量仍然存在一些挑战。使用兴趣度度量或 用户指定的约束指导发现过程和压缩搜索空间是又一个活跃的研究领域。2.性能问题：这包括数据挖掘算法的有效性、可伸缩性和并行处理。a)数据挖掘算法的有效性和可伸缩性： 为了有效地从数据库的海量数据中提取 信息，数据挖掘算法必须是有效的和可伸缩的。换一句话说，数据挖掘算法 在大型数据库中的运行时间必须是可预计的和可接受的。从数据库的知识发 现角度，有效性和可伸缩性是数据挖掘系统实现的关键问题。上面讨论的挖 掘方法和用户交

25、互的大多数问题，也必须考虑有效性和可伸缩性。b)并行、分布和增量挖掘算法：许多数据库的巨大规模、数据的广泛分布和一 些数据挖掘算法的计算复杂性是促使开发并行和分布式数据挖掘算法的因 素。这种算法将数据划分成若干部分，并行处理，然后合并每部分的结果。 此外，有些数据挖掘过程的高开销导致了对增量数据挖掘算法的需要。增量 算法与数据库更新结合在一起，而不必“从头开始”挖掘全部数据。这种算 法增量地进行知识修改、修正和加强业已发现的知识。3.关于数据库类型的多样性问题：a) 关系的和复杂的数据类型的处理：由于关系数据库和数据仓库已经广泛使 用，为这样的数据开发有效的数据挖掘系统是重要的。然而，其他数据

26、库可 能包含复杂的数据对象、超文本和多媒体数据、空间数据、时间数据或事务 数据。由于数据类型的多样性和数据挖掘的目标不同，指望一个系统挖掘所 有类型的数据是不现实的。 为挖掘特定类型的数据应当构造特定的数据挖掘 系统。因此，对于不同类型的数据，期望有不同的数据挖掘系统。b） 从异构数据库和全球信息系统挖掘信息：局域网和广域网（如因特网）连接 了许多数据源，形成了庞大的分布和异构数据库。从具有不同数据语义的结 构化的、半结构化的和非结构化的不同数据源发现知识，对数据挖掘提出了 巨大挑战。数据挖掘可以帮助发现多个异构数据库中的高层数据规律，这些 规律多半难以被简单的查询系统发现， 并可以改进异构数

27、据库信息交换和互 操作性能。Web挖掘发现关于Web内容、Web结构、Web使用和Web动态 情况的有趣知识， 已经成为数据挖掘的一个非常具有挑战性和快速发展的领 域。以上问题是数据挖掘技术未来发展的主要需求和挑战。在近来的数据挖掘研 究和开发中， 一些挑战已经在一定程度上受到关注，并且现在认为是必需的，而 另一些仍处于研究阶段。第二章 文本挖掘概述2.1 文本挖掘介绍2.1.1 文本挖掘的历史演化数据挖掘技术本身就是当前数据技术发展的新领域 ,文本挖掘则发展历史更 短。传统的信息检索技术对于海量数据的处理并不尽如人意 ,文本挖掘便日益重要起来 ,可见文本挖掘技术是从信息抽取以及相关技术领域中

28、慢慢演化而成的。一篇重要的关于文本挖掘的论文讲述在赫尔辛基大学进行的研究试验。因为 出现越来越多的非结构化文本资源 ,他们将数据挖掘技术应用于文本资源这个小 组成功地运用数据库中的知识发现技术 ( KDD) 。他们曾经发表了试图将数据挖 掘技术直接应用于经过预处理的文本信息的论文。 他们将预处理过程看作是一个 至关重要的环节 ,从而有效地改变了数据挖掘依赖于文本最初是如何被处理的这 一法则。沿着知识发现这条路 ,Feldman 考虑使用信息抽取中最简单的形式来获取 知识 :通过为一篇文本建立一个有意义的概念集合来看清概念的层次结构 ,从而在文本和概念之间挖掘他们的关。这种方法主要应用领域就是文

29、本分类，系统 Document Explorer 是目前比较先进的文本挖掘系统 , 该系统构建于以上所提到 的 KDT 基础之上。 Feldman 的 Document Explorer 则用文本集合来创建数据库 然后基于概念图的数据挖掘技术。 这套系统可以使用不同的模板来创建数据库以 适应各种类型的文本集合 ,包括 Web 文本。从网上抽取信息来看， Etzioni 着眼于将数据挖掘技术应用于互联网上大量的 超文本资源。这大概是第一篇将数据挖掘技术应用于万维网上信息资源的文章 , 并将该技术命名 Web 挖掘。近期 Soderlan 在从互联网上抽取信息的方面作了许 多工作 ,利用自然语言处

30、理技术从不同的 html 资源来解释天气预报。 应该说万维 网上的数据已经成为文本挖掘的重要研究方向 2 。2.1.2 文本挖掘的定义文本挖掘作为数据挖掘的一个新主题，引起了人们的极大兴趣，同时，它也 是一个富于争议的研究方向， 目前其定义尚无统一的结论， 需要国内外学者开展 更多的研究以便进行精确的定义。一般来说，文本挖掘(Text Mining , TM)和文本数据库中的知识发现 (Knowledge Discovery in Textual Database简称KDT)被认为是具有相同含义的两 个词， 最早由 Ronen Feldman 等人提出： The Process of extr

31、acting interesting Patterns from very large text collectionsfor the purpose of discovering knowledge。在维基百科上文本挖掘是这样定义的，文本挖掘有时也被称为文字探勘、文 本数据挖掘等，大致相当于文字分析，一般指文本处理过程中产生高质量的信息。 高质量的信息通常通过分类和预测来产生， 如模式识别。 文本挖掘通常涉及输入 文本的处理过程(通常进行分析， 同时加上一些衍生语言特征以及消除杂音， 随 后插入到数据库中) ，产生结构化数据，并最终评价和解释输出。 高品质的文 本挖掘通常是指某种组合的相关性

32、， 新颖性和趣味性。 典型的文本挖掘方法包括 文本分类，文本聚类，概念 /实体挖掘，生产精确分类，观点分析，文档摘要和 实体关系模型(即，学习已命名实体之间的关系) 。2.1.3 文本挖掘的研究现状国外对于文本挖掘的研究开展较早， 50 年代末， H.P.Luhn 在这一领域进行 了开创性的研究， 提出了词频统计思想用于自动分类。I960年，Maron发表了 关于自动分类的第一篇论文， 随后，众多学者在这一领域进行了卓有成效的研究 工作。研究主要有围绕文本的挖掘模型、 文本特征抽取与文本中间表示、 文本挖 掘算法 (如关联规则抽取、语义关系挖掘、文本聚类与主题分析、趋势分析 )、文本挖掘工具等，其中首次将 KDD 中的知识发现模型运用于 KDT。我国学术界正式引入文本挖掘的概念并开展针对中文的文本挖掘研究是从 最近几年才开始的。 从公开发表的有代表性的研究成果来看， 目前我国