数据挖掘技术在竞争情报系统中的应用.docx

1、数据挖掘技术在竞争情报系统中的应用数据挖掘技术在竞争情报系统中的应用研究摘要在竞争日趋激烈的现代社会，信息优势已经成为企业生存和发展的关键因素，企业能否在市场竞争中掌握主动权，取决于其竞争情报获取、处理和利用能力。竞争情报系统正是企业获取、利用信息的一种有效方式。同时随着互联网的发展，信息爆炸时代的到来，海量的数据已经远远超出了情报人员研究人员的分析和处理能力。由于数据挖掘技术在处理海量数据信息时具有独特的优点，相关技术也不断地发展成熟，其与现代竞争情报系统的有机结合，正受到越来越广泛的重视。本课题将数据挖掘引入竞争情报系统，分析数据挖掘的相关技术及其在企业竞争情报系统中的应用，构建一个基于数

2、据挖掘技术的企业竞争情报系统模型。关键词：数据挖掘；竞争情报；商务智能1 绪论1.1研究背景随着经济全球化的不断推进以及市场经济的深入发展，现今的市场竞争愈发激烈，如今各类企业不断产生和发展，只有具有竞争优势的企业才能取得生存和发展。互联网的迅速发展，为企业高层带来无尽的信息，如何迅速、准确地从这些繁杂的数据当中找出有利的竞争情报，从而使企业能够快人一步，取得竞争优势，是摆在企业高层面前的一道难题。竞争情报系统的建设，将信息技术带入一个新的领域。据统计，在全球500强企业中，几乎所有企业都设立了竞争情报机构，建立了专业的竞争情报系统。竞争情报的获取就是从信息中获取精炼的信息，伴随着信息时代的到

3、来，数据急速增长，情报研究人员面对信息海洋像大海捞针一样束手无策，因而，现在的竞争情报系统迫切需要一种能从大量数据中提取、精炼有效数据的技术。数据挖掘(Data Mining)技术正是一种符合要求的技术手段，它的发展于得益于数据库技术进步，是信息技术发展进步的重要成果。数据挖掘是从大量的数据中，提取出隐藏的、有实用价值的信息的过程。人们对数据挖掘进行了十几年的研究和应用，数据挖掘技术及其应用也步入了一个更高的发展阶段，数据挖掘算法也已基本成熟、稳定，将数据挖掘引入竞争情报系统将具有非常现实的意义。1.2 已有研究现状数据挖掘技术这一新的决策支持技术兴起于90年代。在国外，数据挖掘已经成功应用于

4、企业竞争、战略制定、行业规划及政府政策制定等多个领域，创造出巨大的社会价值和经济价值。由于数据挖掘技术在处理信息方面的优越性，近年来，我国越来越多的研究人员提出了不同方法和模型来解决数据挖掘在竞争情报系统中的应用问题。例如, 将数据挖掘应用到竞争情报业务的研究中，提出了基于数据挖掘的通用情报处理系统模型,这些都是基于数据挖掘的企业竞争情报系统方面的研究。另外,相关学者还提出了基于数据挖掘的企业竞争情报系统模型。由于我国经济体制改革的时间较短，竞争机制尚不成熟，再加上我国总体的信息化水平不高，与发达国家相比，我国关于数据挖掘技术在竞争情报系统应用方面的研究却显得相对滞后,存在诸多问题。 1.3

5、本研究的主要内容本研究主要论述了数据挖掘技术以及竞争情报系统，并在此基础上将数据挖掘功能引入到竞争情报的各个子系统中，并结合竞争情报系统的特点及流程，将数据挖掘技术和方法应用到竞争情报分析系统之中，构建了一个基于数据挖掘技术的竞争情报系统模型。本文共分五部分。第一部分为绪论，主要阐明本选题的研究背景、已有研究现状、本选题主要研究内容；第二部分从数据挖掘的定义、对象、一般过程、常用技术来介绍数据挖掘的相关理论知识；第三部分是竞争情报系统的发展背景及现状；第四部分分别论述数据挖掘技术在竞争情报采集、分析、服务三个子系统中的应用；第五部分介绍数据挖掘技术在竞争情报系统中应用的发展前景。2 数据挖掘的

6、相关理论知识2.1 数据挖掘的定义从技术角度来看，数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程6。从商业角度来看，数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。2.2数据挖掘对象 根据信息存储格式，数据挖掘的对象有关系数据库、空间数据库、面向对象数据库、数据仓库、时态数据库、多媒体数据库、文本数据源、面向对象数据库、异质数据库以及Internet等。2.3数据挖掘的一般过程2.3.1定

7、义问题数据挖掘需要从大量的信息里，发现归纳有用的信息，这家要求我们在数据挖掘实施之前就确定一个方向和目标，以及在整个过程中要采用的具体的方法，这是整个数据挖掘过程中第一个也是最重要的一个阶段。2.3.2 数据准备根据确定的方向和目标从数据库提取相关数据或通过方法收集相关数据，再对前一阶段产生的数据进行深加工,同时检查数据的完整性和一致性,对其中的噪音数据进行噪音消除、对重复数据进行排重、对丢失的数据进行填补。2.3.3 数据挖掘的实施运用第一个阶段选定的数据挖掘方法，对数据进行处理，并以特定的方法和形式表现出来。与厂商和用户密切交流，根据不同用户的不同以及不同数据类型的不同特点，选择合适的挖掘

8、技术，如聚类常使用聚类分析技术, 分类模型常用决策树来实现, 关联发现和序列发现常用来挖掘数据间的依赖关系，确定挖掘任务并建立数据挖掘模型，反复进行迭代搜索和测试。2.3.4 结果解释与评估对数据挖掘所得到的结果进行评估和分析，以便有效发现有意义的规律、模型等。因为数据挖掘所获得初始结果中可能存在冗余或者无意义的模式，也可能所获得的模式不满足挖掘任务的需要，这时就需要返回到前面的阶段，对数据、方法、参数进行新的选择，甚至换一种数据挖掘算法等。此外对所挖掘出的结果，还要通过可视化技术简单明了的呈现在用户面前。2.4数据挖掘的常用技术2.4.1 关联分析法关联分析是数据挖掘领域的一个重要的研究方向

9、。关联规则表示数据库中存在某种关联关系的规则，通过搜索、对比系统中的对象，并从中找出所有的高频项目组，再从这些选出的对象中找到联系规则，得到一个具有一定可新都的关联事件发生概率。关联分析法直观、易理解，但对于关联度不高或相关性复杂的情况不太有效。2.4.2 人工神经元网络（ANN）人工神经元网络是以数学和物理的方法模仿人的神经系统，并建立某种简化模型，反复训练学习数据集，从中发现分类和预测的模式。人工神经元网络在对噪声数据的高承受力以及对未经训练的数据分类模式的能力方面有很大优势，使得其在数据挖掘中得到广泛应用。神经元网络不适用于求解正确答案的问题。神经元网络适合于结果比可理解性更重要的分类和

10、预测的复杂情况，可用于聚类、分类和序列模式。2.4.3 决策树（DT）决策树是一个预测模型，它代表的是对象属性与对象值之间的一种映射关系，根据训练数据集中记录字段的不同取值建立树的分支，形成决策树。决策树的优点在于能同时处理数据性和常规型属性，产生直观、易理解的规则，并且可以展示结果产生的过程。决策树适用于生成结果易于理解的数据类型，也可用于分类和聚类。2.4.4 遗传算法（GA）遗传算法是一种根据适者生存、优胜劣汰等生物进化论原理来进行搜索计算和问题求解的优化技术。在数据挖掘中常常用到它的搜索功能。遗传算法以生物进化为原型，对数据反复进行选择、交叉和突变等遗传操作，剔除适应度低的染色体，留下

11、适应度高的染色体，直至得到最优解。遗传算法可同时处理各类型数据，常用于优化神经元网络，但不适用于大规模计算量的问题。2.4.5 可视化为了使数据挖掘的过程和结果易于理解和在数据挖掘过程中进行人机交互，要发展数据挖掘的可视化方法。利用可视化技术，人们可以了解数据间的联系及规律。可视化是运用计算机图形学和图像出路技术，将数据转换为图形或图像在屏幕上显示出来，并进行交互的理论、方法和技术。通过可视化技术用直观的图像来显示多维非空间数据，指引检索过程，提高检索效率，加深用户对数据含义的理解。使人们能够更直观的了解数据挖掘的结果。3 竞争情报系统的发展背景及现状3.1 竞争情报系统的发展背景3.1.1

12、竞争情报系统的概念竞争情报系统，又名CIS，是Competitive Intelligence System的缩写，是企业竞争战略管理实践中新出现的概念。中国竞争情报研究会名誉理事长包昌火研究员则指出：“竞争情报系统是以人的智能为主导，信息网络为手段，增强企业竞争力为目标的人机结合的竞争战略决策支持和咨询系统。”3.1.2 竞争情报系统的发展起源经济全球化的发展使得企业的竞争对手不再只是国内的同一产业的企业，而是全球同一行业的企业，企业通过经营活动等渠道获取信息，经过加工后用于决策，竞争情报的运用成为日常经营活动的一部分。随着知识经济的崛起，知识和信息成为一个重要的财富增长点。在基于知识和信息

13、的经济中，信息系统和信息技术成为关键的战略资源。依赖于信息技术的企业决策对企业的生存和发展变的至关重要。20世纪50年代随着西方发达工业国家间的商业竞争，竞争情报逐渐兴起。西方发达国家对竞争情报的理论、方法和竞争情报系统的建设有了较为深入的研究。80年代中期世界性竞争情报组织竞争情报从业者协会（Society of Competitive Intelligence Professionals, SCIP）成立，竞争情报理论与实践取得重大发展。90年代以来随着互联网的飞速发展，竞争情报系统普遍建立，高效运行。经过50多年的探索和研究,竞争情报研究已形成了相对完备的理论体系、工作方法和实践领域。3

14、.2竞争情报系统对企业的作用3.2.1 提供市场预警竞争情报系统通过对外部环境的分析了解市场机会和市场威胁，提高产品生产量，抓住机会扩大市场份额，正确地把握增长和衰减的可能范围，提高产品收益，同时获得警示，规避、降低风险。3.2.2 帮助企业分析竞争对手竞争情报系统帮助企业了解竞争在哪，识别竞争对手，哪个竞争对手是应该跟进的，潜在的竞争对手在哪，判断本企业和竞争对手所处的相对竞争位置，分析竞争对手及自身的优势和劣势，怎么制定相应的竞争对策，以确保并提高本企业在同行业中的地位。3.2.3 辅助企业制定决策企业决策的制定需要一定的市场信息，企业市场定位、一项新产品的研发，或者是企业的并购、投资等都

15、必需了解相应的市场信息，以及相关企业的内部人员情况，产权情况等。竞争情报系统能为企业管理者做出决策提供准确的情报支持。3.2.5 帮助企业捍卫自身信息安全企业在进行竞争情报工作的同时，其竞争对手也在进行着竞争情报工作。竞争情报是一个有效获取信息的工具，在这个竞争激烈的年代，企业想要保证自己的信息安全就必须重视竞争情报工作，通过对内部环境得分析发现企业自身存在的问题及漏洞等异常情况，并加以改正、修补，从而达到反竞争情报的效果。3.3 我国竞争情报系统的发展现状国内竞争情报系统市场尚处于起步与探索的阶段，竞争情报系统提供商为数百家企业导入竞争情报系统，这些企业大部分集中在电信、汽车、钢铁、石化、电

16、子制造、烟草及部分大型集团性企业。目前国内主要的竞争情报系统软件提供商有拓尔思、赛立信、Autonomy、铱星等。根据赛迪数据的估计，目前中国CIS产品和服务市场的规模为3亿元左右。如果包含一些管理系统、决策支持系统的话，应该可以达到10多亿元的规模。 目前国内企业采用的竞争情报系统及其软件工具基本上是立足于公开的网络信息资源，大多缺乏对搜集到的信息真伪进行甄别和分析研究的功能，信息来源单一，充其量只能起到信息自动搜集和分类的作用，受企业原有情报工作基础和文化氛围等社会因素的影响，实际功能十分有限，很难直接对企业的经营决策和管理工作提供有价值情报，据使用过的部分企业反映，其表现与当初的期望存在

17、很大的差距。4 数据挖掘技术在企业竞争情报系统模型中的应用企业竞争情报系统模型一般包含收集企业内外信息的采集子系统、对数据进行分析处理的分析子系统和把挖掘结果展示在用户面前的服务子系统。4.1数据挖掘技术在竞争情报采集子系统的应用根据用户的需求收集、整理相关信息，将来自不同渠道的数据通过数据采集器收集起来,并通过规范化处理,存储于数据仓库中,形成基础的情报数据。竞争情报系统的数据来源主要包括企业外部和企业内部两个方面。企业外部信息的主要来源于网络，如行业网站、竞争对手网站、HTML网页、电子商务站点、信息发布、网络数据库等, 利用Web挖掘、关联分析、聚类分析和语义分析等技术从中挖掘出客户信息

18、、竞争对手信息和竞争环境信息。企业内部信息包括各种数据库、据仓库的数据, 利用查询语言SQL、DMOL构造出的程序自动收集、整理，并对这些数据进行深加工。竞争情报的采集工作为竞争情报分析做好了基础数据准备,并且简化了竞争情报分析中数据预处理工作的难度和复杂性。4.2数据挖掘技术在竞争情报分析子系统的应用竞争情报分析子系统是竞争情报系统的核心，利用各类信息处理技术将原本纷繁芜杂的信息变得有序、系统。而将数据挖掘技术引入到竞争情报分析子系统后，借助系统提供的数据挖掘工具，以及各种分析模型，综合分析数据仓库中存储的信息，对数据进行自动提取、自动摘要、自动排重、自动分类、自动聚类等智能化分析处理，充分

19、挖掘其中隐藏的价值。该子系统主要包括数据分析以及模式发现工具，其中的数据挖掘工具是企业实现数据深层次挖掘的核心技术，利用适用的数据挖掘技术对大量的数据进行有序的、系统的层次化的分析整理，发现其中隐藏的关系、模式以及趋势等。随着互联网络的不断发展，互联网络已经成为企业获取竞争情报最重要的信息“仓库”，对文本资源的挖掘技术显得更为重要，基于文本内容的自动分类、自动摘要、自动排重、自动聚类以及相似性检索等技术的成熟，为企业竞争情报提供了强有力的技术支持，如利用web挖掘技术中web日志挖掘识别潜在竞争对手，并可用于反竞争情报;利用关联分析及web挖掘，可发现潜在客户，监视和预测用户访问习惯、购买行为

20、; 根据客户信息，利用分组聚类发现并分析相似浏览行为客户的共同特征，以便更好地为客户服务; 长期跟踪相关企业网站、行业站点，提取企业、行业相关的关键信息，加以分析利用可以起到市场预警的功能。4.3数据挖掘技术在竞争情报服务子系统的应用企业竞争情报系统最终会在竞争情报服务子系统产生出提供服务的竞争情报产品，竞争情报服务子系统为整个系统提供了一个信息交流和共享的平台，为用户提供分类浏览、多途径搜索、市场预警等功能。对于企业内部，通过关联规则、自动聚类、自动分类在企业内部网提供分类浏览功能，并根据用户的需求，提供多途径搜索功能。通过可视化，利用知识获取、点子云、星形图、平行坐标、关联可视等应用成果进

21、行分析，以视图对话方式来获取用户的情报需求信息，编辑情报发布，通过图表、图像、动画等形式将竞争情报系统中数据挖掘的结果直观地显示出来。对于企业外部，建立企业门户网站，通过可视化交互技术，让供应商以及用户通过网站了解公司动态。同时通过web挖掘，分析客户浏览行为，对客户进行聚类分析，开展个性化市场服务；利用日志中记录的访问者的客户端所属域、IP地址等信息，分析竞争对手的竞争情报行为，以达到反制企业竞争对手进行的竞争情报工作。5 数据挖掘技术在竞争情报系统中应用的发展前景随着社会的进步和信息技术的发展，现代商业活动产生了越来越多的数据，数据量增速越来越快，以至用“海量、爆炸性增长”等词汇已无法形容

22、数据的增长速度。这就为竞争情报领域具有丰富的信息资源，同时为数据挖掘的应用开辟了广阔的舞台。目前，大多数传统的竞争情报系统只实现了数据录入、查询和统计等较低层次的功能，无法发现数据中存在的有用信息，更无法进一步通过数据分析发现更高的价值。数据挖掘技术的产生和发展，使得人们可以从纷繁芜杂的信息中提取有用的、隐藏的商业和科学信息，探寻其数据模式及特征，进而发现某个客户、群体或组织的兴趣和行为规律，专业人员就可以预测到未来可能发生的变化趋势。数据挖掘将为竞争情报提供有力的技术支持，极大地促进竞争情报系统的发展与普及，推动竞争情报产业的发展。数据挖掘技术作为一项新兴的决策支持技术，在未来的经济活动中必

23、将受到越来越广泛的重视。随着数据挖掘技术的不断改进和日益成熟，将数据挖掘技术应用于竞争情报系统将有着广阔的发展前景。6案例分析万科CIS的建立6.1 万科竞争情报系统实施背景6.1.1 万科存在的问题客户关系管理系统（CRM），企业资源计划系统（ERP），成本系统（EAS）等系统之间不能实现数据共享，缺少业务协同；某些数据和业务环节需要重复记录和操作；不能及时向所有部门提供所需分析报告。因此，万科必须在信息化建设上特别是在竞争情报系统建设方面要有实质性的突破，以解决这些存在的问题。6.1.2 万科CIS 职能万科竞争情报系统的主要职能：(1) 网络管理：将各系统统一在竞争情报系统的框架下，控制

24、信息流向，充分实现信息共享。(2) 行业监测：所有的数据依照集团的标准分类进行拆分，避免重复记录。(3) 要点管理：能随时针对某一类问题进行分析，得出行业竞争水平、项目缺陷率、项目成本对比、承建商水准等信息。(4) 报告职能：做出报告，为客户服务、企业资源计划的制定提供支持。6.2 系统功能实现 企业竞争情报系统是以人的智能为主导、以信息网络为手段、以增强企业竞争力为目标的人机结合的企业竞争战略决策支持与咨询系统。万科CIS系统以组织网络、信息网络、人际网络为基础的企业竞争情报系统，汇总企业内部和外部收集的信息，储存到数据库中，利用数据挖掘、数据库等相关技术挖掘出有用的竞争情报，为决策者提供实

25、时、可靠的信息决策帮助。根据一般情报系统流程及万科集团组织结构制定万科CIS系统流程如图6.1所示，以及各子系统的具体规划：万科竞争情报收集子系统如图6.2所示；万科竞争情报分析子系统规划如图6.3所示；万科情报服务子系统如图6.4所示。利用万科CIS系统组建的信息平台，集中和规范企业收集的内部和外部的包括商业性的、政策性的各类数据，为万科制定重要的战略决策提供依据。图6.1 万科竞争情报系统流程图6.2 万科竞争情报收集子系统图6.3 万科竞争情报分析子系统图6.4 万科竞争情报服务子系统6.3系统运行效果根据竞争情报系统中挖掘出的相关数据确定以成熟产品为原型建造较为近似的标准产品。利用发展

26、成熟的模式进行大规模扩张，实行有着清晰定位、具有预见性、符合市场价值规律的战略管理。从多元化到专一化的战略管理，而后到规模化、精细化的扩张。确立了以房地产为核心业务的发展战略，并将居民住宅作为房地产的主导开发方向。成功打造出其核心竞争力：中国目前最大的专业住宅开发企业。实施精细化战略三大措施：(1)以客户为核心的经营方式，从客户利益角度出发，根据客户不同生命周期，建立梯度产品，为客户创造利益，提高客户的忠诚度。 （2）在细分客户价值的基础上，形成住宅产品体系，建立万科标准，工业化生产，提高住宅品质比。（3）以珠三角、长三角、环渤海城市圈和几个内陆核心城市为重点发展区域，先后在16个城市开发。从

27、2004年91.6亿的销售额到2010年的1026亿，成为中国第一家千亿级地产公司，再到2011年销售额突破1215亿元，继2010年销售额突破千亿之后，业绩再创新高，蝉联行业销售冠军，并第二次成为房地产业年度销售过千亿的唯一公司，其竞争情报系统发挥了重要作用。结论面对呈爆炸式增长的信息，如何从中提取、精炼有价值的信息，是现代竞争情报系统是面临的一个挑战。将数据挖掘技术引入到竞争情报系统模型的构建中来，充分发挥数据挖掘技术在处理海量数据上的优势，比之传统的竞争情报系统，能够提高系统的智能化和分析能力，对半结构化、非结构化、异构分布式数据也能进行有效地加工，全面地整合各种资源，使得分析结果的实用性更强。数据挖掘作为竞争情报系统处理海量信息的关键技术，时至今日，这项技术并没有发展成熟，研究数据挖掘技术在竞争情报系统中的应用，为竞争情报系统的发展与实践提供依据。致谢毕业论文眼看就要结束了，也就意味着大学生活就要结束了，借此机会，感谢学校四年来对我的培养，感谢学院为我们努力创造了良好的学习环境与学习机会。在此，我要特别感谢我的毕业论文指导老师刘颖老师，感谢她在这段时间里对我的辛勤教导，在这段时间里老师对我的论文进行了反复修改，并指导我对文章结构以及内容作了很大的调整，最终得以完成毕业论文。同时感谢学校图书馆，使我们得以免费下载参考文献及相关书籍，还有同学们对我的帮助，在此深表感谢！