数据仓库和数据挖掘在ERP中的应用研究.docx
《数据仓库和数据挖掘在ERP中的应用研究.docx》由会员分享，可在线阅读，更多相关《数据仓库和数据挖掘在ERP中的应用研究.docx（25页珍藏版）》请在冰豆网上搜索。
数据仓库和数据挖掘在ERP中的应用研究
摘要
ERP是计算机技术与企业管理技术结合的杰作。
近年来，越来越多的企业采用ERP。
在ERP的应用过程中产生了大量的数据，怎样才能有效的利用这些数据，并充分挖掘这些数据中隐藏的有用信息，已经成为一个广泛关注的问题。
鉴于数据挖掘技术善于从大型数据仓库中挖掘有用信息，故数据仓库和数据挖掘技术成为ERP中处理信息和数据的最佳选择。
这三者的结合可以促使ERP系统事务数据和其它外部数据集成转化为有效信息，并且加速了有效信息的提取，使企业能更好的管理和获取信息、更大限度地利用现有资源，从而达到实现企业经济效益最大化的终极目标。
因此，作为技术支撑的数据仓库技术和数据挖掘技术怎样能更好的应用于ERP，是一个很有价值的研究课题。
本论文阐述了数据仓库和数据挖掘在ERP中的应用研究背景及研究本课题的价值和意义，探讨了数据仓库和数据挖掘的概念以及构建的基本方法、当前数据仓库和数据挖掘在ERP中应用的主流技术与现状、数据仓库的关键问题以及数据挖掘的具体使用方法，说明了数据仓库和数据挖掘在ERP中应用的可行性和必然性，分析了当前数据仓库和数据挖掘在ERP中应用的不足之处，并对其未来发展做了展望。
关键词：
数据仓库；数据挖掘；ERP
Abstract
ERPisamasterpiecewhichcombinescomputertechnologywithenterprisemanagementtechnologies.Inrecentyears,moreandmoreenterpriseadoptERP.ItproducesalargeamountofdataintheprocessofusingERP.Howtoutilizethedataandthefullexploitationofthehiddenusefulinformationhasbecomeawidespreadconcern.Inviewofthedataminingisproficientinminingusefulinformationfromlargedatawarehouse,therefore,datawarehouseanddataminingtechnologyisthebestchoicefortheERPtoprocesstheinformationanddata.ThecombinationofthethreecanspurERPsystemaffairsdataandotherexternaldatatobeintegratedintoinformationandacceleratetheeffectiveinformationextraction,maketheenterprisebettermanage,getmoreinformationandutilizeexistingresourcesmaximallysoastorealizetheultimategoalofachievingmaximumeconomicbenefits.Summary,howthedatawarehousetechnologyanddataminingtechnologyasatechnicalsupportcanbebetterappliedtoERPisavaluableresearchsubject.
ThispaperexpoundsthebackgroundoftheapplicationofdatawarehouseanddatamininginERP,thevalueandsignificanceofstudyingthetopic.Itdiscussestheconceptandbasicmethodsofconstructingthedatawarehouseanddatamining,themainstreamtechnologyandcurrentsituationinERPapplicationofthedatawarehouseanddataminingandkeyproblemsofdatawarehouseandthespecificusemethodofthedatamining.ItexplainsthefeasibilityandinevitabilityofthedatawarehouseanddatamininginERPapplication,analyzesthedeficiencyofthecurrentdatawarehouseanddatamininginERPapplicationandProspectsforitsfuturedevelopment.
KeyWords：
Datawarehouse;Datamining;Enterpriseresourceplanning
目录
第1章绪论1
1.1研究背景及其意义1
1.1.1研究背景及问题的提出1
1.1.2研究价值与意义1
1.2国内外研究现状2
1.3研究方法和思路2
第2章数据仓库和数据挖掘简介4
2.1数据仓库概述4
2.1.1数据仓库4
2.1.2数据仓库的体系结构5
2.1.3数据抽取、转换、加载6
2.2数据挖掘概述8
2.2.1数据挖掘技术8
2.2.2数据挖掘的过程8
2.2.3数据挖掘算法介绍9
2.2.4数据挖掘工具10
第3章ERP简介12
3.1ERP的起源和发展12
3.2ERP具备的功能标准13
3.3当前ERP的特点13
第4章ERP数据仓库的构建15
4.1数据仓库——企业实施ERP的基础15
4.2面向ERP的数据仓库构建16
4.2.1ERP数据仓库的构建背景16
4.2.2ERP数据仓库的构建步骤16
4.3ERP数据仓库的解决策略18
4.4ERP数据仓库的系统设计19
第5章ERP中数据挖掘系统结构与实施方法21
5.1数据挖掘——企业ERP系统的核心21
5.2面向ERP的数据挖掘系统结构21
5.3ERP中数据挖掘的特点与实施方法的改进23
5.3.1ERP中数据挖掘的特点23
5.3.2数据挖掘互动循环过程26
第6章总结与展望29
参考文献30
致谢31
附录主要英文缩写语对照表32
第1章绪论
1.1研究背景及其意义
1.1.1研究背景及问题的提出
数据仓库技术是近年来出现的、发展迅速的一种技术，它通过把企业大量的历史数据整理集中到一个中央仓库中，将数据加以分析并呈现给用户来支持管理者的决策。
数据仓库的出现，使得人们只需要花费很短的时间就能从大量的历史数据中查询出所需的数据。
而数据挖掘则可以从数据仓库中提取大量可以广泛使用且迫切需要的数据，并将这些数据转换成有用的信息和知识。
数据仓库和数据挖掘技术使我们从全新的视角认识了数据的价值。
ERP是EnterpriseResourcePlanning（企业资源计划）的简称，是上个世纪90年代美国加特纳公司（GartnerGroupInc.）根据当时计算机信息、IT技术发展及企业对供应链管理的需求，预测在今后信息时代企业管理信息系统的发展趋势，而提出的一个概念[1]。
ERP借用了一种新的管理模式来替代原企业旧的管理模式，是先进的、行之有效的管理思想和方法。
它是当今世界最先进的企业管理理论，同时也提供了企业信息化集成的最佳解决方案。
数据仓库和数据挖掘的发展趋势就是与某些企业应用相结合，如与ERP相结合，可以使ERP系统事务数据和其它外部数据集成转化为信息，且可以快速提取有效信息。
数据仓库和数据挖掘在ERP中的成功应用，可以使企业更好管理和获取信息，最大限度地利用企业现有资源，实现企业经济效益的最大化。
鉴于此，本论文对数据仓库和数据挖掘在ERP中的应用展开研究。
1.1.2研究价值与意义
ERP既是一个技术型信息系统也是一个社会型信息系统，它的管理思想和模式基本上都是基于一种“面向事务处理”的、按顺序逻辑来处理事件的管理，它关注的是数据的“入”而非“出”，强调的是管理的先进性、及时性、安全性、可靠性等，因此，要从中实时取得有价值信息是比较困难的，也难以对突发事件快速作出反应。
如果将ERP的事务数据经过清理转入数据仓库，再在数据仓库的基础上建立各种分析型的应用，并引进数据挖掘技术，那将是一个绝佳组合。
ERP处理企业事务，数据仓库辅助企业管理决策，数据挖掘分析对象寻找最佳的方案，各司其职，就可以建立各种商业智能应用。
针对企业各部门和ERP系统模块，对外可以建立供应商分析、客户分析；对内可以建立生产、库存、销售、人事和财务等分析系统，并且这些系统可以进行交叉多维分析，还可以进行一些高级的数据挖掘分析等，满足企业快速地根据动态作出正确的判断以及提出新的决策，改变产品、计划和生产线。
这样就可以紧紧跟踪市场需求，甚至可超前于不断变化的市场需求。
概括的讲，数据仓库和数据挖掘与ERP的结合，可以让ERP更好更快更充分的发挥自身的作用，提高企业执行效率，使企业以更低的营运成本、更快的反应速度、更好的解决方案等多方面优势超越竞争对手。
1.2国内外研究现状
由于ERP、数据仓库和数据挖掘技术都是近十年出现的新的信息技术，因此，对ERP和数据仓库、数据挖掘的集成研究不是很多。
部分ERP厂商也推出了自己的一些产品，以提供这方面的支持，如SAP推出的BusinessInformationWarehouse，和Oracle公司的BusinessIntelligence方案，还有一些第三方软件公司针对SAP等系统推出了一些商业智能解决方案，但这些都是针对一些具体的ERP产品所推出的解决方案。
这个方向是未来企业信息技术应用发展的一个很重要的方向，有着广阔的研究前景和应用价值。
1.3研究方法和思路
1．研究方法
（1）查阅文献，了解数据仓库和数据挖掘的概念以及构建的基本方法，当前数据仓库和数据挖掘在ERP中应用的主流技术与现状，掌握对其应用的基本方法和思路。
（2）在分析数据仓库具体运用时所采用的数据模式、体系结构、实施条件和使用现状的基础上，结合数据挖掘对数据处理来分析，提出使用数据仓库和数据挖掘的基本思路。
（3）结合目前数据操作技术的现状，说明数据仓库和数据挖掘在ERP中使用的可行性。
2．研究思路
（1）在明确数据仓库和数据挖掘的概念的基础上，探讨数据仓库和数据挖掘在ERP中使用的基本思路和步骤。
（2）探讨数据仓库的关键问题，包括对操作源系统、数据聚集环节、数据展示环节和存取工具的分析与研究，分析数据挖掘的具体使用方法。
（3）对数据仓库的基本构建方法（数据仓库的体系结构、构建方法、系统设计）以及数据挖掘对数据的信息管理、查询优化、决策支持、过程控制和数据维护的关键问题的讨论和分析，证明数据仓库和数据挖掘在ERP中使用的可行性以及必然性。
ERP、数据仓库和数据挖掘技术都是近十年出现的新的信息技术。
国内外对ERP和数据仓库、数据挖掘的集成研究不是很多。
深入了解数据仓库、数据挖掘和ERP这三个概念，是研究数据仓库和数据挖掘如何在ERP中应用的关键。
第2章数据仓库和数据挖掘简介
2.1数据仓库概述
2.1.1数据仓库
数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。
著名数据仓库专家W.H.Inmon在其著作《BuildingtheDataWarehouse》一书中给出如的定义被广泛接受——数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策（DecisionMakingSupport）[2]。
这个概念反映了数据仓库的四大特点：
面向主题、集成的、相对稳定的、反映历史变化。
1．面向主题
操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。
主题是与传统数据库的面向应用相对应的，是一个抽象概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。
每一个主题对应一个宏观的分析领域。
数据仓库排除对于决策无用的数据，提供特定主题的简明视图。
2．集成的
数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业一致的全局信息。
3．相对稳定的
数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。
4．反映历史变化
数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测[3]。
2.1.2数据仓库的体系结构
数据仓库的体系结构如图2.1所示。
图2.1数据仓库体系结构图
1．数据源
数据源是数据仓库系统的基础，是整个系统的数据源泉。
通常包括企业内部信息和外部信息。
内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。
外部信息包括各类法律法规、市场信息和竞争对手的信息等等。
2．数据的存储与管理
数据的存储与管理是整个数据仓库系统的核心。
数据仓库的真正关键是数据的存储和管理。
数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。
要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。
针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。
数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。
3．OLAP（联机分析处理）服务器
OLAP服务器对需要分析的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。
其具体实现可以分为：
ROLAP（关系型联机分析处理）、MOLAP（多维联机分析处理）和HOLAP（混合型联机分析处理）。
ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。
4．前端工具
前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各种基于数据仓库或数据集市的应用开发工具。
其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库[4]。
2.1.3数据抽取、转换、加载
如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。
在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识[5]。
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。
是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
ETL主要是抽取、转换和加载的过程，其体系机构如图4.1所示。
图4.1ETL体系结构图
1．ETL的作用
ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
ETL是数据仓库中的非常重要的一环。
它是承前启后的必要的一步。
相对于关系数据库，数据仓库技术没有严格的数学理论基础，它更面向实际工程应用。
所以从工程应用的角度来考虑，按着物理数据模型的要求加载数据并对数据进行一些系列处理，处理过程与经验直接相关，同时这部分的工作直接关系数据仓库中数据的质量，从而影响到联机分析处理和数据挖掘的结果的质量。
2．ETL的工具
ETL工具有：
OWB（OracleWarehouseBuilder）、ODI（OracleDataIntegrator）、InformaticPowerCenter、AICloudETL、DataStage、RepositoryExplorer、Beeload、Kettle、DataSpider。
2.2数据挖掘概述
2.2.1数据挖掘技术
数据挖掘（DM，DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在的有用信息和知识的过程[6]。
还有很多类似的术语，如从数据库中发现知识（KDD）、数据分析、知识抽取、模式分析、数据考古、数据采集、信息收割、商业智能、数据融合以及决策支持等。
国内的学者也把DataMining译为数据采掘或数据开采。
2.2.2数据挖掘的过程
数据挖掘是指一个完整的过程，该过程从大量数据中挖掘先前未知的、有效地、可使用的信息，并使用这些信息作出决策或丰富知识。
数据挖掘的一般步骤如图2.2所示。
分析及
知识同化
分析
的结果
确定
业务对象
原始数据
图2.2数据挖掘的过程
数据挖掘过程中各步骤的大体内容如下：
1．确定业务对象
清晰地定义出业务问题，认清数据挖掘的目的是数据挖掘的重要一步。
挖掘的最后结构是不可预测的，但要探索的问题应是有预见的，为了数据挖掘而数据挖掘则带有盲目性，是不会成功的。
2．数据准备
（1）数据的选择
搜索所有与业务对象有关的内部和外部数据信息，并从中选择出适用于数据挖掘应用的数据。
（2）数据的预处理
研究数据的质量，为进一步的分析作准备。
并确定将要进行的挖掘操作的类型。
（3）数据的转换
将数据转换成一个分析模型.这个分析模型是针对挖掘算法建立的。
建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。
3．数据挖掘
对所得到的经过转换的数据进行挖掘.除了完善从选择合适的挖掘算法外，其余一切工作都能自动地完成。
4．结果分析
解释并评估结果。
其使用的分析方法一般应作数据挖掘操作而定，通常会用到可视化技术。
5．知识的同化
将分析所得到的知识集成到业务信息系统的组织结构中去[7]。
2.2.3数据挖掘算法介绍
数据挖掘已经开发出多种算法，以适应于解决不同类型数据的挖掘处理。
目前主要的数据挖掘算法有以下几种。
1．决策树（DecisionTree）
利用一系列规则划分，建立树状图，可用于分类和预测。
决策树算法可分为两种类型：
分类树和回归树。
分类树将每一个数据记录分配给合适的类别，而且还可以提供这种分类正确与否的置信度。
回归树预测一个变量的值。
2．分类（Classification）
分类在数据挖掘中是一项非常重要的任务，目前在商业上应用最多。
分类的目的是找到一个分类函数或分类模型（也常称作分类器），该模型能把数据库中的数据项映射到给定类别中的某一个。
分类和回归都可用于预测。
3．神经网络（NeuralNetwork）
模拟人的神经元功能，经过输入层、隐藏层、输出层等，对数据进行调整、计算，最后得到结果，用于分类和回归。
4．遗传算法（GeneticAlgorithm）
基于自然进化理论，模拟基因联合、突变、选择等过程的一种优化技术。
5．关联规则分析（AssociationAnalysis）
关联规则是描述数据之间存在关系的规则，形式为“A1A2…An≥B1B2…Bn”。
一般分为两个步骤：
求出大数据项集；用大数据项集产生关联规则。
6．聚类（Clustering）算法
聚类是把一组个体按照相似性归成若干类别。
它的目的是使得属于同一类别的个体之间的距离尽可能的小，而不同类别上的个体间的距离尽可能的大。
实际上统计学方法、机器学习方法、神经网络方法和面向数据库的方法都属于聚类方法。
新的数据挖掘算法还在不断涌现，每一种方法又衍生了一些子算法，例如除了上述得常用方法外，还有粗集方法、模糊集合方法、最邻近算法等[8]。
2.2.4数据挖掘工具
在数据挖掘技术日益发展的同时，许多数据挖掘的商业软件工具也逐渐问世。
数据挖掘工具主要有两类：
特定领域的数据挖掘工具和通用的数据挖掘工具。
特定领域的数据挖掘工具针对某个特定领域的问题提供解决方案。
这类工具针对性比较强，只能用于一种应用，而且往往采用特殊的算法，可以处理特殊的数据，发现的知识可靠度也比较高。
对任何领域，都可以开发特定的数据挖掘工具，例如IBM公司的AdvancedScout系统就是针对NBA的数据，帮助教练进行优化战术组合的工具。
通用的数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型，例如IBM公司的Almaden研究中心开发的QUEST系统、SGI公司开发的MineSet系统、加拿大SimonFraser大学开发的DBMiner系统。
目前很多大型数据库和联机分析系统（如MicrosoftAnalysis、IBMDB2OLAP等）也集成了数据挖掘技术，是人们利用数据挖掘更为方便和快捷。
第3章ERP简介
3.1ERP的起源和发展
20世纪60年代，早期的MRP是基于物料库存计划管理的生产管理系统。
MRP系统的目标是：
围绕所要生产的产品，应当在正确的时间、正确的地点、按照规定的数量得到真正需要的物料；通过按照各种物料真正需要的时间来确定订货与生产日期，以避免造成库存积压。
20世纪70年代，MRP经过发展形成了闭环的MRP生产计划与控制系统。
MRP基本原理是，将企业产品中的各种物料分为独立物料和相关物料，并按时间段确定不同时期的物料需求；基于产品结构的物料需求组织生产，根据产品完工日期和产品结构规定生产计划；从而解决库存物料订货与组织生产问题。
MRP以物料为中心的组织生产模式体现了为顾客服务、按需定产的宗旨，计划统一且可行，并且借助计算机系统实现了对生产的闭环控制。
20世纪70年代末和80年代初，物料需求计划MRP经过发展和扩充逐步形成了制造资源计划MRPⅡ的生产管理方式。
在MRPⅡ中，包括人工、物料、设备、能源、市场、资金、技术、空间、时间等制造资源都被考虑进来。
MRPⅡ的基本思想是：
基于企业经营目标制定生产计划，围绕物料转化组织制造资源，实现按需要按时进行生产。
MRPⅡ主要环节涉及：
经营规划、销售与运作计划、主生产计划、物料清单与物料需求计划、能力需求计划、车间作业管理、物料管理（库存管理与采购管理）、产品成本管理、财务管理等。
从一定意义上讲，MRPⅡ系统实现了物流、信息流与资金流在企业管理方面的集成。
由于MRPⅡ系统能为企业生产经营提供一个完整而详尽的计划，可使企业内各部门的活动协
升级会员 