BI系统与企业ERP的整合实现硕士学位论文.docx

1、BI系统与企业ERP的整合实现硕士学位论文 硕士学位论文中文论文题目：基于商务智能的费用查询系统设计 与实现 英文论文题目：The Design And Implementation Of Cost Query System Based On Business Intelligence 基于商务智能的费用查询系统设计与实现 目录摘要 iAbstract ii图目录 III表目录 IV第1章 绪论 11.1 课题背景 11.1.1 后ERP时代的到来 21.2 商务智能系统架构 21.3 BI系统与ERP系统整合现状分析 31.3.1 国外BI系统与ERP系统整合的发展趋势 31.3.2 国内B

2、I系统与ERP整合应用 41.3.3 实施BI项目的困难 51.3.4 项目背景 71.3.5 BI系统与ERP系统的整合实现的关键点 71.4 开源BI 81.4.1 开源的定义 81.4.2 开源软件的优势 91.4.3 开源BI-JasperSoft BI 101.5 课题研究目的和意义 111.5.1 课题主要研究内容 121.5.2 论文组织结构 121.6 本章小结 13第2章 BI系统与ERP整合的关键技术 152.1 BI系统与ERP的整合、应用技术 152.1.1 ETL(Extraction Transformation Loading)技术 152.1.2 数据仓库技术

3、152.1.3 OLAP技术 162.1.4 数据挖掘技术 162.1.5 BI的表示和发布技术 172.2 本章小结 17第3章 需求分析 183.1 BI系统与企业ERP整合的意义 183.1.1 成功实施商务智能的对策 183.1.2 目标系统实施的意义 203.2 目标系统需求分析 203.2.1 实施环境 203.2.2 数据源分析 203.2.3 处理流程分析 213.2.4 报表查看功能分析 223.2.5 其余扩展功能 223.3 本章小结 22第4章 系统框架设计 234.1 目标系统框架 234.1.1 数据源描述 234.1.2 目标数据库结构 244.1.3 目标系统展

4、示平台介绍 254.2 本章小结 26第5章 ETL处理过程 275.1 ETL的重要性 275.1.1 SQL Server Intergration Services 275.2 ETL流程设计 275.2.1 手工执行SSIS包设计 275.2.2 定时计划SSIS包设计 305.3 本章小结 31第6章 报表开发 326.1 报表开发综述 326.1.1 固定费用分月比较表开发 326.1.2 费用查询报表开发 336.1.3 费用明细查询报表开发 366.2 本章小结 37第7章 目标系统展示 387.1 系统概述 387.2 SSIS包运行状态 387.3 报表展示 407.4 报

5、表计划任务 41第8章 总结与展望 428.1 总结 428.1.1 ETL数据整合过程总结 428.1.2 报表开发过程总结 438.2 未来展望 43参考文献 45作者简历 47致谢 48图目录图 1.1 信息集成的发展 1图 1.2 商务智能系统架构 3图 4.1 信息集成的发展 23图 4.2目标系统数据库业务表结构 25图 5.1预算SSIS包设计流程 28图 5.2汇率SSIS包设计流程 28图 5.3 JDE系统历史数据库SSIS设计流程 29图 5.4手工维护静态历史表SSIS设计流程 29图 5.5 JDE系统数据库增量同步SSIS设计流程 30图 5.6 FACT表数据处理

6、SSIS设计流程 30图 5.7维度表数据处理SSIS设计流程 31图 6.1固定费用分月比较表设计界面 33图 6.2费用查询主表设计界面 35图 6.3费用查询子报表-按部门查询设计界面 35图 6.4费用查询子报表-按科目查询设计界面 35图 6.5费用查询子报表-按项目查询设计界面 35图 6.6费用明细报表设计界面 36图 7.1大陆环境用户表 38图 7.2 JasperServer系统事件日志 38图 7.3 SQL Server代理作业 39图 7.4 SSIS运行日志 39图 7.5 JasperServer报表部门选项 40图 7.6 JasperServer固定费用分月比

7、较表 41图 7.7 JasperServer固定费用分月比较表计划安排 41表目录表 4.1数据源描述表 24表 6.1固定费用分月比较表参数 33表 6.2费用查询表参数 34表 6.3费用明细表参数 36表 7.1 SSIS包列表 39第1章 绪论1.1 课题背景ERP在我国的应用开始于二十世纪八十年代，九十年代取得了一定的应用成果，自1997年至今，尤其在2002年后，ERP已经为国内企业广泛接受，其实施应用工作达到了高潮。早在2004年，我国企业在应用ERP/MRP系统方面投资己超过80亿元人民币，己有近千家企业购买了ERP软件。 经过最近几年的快速发展，国内ERP已形成了一定的规模

8、，并且，企业越来越重视信息集成。为了最大限度地发挥企业内外部资源，提高企业的经济效益和社会竞争能力，企业对信息化的需求也越来越大，甚至ERP已经满足不了这种需求。而这一时期，我们称之为“后ERP”时代。如图1.1图 1.1 信息集成的发展甲骨文(中国)软件系统有限公司应用产品咨询顾问部总监谢鹏认为：在过去的二十年，ERP所承载的事情已经很多，产、供、销、人、财、物一直集中在企业内部，ERP已完成了它即定的使命，ERP将从原来着眼企业内部开始去着眼企业间的管理协同向外延展。另外，从技术架构上看，原来ERP从CS到BS，到现在的SOA（Service-Oriented Architecture，S

9、OA）架构，这也是后ERP时代应用的技术架构的一个特点，包括目前的SaaS应用，后ERP应用的趋势越来越明显。有专家认为随着ERP定义的不断深入，无论是用户还是厂商对ERP的认识都和以前大不相同，大家都在积极探索下一个爆发点，从市场反应来看，ERP不会成为过去时，后ERP应用的到来将不再遥远。甲骨文公司大中华区使用软件业务总经理卢汝文近来在媒体上公开表示，在20年前，基于整合不同分散的企业应用软件到一个系统，ERP产品使企业实现了对业务流程的标准化，ERP已经实现了这个目标。现在要发生的关键性模式转变就是让企业发挥ERP的更多作用，这需要企业调整投资到差异化和用户生产效率上来，作为占IT资金主

10、要比重的ERP时代即将结束，我们到了全面拥抱“后ERP”的时代1。1.1.1 后ERP时代的到来ERP只是一个企业局系统，只能解决企业内部的管理问题，而企业运营的好坏与行业的环境则有很大的关系，因此一个行业整体的好坏也是保障企业成功的 一个重要基础。建立行业供应链管理能够很好地解决供需信息沟通交流的矛盾，使得整个供应链的收益最大化。BI更是信息化发展到比较成熟后，基于各方面的数据，进行分析、引导工作方向以及企业发展方向的最有力的支持系统2。所以商务智能是后ERP时代非常重要的方向。全面拥抱BI时代，并不意味着我们要抛弃ERP而独立存在，使BI价值最大化需要企业信息化建设的程度，才能实现信息化企

11、业的未来目标。企业既存的架构(ERP)是BI市场日趋成熟的基石，企业对BI的态度也已由原先的观望到现在的主动出击，这也让BI需求出现井喷成为不争的事实。1.2 商务智能系统架构商业智能系统是一种智能的决策支持系统，它为企业管理人员提供的通常是对于4W (who、what、when、where)即人物、事件、时间和地点的决策支持3。这些辅助支持的经验必须经过符理人员的长期积累，通过机器学习、分析和推理得出的。BI系统将从海量数据中抽取出的数据信息进行分析,并将分析所得的信息转化为能对管理者做出决策起支持作用的信息。商业智能体系的一般结构,如图1.2所示。第一层为数据层，即所有数据源，分为结构化数

12、据和非结构化数据。第二层为集成层，即ETL处理过程，将数据统一格式化，抽取、转化、装载，并建立目标数据库/数据仓库。第三层为分析层，即查询报表展示层，这一层是体现智能的关键，一般采用联机分析处理（OLAP）技术、数据挖掘技术进行数据分析处理。第四层为应用程序，将分析所得结果展示。图 1.2 商务智能系统架构1.3 BI系统与ERP系统整合现状分析1.3.1 国外BI系统与ERP系统整合的发展趋势ERP只是一个企业局系统，只能解决企业内部的管理问题。而企业每年在ERP系统上的资金投入是相当可观的一笔数目，然而你会发现，每年上百万甚至上千万的投入，最终看到的结果是将传统的纸质数据信息转存为电子数据

13、，换来的是每年几百个G的数据的增长。BI是信息化发展到比较成熟后，基于各方面的数据进行分析、引导工作方向以及企业发展方向的最有力的支持系统。所以BI是后ERP时代非常重要的方向。企业既存的架构(ERP)是BI市场日趋成熟的基石，企业对BI的态度也已由原先的观望到现在的主动出击，这也让BI需求出现井喷成为不争的事实。甲骨文(中国)软件系统有限公司应用产品咨询顾问部总监谢鹏认为：在过去的二十年，ERP所承载的事情已经很多，产、供、销、人、财、物等，一直集中在企业内部，ERP已完成了它即定的使命，ERP将从原来着眼企业内部开始去着眼企业间的管理协同向外延展4。2010年，SAP收购了Sybase，而

14、后者的五大产品线：1.数据仓库及商务智能2.企业核心系统解决方案3.电子商务4.金融集成5.移动电子商务其中25项是SAP的强项，显而易见，SAP此次收购志在数据仓库和商务智能。世界ERP行业巨头都如此，可见BI整合ERP等商务系统势在必行。另外，早在2008年底，Red Hat对开源BI厂商JasperSoft的一大笔投入，使得开源BI再次引起人们的关注。对于JasperSoft这样的开源BI公司来说，最近的经济危机给他们提供了前所未有的机遇。开源的价值观使他们比传统的商业软件能够更好地适应当前的形势，其相对较低的价格（有些开源BI软件并不完全免费）、灵活性高，在全球经济不景气的条件下更容易

15、释放出活力。因此，用户对于开源BI的兴趣将会急剧上升。1.3.2 国内BI系统与ERP整合应用在国内，商务智能的概念引入较晚。直到2004年，中国商务智能应用市场才出现了超过40%以上的爆炸式年增长率。但此时，国内大多数企业已经实施ERP，并且商务智能系统价格门槛较高，许多企业并不敢下决心购买。但是，国内企业越来越注重自身的发展，并且已经意识到企业信息化的重要性和迫切性。“有需求，就会有市场”，在这样的一个大环境下，报表系统脱颖而出。报表系统将企业已有的数据进行分析、加工、改造，以表格、分析图等直观形式展现，既满足了企业信息化的需求，并且加工适中，实施快速、方便5。因此，越来越多的国内外的报表

16、厂商抓住了此次契机，想在商务智能领域分一杯羹。此时，国内商务智能系统的重点也慢慢偏向报表系统而国内的BI系统与ERP系统整合实施主要注重在以下几方面：第一， 固定报表：目前中国市场上商务智能应用主要停留在这个层面的利用。它的主要实现步骤是：1）ETL：将行业的业务应用系统的数据及其它可用数据源中的数据进行抽取、清洗和转换后，将清洁数据装入到数据平台，并从数据平台装载到各数据集市中。2）在数据集市中建立星形结构或雪花结构的关系数据库模型。3）通过前端工具以表格、分析图等直观形式展现。第二， OLAP分析：生成OLAP模型，建立各个主题分析部分所需的综合、统计分析运算及相应的多维结构，然后在多维模

17、型中分析，可完成大到多级业务综合分析，小到针对某一个领域的指标多角度分析。第三， 数据挖掘：是一个萃取（extracting）和展现（presenting）新知识的流程。通过分析具体数据，发现确定有效的、新颖的、有潜在使用价值的、以往不为人知的、最终可理解的信息，为企业良好运营和决策部门做出重要决策提供帮助。“啤酒和尿布”案例就是通过数据挖掘技术找出人与物之间规律的典型。第四， 分析应用：与业务信息系统结合，成为流程组件，例如企业绩效管理。1.3.3 实施BI项目的困难在大环境的驱使下，越来越多的企业提出了整合ERP，实现商务智能的需求。但是当他们决定实施商务智能时，却发现问题重重。由于ERP

18、项目的大力推广和普及，现有的ERP软件，均以模块化方式进行实施推广。并且各个ERP软件之间也各有特色，所以企业在实施过程中往往会选择多种ERP软件来分别适应企业业务的特殊需求。企业在不断扩大业务需求的同时，也在不断的增加ERP软件的数量，这也导致了企业内部出现多个数据源。而当企业需要将BI于现有的ERP软件进行整合时，遇到的第一大难点就是，如何将现有数据源规整。自九十年代以来随着数据仓库技术的成熟，数据仓库解决了决策分析中的多数据源问题、无法利用历史数据问题、多维分析效率低下问题等等。除此之外，有两方面的迫切需求使该技术能够迅速得以普及应用：一是彻底解决了企业决策支持系统（DSS）面临的困境。

19、DSS和MIS是两类相互关联但性质迥然不同的系统，人们对DSS的期望在于能够利用DSS提供的方法库、模型库、知识库等知识，在数据库的基础上发掘普通MIS不能实现的决策支持功能。但是，各库与数据库的有效接口是每一个DSS都感到头痛的问题，其实质是缺少一个自由获得决策所需数据的平台。这个问题使DSS陷入了人们对其期望过高而实际难以实现的局面。数据仓库提供了集成有效数据的平台，通过DSS前端展示工具可容易完成DSS的建设，被专家认为数据仓库是解决DSS问题的最好的技术。二是解决了数据积累困境问题（data accumulating dilemma）。大多企事业单位已经建立了信息系统，既有一般的MIS

20、，也包括大型的应用系统如ER、CRM系统。在多年的系统运行中积累了丰富的数据。但由于系统采用的事务处理机制的局限性，不能够从现有的数据中发现宝贵的信息，以及潜在的知识。数据仓库技术为OLAP技术和数据挖掘技术创造了应用的环境，有助于从业务数据中发现深层次的信息和知识6。计算机网络的飞速发展和企业走向电子商务的趋势赋于了ERP许多新的发展趋势。在企业内部，ERP与PDM、CIM、POS实现整合，而从企业和客户的联盟角度看，作为后台应用的ERP与前台的CRM、EC整合，以及与供应链的集成。现阶段，ERP系统整个停留在功能全面的MIS系统层面，尤其没能够达到真正的ERP所期望的辅助决策分析的功能。其

21、根据原因在于几乎所有的ERP系统在决策分析上是采用事务型处理来代替分析性处理，存在实质上的差别。ERP积累的业务数据相对来说是规整的，数据仓库在这些数据之上，结合OLAP技术及数据挖掘技术，将非直观的、隐含的信息和知识以直观的形式描述，辅助领导层进行决策分析。ERP项目实施的难点之一是难以引发企业老总的兴趣，增强ERP系统的分析决策功能无疑会消除这一障碍，从而会成为ERP厂商向企业推销产品的一个强有力的突破口。将DW和OLAP技术应用在现有的ERP系统，实现了ERP从MRPII在事务处理控制方面的本质飞跃7。MRPII是通过计划的及时滚动来控制整个生产过程，一般只能实现事中控制。而结合了DW和

22、OLAP技术的ERP系统，则强调企业的事前控制能力，它可以将设计、制造、销售等通过集成来并行地进行各种相关作业，为企业提供对质量、适应变化、客户满意、绩效等关键问题的实时分析能力。随着互联网应用的不断深化，80、90后成为WEB2.0时代的消费主力军，企业也顺应市场上的客户行为变化做出相应的调整，由于ERP是面向操作型 的，从计划到执行到反馈到战略调整，ERP缺少决策分析及在历史数据上的洞察能力，特别是针对互联网下的客户进行实时性的决策支持(Real Time BI)。另外，新生代的消费主力，将会打破了传统渠道的沟通模式，如何快速捕捉到这些潜在用户的需求进行实时分析，传统数据仓库汇总式的数据分

23、析将会被 颠覆，取而代之的是事件触发性数据分析，这样可以使企业更快速的获取到最新的需求信息。ERP与BI的融合势在必行。而在一切技术问题得以解决后，面对众多BI软件、平台，让企业家望而却步，如何选型又成为实施BI的一道门槛。1.3.4 项目背景本文以实际实施BI项目为依托，阐述了需求调研到确定产品选型，对目标系统进行分析评估，确定实施方案。并详细介绍了不同数据源的集成以及多维报表设计，并且引入开源报表平台JasperServer。背景：以现有的ERP系统JDE为主，抽取当中财务数据，结合预算系统导出数据，以及历史数据，建立BI-费用查询系统。ERP数据库为Oracle11gR2，预算系统导出的

24、数据为EXCEL文件，历史数据库仍旧是Oracle11gR2，汇率数据则是txt文本文档。业务需求：在线费用查询系统需要查看每个财务年度内实际发生额、预算值、实际发生值与预算值的比率、去年同期值及去年同期实际发生值与预算值比率，并且需要各项汇总值。分别按部门/费用科目/费用项目查看实际发生值、预算值、实际发生值与预算值的比率、去年实际发生值以及去年实际值和预算比。并且在按部门与费用科目查看时可以选择显示层级。查看项目明细值，显示最明细的费用科目、项目编号、凭证号、金额、内容、处理日期等。系统需求：在当前企业组织架构、科目架构不变的情况下，设立数据安全控制。1.3.5 BI系统与ERP系统的整合

25、实现的关键点BI系统与ERP系统的整合实现，关键在于两点：数据源整合：将不同的数据源整合，并且在可接受的范围内尽量缩短数据同步的频率，保持整合后的数据是最新的。多数据源是现在企业的通病。由于ERP的模块化实施已成为企业与实施方最乐于接受，也是最有效的方式，这也就出现了一个企业内部会有多家实施方在实施ERP。尤其是在国内，大多数企业业务需求都比较特殊，单一ERP根本无法实现各种需求。所以，多家实施方，多种ERP软件所最终带来的数据源也不尽相同。展示平台：数据源整合后，如何去展示也尤为重要。实施BI项目，最终目标是及时的拿到准确、科学的数据，并合理的展现出来，给企业决策者提供依据。对项目需求进行分

26、析以及周密的考虑、研究后，结合项目背景以及资金投入的考虑，对该项目提出了最终方案：通过SQL Server Intelligence Services(SSIS)将数据源规整，并写入SQL Server，通过执行SSIS工作计划的方式将每天新产生的数据同步到规整后的SQL Server数据库。引进开源BI系统展示平台JasperServer，通过其报表设计器Jasper iReport Designer进行报表开发，并最终发布到JasperServer展示。开发平台：SQL Server Business Intelligence Development Studio JasperSoft i

27、Report Designer展示平台：JasperServer1.4 开源BI1.4.1 开源的定义开源，（Open Source），其定义如下：一、自由再发行许可证不能限制任何团体销售或赠送软件，软件可以是几个不同来源的程序集成后的软件发行版中的其中一个原件。许可证不能要求对这样的销售收取许可证费或其他费用。二、程序源代码程序必须包含源代码。必须允许发行版在包含编译形式的同时也包含程序源代码。当产品以某种形式发行时没有包含源代码，必须非常醒目的告知用户，如何通过Internet免费的下载源代码。源代码必须是以当程序员修改程序时优先选用的形式提供。故意地扰乱源代码是不允许的。以预处理程序或翻

28、译器这样的中间 形式作为源代码也是不允许的。三、派生程序许可证必须允许更改或派生程序。必须允许这些程序按与初始软件相同的许可证发行。四、作者源代码的完整性只有当许可证允许在程序开发阶段，为了调整程序的目的将“修补文件”的发行版与源代码一起发行时，许可证才能限制源代码以更改后的形式发行。许可证必须明确地允许按更改后的源代码所建立的程序发行。许可证可以要求派生的程序使用与初始软件不同的名称或版本号。五、无个人或团体歧视许可证不能都有针对任何个人或团体制在专门奋斗领域内的任何人使用该程序。例如不能限制程序应用于商业领域，或者应用于遗传研究。六、对程式在任何领域内的利用不得有差别待遇该条款的主要目的是

29、禁止许可证中含有使开放源代码软件无法在商业上使用的规定。我们需要商业用户参与我们的工作，而不让他们感到被排除在外。七、许可证发行伴随程序所具有权力必须适用于所有的程序分销商，而不需要这些团体之间再附加许可证签字盖章。八、许可证不能特制某个产品如果程序是某个特殊的软件发行版中的一部分，伴随该程序所具有的权力不能只以来于这一发行版。如果程序是从那一发行版中摘录出来的，使用或发行时用的都是那个程序的许可证，分销程序的所有团体都应拥有与初始软件版所允许的所有权力。九、许可证不能排斥其他软件许可证不能限制随该许可证软件一起发行的其他软件。例如，许可证不能要求所有与之一起发行的其他软件都是开源软件。十、许

30、可证实例GNU GPL、BSD、X Consortiun和Artistic许可证都是我们认为符合开源软件定义的许可证。MPL也是一样。1.4.2 开源软件的优势一、由于全球经济的进一步恶化，开源软件的普及率将会增加。随着全球的金融风暴，经济危机迫使企业对IT策略做出结构性调整以降低成本，因而软件市场也会随之出现重大变化。与私有软件相比，开源软件由于无需前期许可费用，显著降低了新的IT项目的总费用。功能越来越强大的开源软件也给软件行业带来了竞争，这使用户在同主导市场的私有软件厂商进行谈判的时候处于一个更加有利和主动的地位。二、从完整的基础设施的软件堆栈到应用解决方案，开源技术全面开花。随着越来越

31、多的公司寻找能够少花钱多办事的创新解决方案，他们将会像10年前Linux的使用先驱者那样开始尝试使用Linux操作系统，并且最近几年会在整个基础设施堆栈中一直使用开源技术。开源技术将要普及的重大基础设施领域包括应用服务器、信息和数据库，尤其是基于Java应用程序的堆栈，因为它们易于迁移到开源解决方案上。三、SaaS和云计算解决方案高歌猛进对于开源技术的发展将起到拉动作用软件即服务(SaaS)和开源技术都有同样诱人的经济模式：零前期成本和运营成本，因而能够显著降低IT项目的整体成本，这在经济危机的环境在对于预算紧缺的企业用户来说无疑有着巨大的吸引力。企业用户将会继续向这种基于订阅的服务模式迁移，从而能更好地处理自己的IT成本。随着越来越多的企业在内部IT系统中集成SaaS和开源技术，我们将会看到更多的企业用户地址过去传统的专利授权软件模式。SaaS、云计算和开源产品的不断融合也将使企业用户即使在经济衰退的条件下实施IT项目，所需的成本也会大大减少8。四、开源供应商之间将建立强大的市场合作伙伴关系。开源供应商将继续联手开发完整的开源堆栈，并提供认证和预配置的解决方案，这大大减少员工费用。这种伙伴关系为开源供应商提供了一个与