数据仓库实施计划方案.docx

1、数据仓库实施计划方案XXX公司BI系统方案建议书4:36 AM第一章 概述随着市场竞争的日益剧烈，各家公司纷纷把提高决策的科学性、合理性提高到一个新的认识高度。在此背景下，利用信息技术的最新手段，利用业务数据进展面向决策的分析这一方法纷纷被国外许多公司所采用。通过有目的、有选择地采集业务数据，并将其转换为对决策有用的信息，用于智能化的分析、预测和模拟等目的，这样的应用被称为商业智能应用。从国外各行各业的开展经历看，实施商业智能是提高企业进展高效的业务分析和科学决策的有效手段。作为一个具有八十多年历史，以开发信息技术和商业应用而闻名的“蓝色巨人，XXX在这一领域进展了多年的研究，开展出完备的商业

2、智能技术，为商业数据自动转化为商业知识提供了现实的方案。商业智能的本质，是提取收集到的数据，进展智能化的分析，提醒企业运作和市场情况，帮助管理层做出正确明智的经营决定。一般现代化的业务操作，通常都会产生大量的数据，如话单、账单以及客户资料等，其中一局部是决策关键数据，但并不是所有的数据都对决策有决定意义。商业智能包括收集、清理、管理和分析这些数据，将数据转化为有用的信息，然后及时分发到企业各处，用于改善业务决策。企业可以利用它的信息和结论进展更加灵活的阶段性的决策：如采用什么产品、针对哪类客户、如何选择和有效地推出效劳等等，也可以实现高效的财务分析、销售分析、风险管理、分销和后勤管理等等。这一

3、切都是为了降低本钱、提高利润率和扩大市场分额。第二章 商业智能综述二.1 商业智能根本构造当今，许多企业认识到只有靠充分利用，开掘其现有数据，才能实现更大的商业效益。日常的商务应用生成了大量的数据，这些数据假设用于决策支持那么会带来显著的附加值。假设再加上市场分析报告、独立的市场调查、质量评测结果和参谋评估等外来数据时，上述处理过程产生的效益可进一步增强。而数据仓库正是汇总这些商用信息后，进而支持数据开掘、多维数据分析等当今尖端技术和传统的查询及表报功能，这些对于在当今剧烈的商业竞争中保持领先是至关重要的。那么怎样把这样大量的数据转换成可靠的、商用的信息以便于决策支持呢.建立数据仓库正被广泛地

4、公认为最好的转换手段。图 1数据仓库建立过程根据IDC的调查，使用数据仓库的投资回报率平均超过400，尤其是从小型数据仓库开场实施的平均超过500。二.1.1 XXX数据仓库架构XXX早在90年代初期，就投入大量优秀技术人员和资金开场了数据仓库的研究，并启动了Star-Burst大型科研工程。该工程主要就是为了攻克数据仓库领域的一些技术难题，例如优化星型连接(Star-join)，实现多维分析。因此，XXX现在发布的数据仓库产品都是经过反复推敲和久经考验的。基于对数据仓库构造的深刻理解和多年积累的经历，XXX设计了自己的数据仓库构造，见下列图：数据仓库的组成。作为一个开发式构造，它方便了用户的

5、产品选择、实施和今后的扩展。图 2XXX数据仓库架构上图为XXX三层次数据仓库构造：从第一层OLTP业务系统到第二层数据仓库为建仓过程，从第二层到第三层数据集市为按主题分类建立应用的过程。第一步包括数据抽取、数据转换、数据分布等步骤，按照统一的数据格式标准进展统一的数据转换，建立可被企业各部门充分共享的数据仓库。其中，数据抽取阶段完成对各种数据源的访问，数据转换阶段完成对数据的清洗、汇总和整合等，数据分布阶段完成对结果数据存储的分配。这三个阶段通常严密结合在一起，由一个产品或几个产品配合实现。例如，DB2 Warehouse Manager既可独立完成，又可结合DataJoiner、DataP

6、ropagator实现对异构数据和数据复制的处理。DB2 Warehouse Manager可进展数据映射的定义，以定期地抽取、转换和分布数据；DataJoiner可访问的各种关系型数据库包括DB2数据库家族、ORACLE、SYBASE、INFORMIX和MS SQL Server等；DataPropagator主要用于数据复制，采用数据复制的方式可对业务数据仓库进展增量数据更新，防止对作业系统事物处理性能的影响和大量重复抽取数据。数据的存储由DB2家族产品来完成，以保证数据仓库始终高性能地运转，提供完整、准确的数据，便于将来的升级和扩展。第二步，在按主题分类建立应用时，假设既想拥有多维数据库

7、的独特功能，又要把数据存放在关系型数据库中以便管理，那么DB2 OLAP Server是用户的最正确选择。DB2 Warehouse Manager中提供的Information Catalog通过描述性数据帮助用户查找和理解数据仓库中的数据，Intelligent Miner用于数据挖掘以便帮助决策者预测或发现隐藏的关系。最后，我们以报表或图形的方式将结果数据呈现给用户，这通常由第三方产品来实现，它们包括：Hyperion Analyzer, Cognos，Brio，Business Objects等。商业智能的实现方式多种多样，其规模和特点由用户的需求来决定。但万变不离其宗，其根本体系构造

8、往往包括三个局部。二.1.2 数据仓库：用于抽取、整合、分布、存储有用的信息一个企业的信息往往分布在不同的部门和分支机构，管理者要综观全局、运筹帷幄，必须能迅速地找到能反映真实情况的数据，这些数据也许是当前的现实数据，也可能是过去的历史数据。因此，有必要把各个区域的数据集合起来，去其糟粕、取其精华，将真实的、对决策有用的数据保存下来，随时准备管理人员使用。因此，数据仓库不仅仅是个数据的储存仓库，更重要的是它提供了丰富的工具来清洗、转换和从各地提取数据，使得放在仓库里的数据有条有理，易于使用。二.1.3 多维分析：全方位了解现状管理人员往往希望从不同的角度来审视业务数值，比方从时间、地域、产品来

9、看同一类业务的总额。每一个分析的角度可以叫作一个维，因此，我们把多角度分析方式称为多维分析。以前，每一个分析的角度需要制作一报表。由此产生了在线多维分析工具，它的主要功能，是根据用户常用的多种分析角度，事先计算好一些辅助构造，以便在查询时能尽快抽取到所要的记录，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在您面前。二.1.4 前台分析工具提供简单易用的图形化界面给管理人员，由他们自由选择要分析的数据、定义分析角度、显示分析结果。往往与多维分析工具配合，作为多维分析效劳器的前台界面。以上三局部是商业智能的根底。它完成的是对用户数据的整理和观察，可以说，它的工

10、作是总结过去。在此根底构造之上，商业智能可以发挥更进一步的作用，利用数据挖掘技术，发现问题、找出规律，到达真正的智能效果：预测将来。二.1.5 数据挖掘正如在矿井中可以挖掘出珍贵的矿石，在数据仓库的数据里也常常可以挖掘出业务人员意想不到的信息。它比多维分析更进一步。例如，如果管理人员要求比拟各个区域某类业务在过去一年的情况，可以从多维分析中找答案。但是，如果管理人员要问为何一种业务在某地区的情况突然变得特别好或是不好，或者问该业务在另一地区将会怎么样，这时数据挖掘工具可以作出答复。简单的说，数据挖掘使用统计、分析等数学方法、以及电脑学习和神经网络等人工智能方式，从大量的数据中，找寻数据与数据之

11、间的关系。这种关系，一般显示数据组之间相似或相反的行为或变化。一个细心的分析者，往往能从这些开掘出来的关系得到启示。而这种启示又很可能使得到它的业者，获得其他竞争者所没有的先机。数据挖掘要求有数据仓库作根底，并要求数据仓库里已经存有丰富的数据。因此，在实施商业智能方案时，一般分两步走：第一步实现数据仓库和多维分析，构造商业智能的根底，实现分析应用；第二步实现数据挖掘，发挥商业智能的特色。二.2 商业智能方案实施原那么实施商业智能方案工程工程，与实施传统的应用系统有很大的不同。其中最重要的是，商业智能的实施是不断的交流过程，只有双方严密的合作才能取得实施的成功。我们建议，工程实施上采取以下原那么

12、：二.2.1 分阶段、循序渐进的原那么任何一个工程的实施都是一个发现问题，解决问题，积累经历，又遇到新问题，再解决，再积累的循序渐进的过程。我们建议XXX公司 应根据现有的资源以及今后开展的方向，分阶段、循序渐进的实施商业智能方案。二.2.2 实用原那么在第一步实现数据仓库时，尽量针对当前电信最关心的主题，并将该主题进展细致分析，尽可能用简单、统一、易于使用的方式来实现，防止追求片面的复杂和完美。二.2.3 知识原那么普遍说来，由于商业智能技术相对而言比拟新，企业的信息技术人员对数据仓库、多维分析、数据挖掘等系统涉及的知识往往存在着缺乏或偏差，实际应用经历也很欠缺。因此，我们建议在实施过程中结

13、合专家培训和效劳，在商业智能系统的设计、开发、实施当中，逐步培养出企业自己的系统管理、维护和开发人员。当系统投入使用时，这些人员可以对系统进展维护和管理，并负责对最终用户进展培训。第三章 XXX公司BI系统方案三.1 XXX公司BI系统的需求分析在XXX公司 的 BI系统中，可以实现如下一系列经营过程中的分析和决策支持：除了以上列出的一系列分析和预测外，利用 BI系统，还应该能够根据XXX公司 的需求很方便地扩展其功能。三.2 XXX的解决方案基于XXX公司BI系统的需求，以及XXX公司在数据仓库领域的经历，我们提出以下解决方案：采用一个企业级的数据仓库，实现各分行业务数据的自动采集、清洗、汇

14、总，并且通过多维分析工具，让用户能够有效的将数据转化为灵活的报表和决策支持信息，最终满足用户的信息需求。该方案的实现方式如下：首先，在数据主要来源于两个方面：综合业务系统和新录入的数据。综合业务系统中的数据通过数据仓库工具进展自动采集、清洗、整理，而需要新录入的数据那么通过浏览器方式录入。在构造数据仓库的过程中，我们采取以点带面的做法，采用小步长、逐步地建立数据仓库的策略。以XXX公司 报表系统为开端，分阶段地实现商业智能应用。小的工程可以立即显示数据仓库的价值，同时也提供了更快的投资回报。而且，先在只有少量的数据和用户的小系统上进展学习和实践，对技术人员来说会学得更快。我们希望首先在需求较为

15、迫切的领域，选择一些比拟有意义的主题；基于这些主题，我们将建立一个数据集市，待用户能够对数据仓库的概念和一些技术有了比拟深刻的认识之后，再综观全局，构建起企业级的数据仓库。数据录入可以采用数据文件快速装入的方式，也可以采用专门应用的方式。如果采用后者，我们可以考虑使用XXX的WebSphere和VisualAge for Java进展开发，它们产品是XXX电子商务应用的重要部件。利用这两个工具，我们可以方便地建立Web页面，生成Java程序，包括Applet、Servlet和Application等等。并且系统的维护工作也比拟方便，当需要修改应用时，只需要修改效劳器上的程序就可以了，不需要在客

16、户端做工作。另外，这种构造对客户机的配置要求也不太高。在建造数据仓库的过程中，我们推荐使用XXX的Warehouse Manager，该产品是XXX用来建立数据仓库的工具，利用该工具，我们可以方便、快捷地构造起数据仓库来，因为我们应该认识到数据仓库必须建立在一个开放的、可更改的构造上，以便能够处理数据和需求的不断膨胀。Warehouse Manager正是这样的一个工具。提供一个开放的，从数据源到数据仓库的一致的解决方案。在XXX公司 的 BI系统中，通过Warehouse Manager管理器可以方便地建立数据加工的流程(process)和步骤(step)，这些步骤反映了XXX公司 具体业务

17、数据的流程、规那么。在各步骤中可以定义代理(agent)来自动运行数据传递、清洗和汇总功能，这些步骤可以按时间、事件运行，或由其它步骤触发。代理可以运行在Warehouse Manager效劳器上，也可以运行在远程的业务主机上，并且可以有多个代理运行以提高效率。可以以非常直观的图形化方式管理数据仓库，当报表系统的业务需求发生变化时，可以非常方便地修改步骤，满足变化多端的商业竞争环境。Warehouse Manager是专门为商业应用设计的，它可以自动在网络上进展数据的传送，不需要人为干预，并且利用它的日志功能可以对系统运行很好地监控。在DB2 Warehouse Manager(DWM)中含有

18、Warehouse Agent部件，它可以用来在位于数据仓库的目标数据库DB2 UDB中执行直接执行数据仓库的数据加工。另外，在数据仓库效劳器于业务系统之间的文件数据FTP传输以及从表中抽取少量数据也可以通过Agent直接执行。建立数据仓库之后，选择一些有意义的主题，抽取相关的数据到DB2 OLAP Server中，利用DB2 OLAP Server的强大分析功能，给最终用户提供在线多维分析的功能，能够让最终用户充分挖掘出数据中包含的信息。DWM在执行完数据的提取任务后，自动触发预先定义好的OLAP操作，将数据经过汇总计算后加载至DB2 OLAP Server中。最终用户工具我们选用DB2 O

19、LAP Analyzer，这个产品是一个数据仓库的前端分析工具，利用这个工具用户可以很容易地访问OLAP Server中经过处理的数据，制作各种形式、风格的报表，报表容可以包括数字、图像、曲线等，使得管理层可以直接、直观地查看企业的经营情况。三.3 建议架构图 3XXX公司BI系统软硬件配置示意图在此方案中，采用RS/6000效劳器作为运行数据仓库目标数据库的效劳器，其上安装DB2 UDB EE、DB2 Warehouse Manager，用来从生产系统抽取对决策有用的业务数据，经过加工后存放在数据仓库中。在海量数据仓库根底上针对每一类具体业务问题建立数据集市。由于XXX公司BI系统中的业务问

20、题大多是多维分析问题，故利用另外一台RS/6000效劳器运行XXX公司专门的多维分析效劳器产品DB2 OLAP Server，以极大地加快多维分析的速度。在数据仓库效劳器上同时安装DB2 Intelligent Miner for Data，从数据仓库效劳器中抽取数据进展智能挖掘；此外，在数据仓库上安装DB2 Intelligent Miner Scoring，用来将数据挖掘的结果作用到数据仓库中，实现打分功能。所有客户端以浏览器方式，通过查询和多维分析的WEB应用效劳器访问数据仓库和多维分析效劳器中的数据。整个系统需要在一台运行Windows 2000的PC效劳器上安装DB2 OLAP An

21、alyzer Analysis Server以及HTTP Server，作为为前端浏览器客户提供统一入口的应用效劳器。为提高系统响应时间及提供负载均衡能力，可以配合WebSphere Application Server共同使用。另外，需要配置一台PC效劳器运行Windows 2000作为整个系统的控制效劳器，安装DB2 Warehouse Control Server、DB2 Control Center、OLAP Server控制台OLAP Server Application Manager以及挖掘效劳器前端DB2 Intelligent Miner for Data Client。此方

22、案的优点：基于公司的业务需求。各业务部门可以根据自己的需要定义数据集市的容，并进展各种指标的多维分析，在实际应用中不断扩展系统，为决策者提供必要的信息。高性能、高效率。数据都在本地运行，数据量相对较小，因此对效劳器计算能力的要求相对较低。同时由于在局域网上运行，对网络带宽根本不会有压力，并且用户响应时间可以得到保障。最大限度地减少网络负荷。各客户端通过浏览器方式从中心数据仓库中获取数据，只有需要的数据被传输。满足XXX公司 未来开展的需要。此方案具有很好的可扩展性，随着XXX公司 业务量的增加，业务数据的增多，各种业务系统的建立，此方案可以容易的适应这些变化，满足业务的需求。一次性投资，长期受

23、益。此方案不仅可以满足XXX公司 目前 BI系统的需要，更为重要的是为XXX公司 商业智能应用打下了一个坚实的根底。XXX公司 可以在此根底上开发各种商业智能应用，辅助决策者制定业务方案和措施，在剧烈的竞争中保持良好的势头。第四章 所选XXX产品简介在这次的商业智能解决方案中，采用的产品包括数据库DB2 UDB、数据仓库(DB2 Warehouse Manager)、多维数据库(OLAP Server)、前台分析工具(DB2 OLAP Analyzer)及智能数据挖掘效劳器(DB2 Intelligent Miner for Data)。以下是各个产品的描述说明。四.1 DB2 UDB四.1.

24、1 概述：DB2家族(Family)与DB2通用数据库(UDB) V7.2XXX DB2家族的各种关系数据库管理系统适用于各种硬件平台，其中包括基于Intel的微机、XXX的或非XXX的各种RISC效劳器和工作站、大型并行处理机、AS/400中型计算机系统以及运行VM、VSE和MVS、OS/390操作系统的主机系统。各种平台上的DB2有共同的应用程序接口，因此运行在一种平台上的程序可以很容易地移植到其他的平台。DB2家族产品能够满足不同用户的需求，它包含了从单用户的微机系统到支持80万用户的主机系统。DB2家族除了包含在各种平台上运行的数据库管理系统核之外，产品包中还包括了数据复制、数据库系统

25、管理、环球网(Internet)网关支持、在线分析处理、多媒体支持和各种并行处理能力，免费提供DB2 UDB V7.2在PC和UNIX平台上的客户机端产品(DB2 CAE)，并为所有平台上的异构数据库访问提供“中介件(Middleware)解决方案。可运行在基于Intel的微机及各种RISC效劳器(UNIX平台)上的DB2 UDB V7.2包括：DB2 for AIX，DB2 for HP-UX，DB2 for SUN Solaris，DB2 for OS/2，DB2 for Windows NT，DB2 for Win95，DB2 for Win98，DB2 for Linux，DB2 fo

26、r SCO，DB2 for Sinix，DB2 for NUMA-Q等等。这些产品是全功能、具有工业强度的关系数据库管理系统，分别用于效劳器和工作站平台。可以把它们配置到单个的系统上，或者配置到支持客户机工作站的LAN效劳器上，还可以把它们配置为环球网(Internet)上的数据库效劳器。如果使用效劳器配置，那就允许DOS、Windows、OS/2、Win95、Win98、Macintosh或UNIX客户机去访问DB2效劳器，可以使用TCP/IP、IPX/SPX、NetBIOS或APPC等网络协议；如果作为环球网上的数据库效劳器，那么可由一台浏览器(Web Browser)作为客户机访问。DB

27、2通用数据库(UDB) V7.2产品建立在一个共同代码的根底之上，依据多进程/多线索构造进展设计，其数据库引擎的核心技术来自Starburst研究工程以及DB2 for OS/390等主机产品，而且它们在数据和应用的可移植性两个方面与DB2家族中的其他成员完全兼容。因而任何受过一种平台上的DB2培训的人员能够很容易地使用其他平台的DB2产品。在保持这种外在的兼容性以及具备DB2家族成员所必需具备的可靠性和可管理性的同时，实际上它们每个产品还针对各自的平台环境作了调整和优化以到达业界领先的性能/价格比。DB2产品家族提供了完整的中文支持，对中文的支持贯穿于从微机到主机的所有平台，这是任何其他数据

28、库厂家做不到的。图 4 DB2家族产品四.1.2 DB2通用数据库(UDB) V7.2的特色DB2通用数据库(UDB) V7.2无论在网络计算方面还是在线分析、多媒体处理，都能给你全面、满意的支持，而且集成了丰富的数据库管理工具，把原来复杂的管理工作变得非常简单。DB2 V7.2致力于商业智能和数据仓库方面的改良，包括自动触发器，多分区和多表的自动总计表格，优化星式构造的连接方法，使查询和整个系统的反响速度大大提高。同时也增加了在装载和在线重组时对索引的维护。在DB2中还新增了统计、线性回归等功能，直接支持进一步深入分析，以便利用DB2的查询处理实用程序，而以往只能在应用程序级上做到这一点。另

29、外，在支持16和32KB Pages、多个缓冲池(multiple buffer pool)的优化、更快的完整性约束处理、处理更多查询的星式连接等方面，做了一系列的改良。应一些XXX合作伙伴软件提供商的要求，DB2 UDB V7.2包含以下扩大性能：表/视图/别名的命名长度限制由原来的18个字符扩大为128个字符。列命名长度限制由原来的18个字符扩大为30个字符。SQL语句的最大长度由原来的32KB增大到64KB。页大小从16KB增大到32KB。最大变量字符为32KB，取决于页大小。最大表/表空间的大小从128GB扩大到512GB，取决于页大小。索引关键字长度从255字符扩大到1,024个字符

30、。嵌入式SQL编程支持宏。DB2 V7.2对统一代码(Unicode)的支持：16-Bit固定长度的Unicode包含所有通用文本字符，容许定长字符序列(以便分析)和设定含义的字符。对UCS-2和UTF-8格式的支持，允许用户用各种主要语言创立数据库和存取数据。DB2支持wchar_t数据类型，使得用户在单字节环境(如英语环境)下开发的应用在其他环境(日语)下也可照常运行。DB2 UDB V7.2增强面向对象的SQL和SQL扩展，集成Windows平台，打包新增免费软件。产品集成改变主要包括通用数据支持，免费新增数据仓库中心和DB2 OLAP starter kit。用户可以使用DB2的数据连

31、接器(DataJoiner)，象访问DB2数据资源一样，访问Oracle, Sybase, Informix, SQL Server等数据库。用户只需熟悉DB2语法即可在跨平台的复杂环境中轻松获取非DB2数据。DB2 UDB V7.2选件中针对Oracle的关系连接部件可以使用户通过标准SQL查询同时访问DB2和Oracle的数据资源。DB2 UDB V7.2的用户现在可以跨越DB2数据库、Oracle数据库或者一个OLE DB资源进展分布式的查询，也就是可以通过使用DB2通用数据库的SQL句法和API在一个工作单元的查询实现访问和操作保存在异构数据资源中的数据。DB2 Relational

32、Connect加强了分散查询功能，使DB2用户可以通过一个简单的查询来访问DB2数据和存储在Oracle数据库中的数据。DB2 UDB V7.2免费包含的数据仓库中心把可视化仓库的强大功能和DB2控制中心的便捷特点结合起来，为需要商业智能的用户提供友好的用户界面。用户可以使用数据仓库中心对数据进展定义、自动取样、转换、发布、以及为数据仓库加载数据。这种新功能可以为一个部门或单位配置一个独立的简单数据中心。除数据仓库中心之外，DB2还在Wizards，模式名模型(Schema Modeler)、元数据交换(Metadata Interchange)等方面做了改良。DB2 UDB V7.2数据仓库中心使用了更便捷的新界面，用于创立、设计、储存以及维护数据仓库以及OLAP表。DB2数据仓库管理器产品在大量数据传递、元数据管理以及查询管理方面做了改良。DB2 UDB V7中包含了一些先进的高级面向对象SQL功能，对开发人员和分析员都非常有用。这些聚合功能用于OLAP应用计算，这是在SQL-99中很难或根本无法实现的，其符合SQL-99 OLAP附录中建议的标准。DB2现在可以提