IMB数据仓库方案 BIStandardProposal.docx
《IMB数据仓库方案 BIStandardProposal.docx》由会员分享，可在线阅读，更多相关《IMB数据仓库方案 BIStandardProposal.docx（37页珍藏版）》请在冰豆网上搜索。
IMB数据仓库方案BIStandardProposal
XXX公司BI系统
方案建议书
IBM公司软件部
二〇一八年八月
IBM中国公司非常荣幸有此机会向XXX公司提交数据仓库方案建议书。
该建议书含有专有信息。
文中涉及的所有资料请严格保密。
目录
第一章概述1
第二章商业智能综述2
2.1商业智能基本结构2
2.1.1IBM数据仓库架构3
2.1.2数据仓库：
用于抽取、整合、分布、存储有用的信息4
2.1.3多维分析：
全方位了解现状4
2.1.4前台分析工具5
2.1.5数据挖掘5
2.2商业智能方案实施原则5
2.2.1分阶段、循序渐进的原则5
2.2.2实用原则6
2.2.3知识原则6
第三章XXX公司BI系统方案7
3.1XXX公司BI系统的需求分析7
3.2IBM的解决方案7
3.3建议架构9
第四章所选IBM产品简介11
4.1DB2UDB11
4.1.1概述：
DB2家族（Family）与DB2通用数据库（UDB）V7.211
4.1.2DB2通用数据库（UDB）V7.2的特色12
4.1.3DB2通用数据库（UDB）的其他先进功能22
4.2DB2WarehouseManager（数据仓库管理器）26
4.2.1DB2WarehouseManager的主要部件26
4.2.2数据抽取、转换和加载（ETL）功能27
4.2.3元数据（MetaData）管理31
4.2.4DB2WarehouseManager的其它技术特点31
4.3IBMOLAPServer（多维数据库服务器）33
4.3.1DB2OLAPServer引擎33
4.3.2DB2OLAPServer各个附件34
4.3.3DB2OLAPServer与DB2WarehouseManager集成36
4.3.4DB2OLAPServer支持的前端工具36
4.4DB2OLAPAnalyzer37
4.5数据挖掘工具（IBMIntelligentMiner）37
4.5.1数据挖掘的实现方法38
4.5.2数据挖掘基本方法39
4.5.3数据挖掘与多维分析相结合40
第五章工程服务和售后服务41
5.1工程服务41
5.2售后服务41
5.2.1IBM数据仓库的安装及配置服务41
5.2.2IBM数据仓库的维护服务41
5.2.3IBM数据仓库的顾问服务42
5.2.4IBM培训服务42
5.3技术文档42
第一章概述
随着市场竞争的日益激烈，各家公司纷纷把提高决策的科学性、合理性提高到一个新的认识高度。
在此背景下，利用信息技术的最新手段，利用业务数据进行面向决策的分析这一方法纷纷被国内外许多公司所采用。
通过有目的、有选择地采集业务数据，并将其转换为对决策有用的信息，用于智能化的分析、预测和模拟等目的，这样的应用被称为商业智能应用。
从国内外各行各业的发展经验看，实施商业智能是提高企业进行高效的业务分析和科学决策的有效手段。
作为一个具有八十多年历史，以开发信息技术和商业应用而闻名的“蓝色巨人”，IBM在这一领域进行了多年的研究，发展出完备的商业智能技术，为商业数据自动转化为商业知识提供了现实的方案。
商业智能的本质，是提取收集到的数据，进行智能化的分析，揭示企业运作和市场情况，帮助管理层做出正确明智的经营决定。
一般现代化的业务操作，通常都会产生大量的数据，如话单、账单以及客户资料等，其中一部分是决策关键数据，但并不是所有的数据都对决策有决定意义。
商业智能包括收集、清理、管理和分析这些数据，将数据转化为有用的信息，然后及时分发到企业各处，用于改善业务决策。
企业可以利用它的信息和结论进行更加灵活的阶段性的决策：
如采用什么产品、针对哪类客户、如何选择和有效地推出服务等等，也可以实现高效的财务分析、销售分析、风险管理、分销和后勤管理等等。
这一切都是为了降低成本、提高利润率和扩大市场分额。
第二章商业智能综述
二.1商业智能基本结构
当今，许多企业认识到只有靠充分利用，发掘其现有数据，才能实现更大的商业效益。
日常的商务应用生成了大量的数据，这些数据若用于决策支持则会带来显著的附加值。
若再加上市场分析报告、独立的市场调查、质量评测结果和顾问评估等外来数据时，上述处理过程产生的效益可进一步增强。
而数据仓库正是汇总这些商用信息后，进而支持数据发掘、多维数据分析等当今尖端技术和传统的查询及表报功能，这些对于在当今激烈的商业竞争中保持领先是至关重要的。
那么怎样把这样大量的数据转换成可靠的、商用的信息以便于决策支持呢？
建立数据仓库正被广泛地公认为最好的转换手段。
图1数据仓库建立过程
根据IDC的调查，使用数据仓库的投资回报率平均超过400％，尤其是从小型数据仓库开始实施的平均超过500％。
二.1.1IBM数据仓库架构
IBM早在90年代初期，就投入大量优秀技术人员和资金开始了数据仓库的研究，并启动了Star-Burst大型科研项目。
该项目主要就是为了攻克数据仓库领域的一些技术难题，例如优化星型连接（Star-join），实现多维分析。
因此，IBM现在发布的数据仓库产品都是经过反复推敲和久经考验的，真正做到让用户买起来放心，用起来舒心。
基于对数据仓库结构的深刻理解和多年积累的经验，IBM设计了自己的数据仓库结构，见下图：
数据仓库的组成。
作为一个开发式结构，它方便了用户的产品选择、实施和今后的扩展。
图2IBM数据仓库架构
上图为IBM三层次数据仓库结构：
从第一层OLTP业务系统到第二层数据仓库为建仓过程，从第二层到第三层数据集市为按主题分类建立应用的过程。
第一步包括数据抽取、数据转换、数据分布等步骤，按照统一的数据格式标准进行统一的数据转换，建立可被企业各部门充分共享的数据仓库。
其中，数据抽取阶段完成对各种数据源的访问，数据转换阶段完成对数据的清洗、汇总和整合等，数据分布阶段完成对结果数据存储的分配。
这三个阶段通常紧密结合在一起，由一个产品或几个产品配合实现。
例如，DB2WarehouseManager既可独立完成，又可结合DataJoiner、DataPropagator实现对异构数据和数据复制的处理。
DB2WarehouseManager可进行数据映射的定义，以定期地抽取、转换和分布数据；DataJoiner可访问的各种关系型数据库包括DB2数据库家族、ORACLE、SYBASE、INFORMIX和MSSQLServer等；DataPropagator主要用于数据复制，采用数据复制的方式可对业务数据仓库进行增量数据更新，避免对作业系统事物处理性能的影响和大量重复抽取数据。
数据的存储由DB2家族产品来完成，以保证数据仓库始终高性能地运转，提供完整、准确的数据，便于将来的升级和扩展。
第二步，在按主题分类建立应用时，若既想拥有多维数据库的独特功能，又要把数据存放在关系型数据库中以便管理，则DB2OLAPServer是用户的最佳选择。
DB2WarehouseManager中提供的InformationCatalog通过描述性数据帮助用户查找和理解数据仓库中的数据，IntelligentMiner用于数据挖掘以便帮助决策者预测或发现隐藏的关系。
最后，我们以报表或图形的方式将结果数据呈现给用户，这通常由第三方产品来实现，它们包括：
HyperionAnalyzer,Cognos，Brio，BusinessObjects等。
商业智能的实现方式多种多样，其规模和特点由用户的需求来决定。
但万变不离其宗，其基本体系结构往往包括三个部分。
二.1.2数据仓库：
用于抽取、整合、分布、存储有用的信息
一个企业的信息往往分布在不同的部门和分支机构，管理者要综观全局、运筹帷幄，必须能迅速地找到能反映真实情况的数据，这些数据也许是当前的现实数据，也可能是过去的历史数据。
因此，有必要把各个区域的数据集合起来，去其糟粕、取其精华，将真实的、对决策有用的数据保留下来，随时准备管理人员使用。
因此，数据仓库不仅仅是个数据的储存仓库，更重要的是它提供了丰富的工具来清洗、转换和从各地提取数据，使得放在仓库里的数据有条有理，易于使用。
二.1.3多维分析：
全方位了解现状
管理人员往往希望从不同的角度来审视业务数值，比如从时间、地域、产品来看同一类业务的总额。
每一个分析的角度可以叫作一个维，因此，我们把多角度分析方式称为多维分析。
以前，每一个分析的角度需要制作一张报表。
由此产生了在线多维分析工具，它的主要功能，是根据用户常用的多种分析角度，事先计算好一些辅助结构，以便在查询时能尽快抽取到所要的记录，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在您面前。
二.1.4前台分析工具
提供简单易用的图形化界面给管理人员，由他们自由选择要分析的数据、定义分析角度、显示分析结果。
往往与多维分析工具配合，作为多维分析服务器的前台界面。
以上三部分是商业智能的基础。
它完成的是对用户数据的整理和观察，可以说，它的工作是总结过去。
在此基础结构之上，商业智能可以发挥更进一步的作用，利用数据挖掘技术，发现问题、找出规律，达到真正的智能效果：
预测将来。
二.1.5数据挖掘
正如在矿井中可以挖掘出珍贵的矿石，在数据仓库的数据里也常常可以挖掘出业务人员意想不到的信息。
它比多维分析更进一步。
例如，如果管理人员要求比较各个区域某类业务在过去一年的情况，可以从多维分析中找答案。
但是，如果管理人员要问为何一种业务在某地区的情况突然变得特别好或是不好，或者问该业务在另一地区将会怎么样，这时数据挖掘工具可以作出回答。
简单的说，数据挖掘使用统计、分析等数学方法、以及电脑学习和神经网络等人工智能方式，从大量的数据中，找寻数据与数据之间的关系。
这种关系，一般显示数据组之间相似或相反的行为或变化。
一个细心的分析者，往往能从这些发掘出来的关系得到启示。
而这种启示又很可能使得到它的业者，获得其他竞争者所没有的先机。
数据挖掘要求有数据仓库作基础，并要求数据仓库里已经存有丰富的数据。
因此，在实施商业智能方案时，一般分两步走：
第一步实现数据仓库和多维分析，构造商业智能的基础，实现分析应用；第二步实现数据挖掘，发挥商业智能的特色。
二.2商业智能方案实施原则
实施商业智能方案项目工程，与实施传统的应用系统有很大的不同。
其中最重要的是，商业智能的实施是不断的交流过程，只有双方紧密的合作才能取得实施的成功。
我们建议，工程实施上采取以下原则：
二.2.1分阶段、循序渐进的原则
任何一个项目的实施都是一个发现问题，解决问题，积累经验，又遇到新问题，再解决，再积累的循序渐进的过程。
我们建议XXX公司应根据现有的资源以及今后发展的方向，分阶段、循序渐进的实施商业智能方案。
二.2.2实用原则
在第一步实现数据仓库时，尽量针对当前电信最关心的主题，并将该主题进行细致分析，尽可能用简单、统一、易于使用的方式来实现，避免追求片面的复杂和完美。
二.2.3知识原则
普遍说来，由于商业智能技术相对而言比较新，企业的信息技术人员对数据仓库、多维分析、数据挖掘等系统涉及的知识往往存在着不足或偏差，实际应用经验也很欠缺。
因此，我们建议在实施过程中结合专家培训和服务，在商业智能系统的设计、开发、实施当中，逐步培养出企业自己的系统管理、维护和开发人员。
当系统投入使用时，这些人员可以对系统进行维护和管理，并负责对最终用户进行培训。
第三章XXX公司BI系统方案
三.1XXX公司BI系统的需求分析
在XXX公司的BI系统中，可以实现如下一系列经营过程中的分析和决策支持：
除了以上列出的一系列分析和预测外，利用BI系统，还应该能够根据XXX公司的需求很方便地扩展其功能。
三.2IBM的解决方案
基于XXX公司BI系统的需求，以及IBM公司在数据仓库领域的经验，我们提出以下解决方案：
采用一个企业级的数据仓库，实现各分行业务数据的自动采集、清洗、汇总，并且通过多维分析工具，让用户能够有效的将数据转化为灵活的报表和决策支持信息，最终满足用户的信息需求。
该方案的实现方式如下：
首先，在数据主要来源于两个方面：
综合业务系统和新录入的数据。
综合业务系统中的数据通过数据仓库工具进行自动采集、清洗、整理，而需要新录入的数据则通过浏览器方式录入。
在构造数据仓库的过程中，我们采取以点带面的做法，采用小步长、逐步地建立数据仓库的策略。
以XXX公司报表系统为开端，分阶段地实现商业智能应用。
小的项目可以立即显示数据仓库的价值，同时也提供了更快的投资回报。
而且，先在只有少量的数据和用户的小系统上进行学习和实践，对技术人员来说会学得更快。
我们希望首先在需求较为迫切的领域，选择一些比较有意义的主题；基于这些主题，我们将建立一个数据集市，待用户能够对数据仓库的概念和一些技术有了比较深刻的认识之后，再综观全局，构建起企业级的数据仓库。
数据录入可以采用数据文件快速装入的方式，也可以采用专门应用的方式。
如果采用后者，我们可以考虑使用IBM的WebSphere和VisualAgeforJava进行开发，它们产品是IBM电子商务应用的重要部件。
利用这两个工具，我们可以方便地建立Web页面，生成Java程序，包括Applet、Servlet和Application等等。
并且系统的维护工作也比较方便，当需要修改应用时，只需要修改服务器上的程序就可以了，不需要在客户端做工作。
另外，这种结构对客户机的配置要求也不太高。
在建造数据仓库的过程中，我们推荐使用IBM的WarehouseManager，该产品是IBM用来建立数据仓库的工具，利用该工具，我们可以方便、快捷地构造起数据仓库来，因为我们应该认识到数据仓库必须建立在一个开放的、可更改的结构上，以便能够处理数据和需求的不断膨胀。
WarehouseManager正是这样的一个工具。
提供一个开放的，从数据源到数据仓库的一致的解决方案。
在XXX公司的BI系统中，通过WarehouseManager管理器可以方便地建立数据加工的流程（process）和步骤（step），这些步骤反映了XXX公司具体业务数据的流程、规则。
在各步骤中可以定义代理（agent）来自动运行数据传递、清洗和汇总功能，这些步骤可以按时间、事件运行，或由其它步骤触发。
代理可以运行在WarehouseManager服务器上，也可以运行在远程的业务主机上，并且可以有多个代理运行以提高效率。
可以以非常直观的图形化方式管理数据仓库，当报表系统的业务需求发生变化时，可以非常方便地修改步骤，满足变化多端的商业竞争环境。
WarehouseManager是专门为商业应用设计的，它可以自动在网络上进行数据的传送，不需要人为干预，并且利用它的日志功能可以对系统运行很好地监控。
在DB2WarehouseManager（DWM）中含有WarehouseAgent部件，它可以用来在位于数据仓库的目标数据库DB2UDB中执行直接执行数据仓库的数据加工。
另外，在数据仓库服务器于业务系统之间的文件数据FTP传输以及从表中抽取少量数据也可以通过Agent直接执行。
建立数据仓库之后，选择一些有意义的主题，抽取相关的数据到DB2OLAPServer中，利用DB2OLAPServer的强大分析功能，给最终用户提供在线多维分析的功能，能够让最终用户充分挖掘出数据中包含的信息。
DWM在执行完数据的提取任务后，自动触发预先定义好的OLAP操作，将数据经过汇总计算后加载至DB2OLAPServer中。
最终用户工具我们选用DB2OLAPAnalyzer，这个产品是一个数据仓库的前端分析工具，利用这个工具用户可以很容易地访问OLAPServer中经过处理的数据，制作各种形式、风格的报表，报表内容可以包括数字、图像、曲线等，使得管理层可以直接、直观地查看企业的经营情况。
三.3建议架构
图3XXX公司BI系统软硬件配置示意图
在此方案中，采用RS/6000服务器作为运行数据仓库目标数据库的服务器，其上安装DB2UDBEE、DB2WarehouseManager，用来从生产系统抽取对决策有用的业务数据，经过加工后存放在数据仓库中。
在海量数据仓库基础上针对每一类具体业务问题建立数据集市。
由于XXX公司BI系统中的业务问题大多是多维分析问题，故利用另外一台RS/6000服务器运行IBM公司专门的多维分析服务器产品DB2OLAPServer，以极大地加快多维分析的速度。
在数据仓库服务器上同时安装DB2IntelligentMinerforData，从数据仓库服务器中抽取数据进行智能挖掘；此外，在数据仓库上安装DB2IntelligentMinerScoring，用来将数据挖掘的结果作用到数据仓库中，实现打分功能。
所有客户端以浏览器方式，通过查询和多维分析的WEB应用服务器访问数据仓库和多维分析服务器中的数据。
整个系统需要在一台运行Windows2000的PC服务器上安装DB2OLAPAnalyzerAnalysisServer以及HTTPServer，作为为前端浏览器客户提供统一入口的应用服务器。
为提高系统响应时间及提供负载均衡能力，可以配合WebSphereApplicationServer共同使用。
另外，需要配置一台PC服务器运行Windows2000作为整个系统的控制服务器，安装DB2WarehouseControlServer、DB2ControlCenter、OLAPServer控制台OLAPServerApplicationManager以及挖掘服务器前端DB2IntelligentMinerforDataClient。
此方案的优点：
基于公司的业务需求。
各业务部门可以根据自己的需要定义数据集市的内容，并进行各种指标的多维分析，在实际应用中不断扩展系统，为决策者提供必要的信息。
高性能、高效率。
数据都在本地运行，数据量相对较小，因此对服务器计算能力的要求相对较低。
同时由于在局域网上运行，对网络带宽基本不会有压力，并且用户响应时间可以得到保障。
最大限度地减少网络负荷。
各客户端通过浏览器方式从中心数据仓库中获取数据，只有需要的数据被传输。
满足XXX公司未来发展的需要。
此方案具有很好的可扩展性，随着XXX公司业务量的增加，业务数据的增多，各种业务系统的建立，此方案可以容易的适应这些变化，满足业务的需求。
一次性投资，长期受益。
此方案不仅可以满足XXX公司目前BI系统的需要，更为重要的是为XXX公司商业智能应用打下了一个坚实的基础。
XXX公司可以在此基础上开发各种商业智能应用，辅助决策者制定业务计划和措施，在激烈的竞争中保持良好的势头。
第四章所选IBM产品简介
在这次的商业智能解决方案中，采用的产品包括数据库DB2UDB、数据仓库（DB2WarehouseManager）、多维数据库（OLAPServer）、前台分析工具（DB2OLAPAnalyzer）及智能数据挖掘服务器（DB2IntelligentMinerforData）。
以下是各个产品的描述说明。
四.1DB2UDB
四.1.1概述：
DB2家族（Family）与DB2通用数据库（UDB）V7.2
IBMDB2家族的各种关系数据库管理系统适用于各种硬件平台，其中包括基于Intel的微机、IBM的或非IBM的各种RISC服务器和工作站、大型并行处理机、AS/400中型计算机系统以及运行VM、VSE和MVS、OS/390操作系统的主机系统。
各种平台上的DB2有共同的应用程序接口，因此运行在一种平台上的程序可以很容易地移植到其他的平台。
DB2家族产品能够满足不同用户的需求，它包含了从单用户的微机系统到支持80万用户的主机系统。
DB2家族除了包含在各种平台上运行的数据库管理系统内核之外，产品包中还包括了数据复制、数据库系统管理、环球网（Internet）网关支持、在线分析处理、多媒体支持和各种并行处理能力，免费提供DB2UDBV7.2在PC和UNIX平台上的客户机端产品（DB2CAE），并为所有平台上的异构数据库访问提供“中介件”（Middleware）解决方案。
可运行在基于Intel的微机及各种RISC服务器（UNIX平台）上的DB2UDBV7.2包括：
DB2forAIX，DB2forHP-UX，DB2forSUNSolaris，DB2forOS/2，DB2forWindowsNT，DB2forWin95，DB2forWin98，DB2forLinux，DB2forSCO，DB2forSinix，DB2forNUMA-Q等等。
这些产品是全功能、具有工业强度的关系数据库管理系统，分别用于服务器和工作站平台。
可以把它们配置到单个的系统上，或者配置到支持客户机工作站的LAN服务器上，还可以把它们配置为环球网（Internet）上的数据库服务器。
如果使用服务器配置，那就允许DOS、Windows、OS/2、Win95、Win98、Macintosh或UNIX客户机去访问DB2服务器，可以使用TCP/IP、IPX/SPX、NetBIOS或APPC等网络协议；如果作为环球网上的数据库服务器，则可由一台浏览器（WebBrowser）作为客户机访问。
DB2通用数据库（UDB）V7.2产品建立在一个共同代码的基础之上，依据多进程/多线索结构进行设计，其数据库引擎的核心技术来自Starburst研究项目以及DB2forOS/390等主机产品，而且它们在数据和应用的可移植性两个方面与DB2家族中的其他成员完全兼容。
因而任何受过一种平台上的DB2培训的人员能够很容易地使用其他平台的DB2产品。
在保持这种外在的兼容性以及具备DB2家族成员所必需具备的可靠性和可管理性的同时，实际上它们每个产品还针对各自的平台环境作了调整和优化以达到业界领先的性能/价格比。
DB2产品家族提供了完整的中文支持，对中文的支持贯穿于从微机到主机的所有平台，这是任何其他数据库厂家做不到的。
图4DB2家族产品
四.1.2DB2通用数据库（UDB）V7.2的特色
DB2通用数据库（UDB）V7.2无论在网络计算方面还是在线分析、多媒体处理，都能给你全面、满意的支持，而且集成了丰富的数据库管理工具，把原来复杂的管理工作变得非常简单。
DB2V7.2致力于商业智能和数据仓库方面的改进，包括自动触发器，多分区和多表的自动总计表格，优化星式结构的连接方法，使查询和整个系统的反应速度大大提高。
同时也增加了在装载和在线重组时对索引的维护。
在DB2中还新增了统计、线性回归等功能，直接支持进一步深入分析，以便利用DB2的查询处理实用程序，而以往只能在应用程序级上做到这一点。
另外，在支持16和32KBPages、多个缓冲池（multiplebufferpool）的优化、更快的完整性约束处理、处理更多查询的星式连接等方面，做了一系列的改进。
应一些IBM合作伙伴软件提供商的要求，DB2UDBV7.2包含以下扩充性能：
●表/视图/别名的命名长度限制由原来的18个字符扩充为128个字符。
●列命名长度限制由原来的18个字符扩充为30个字符。
●SQL语句的最大长度由原来的32KB增大到64KB。
●页大小从16KB增大到32KB。
●最大变量字符为32KB，取
升级会员 