数据仓库解决方案概述电信业PPT资料.ppt

数据仓库解决方案概述电信业PPT资料.ppt

《数据仓库解决方案概述电信业PPT资料.ppt》由会员分享，可在线阅读，更多相关《数据仓库解决方案概述电信业PPT资料.ppt（51页珍藏版）》请在冰豆网上搜索。

,信息,INFORMATION,DW/BI在电信行业的应用-小结什么是数据仓库（DataWarehouse）？

决策支持应用,数据仓库的实际构造示意图,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,Sybase数据仓库相关产品的技术构成,Relational,Package,Legacy,Externalsource,DataCleanTool,SourceData,DataStaging,WareHouseAdmin.Tools,EnterpriseDataWarehouse,DataExtraction,Transformationandload,Datamart,Datamart,Enterprise/CentralDataWarehouse,RDBMSROLAP,RDBMS,RDBMS,StarSchema,ArchitectedDatamarts,CentralMetadata,LocalMetadata,LocalMetadata,Sybase数据仓库相关产品介绍,一个集成化的产品集,集成的主要产品,IntegrateEnterpriseConnectReplicationServerPowerMart,DesignWarehouseArchitect,ManageSybaseASIQ,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,设计:

成功的关键,数据库的设计对数据仓库系统的整体性能、装载和建立索引的时间以及数据量的增长等的影响超过任何其它方面。

数据仓库设计工具WarehouseArchitect,为数据仓库的设计提供三大功能：

多维建模度量、维、属性事实表，维表维层次表，事实层次表设计向导聚合（AggregationWizard）分区（PartitioningWizard）逆向工程数据源优化代码生成目标数据仓库引擎（IQ，RDBMS）OLAP分析环境,设计:

WarehouseArchitect,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,数据抽取、转换、清洗、集成,挑战多个、多种异构数据源硬件，OS，RDBMS，文件数据不规范，需要做大量的清洗和整合转换规则复杂，繁多繁琐的日常性工作，占80%工作量数据质量保证数据增量抽取抽取工作过程化，自动化,数据抽取、转换、清洗、集成,成功的关键支持多个、多种异构数据源轻松方便地设计数据的清洗，转换和整合规则日常事务性工作自动化完成有完善的数据质量保证体系有完备的数据增量抽取直观，面向过程化设计；

自动化的执行开放性，可扩展性，易于实施和维护,数据抽取、转换、清洗、集成,解决的方案手工编程实现使用工具设计和实施PowerMart/PowerCenter开发环境，一系列工具用于设计、执行和维护数据的抽取、转换和装载流程抽取转换引擎（服务器），自动执行,集成:

PowerMart,MappingDesigner,TransformationDeveloper,SybaseInformixOracleMicrosoftIBM/UDBODBCDB2SAPPeopleSoftVSAMFlatFilesWebLogsXMLIBMMQGateways,SybaseInformixOracleMicrosoftODBCIBM/UDBSAPBWPeopleSoftEPMFlatFilesGateways,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,数据存储、管理,挑战数据规模查询性能装载速度易于管理存取访问,成功的关键快速，高效数据存储技术出色的查询性能-特殊的索引技术，并行查询可伸缩性-GB到TB级易于管理-方便，灵活，GUI存取访问-数据随时可用,数据管理,解决的方案通用的关系数据库系统专门的数据仓库服务器SybaseIQ专门为数据仓库/数据集市设计的关系型数据库专门针对OLAP/DSS而优化的索引和查询处理技术,AdaptiveServerIQ,数据存储：

AdaptiveServerIQ,无处不索引（IndexEVERYWHERE）数据压缩（通常达到原始数据的70-75%）垂直存储技术（VerticalPartitioning）专利的BitWise索引技术跨越Bitmap的限制多种索引类型：

FP,LF,HNG,HG低级数的限制从100扩充到1000预连接的索引提供额外的显著提高性能手段（JoinIndex）支持任意设计模式星型、雪花、雪暴、星座模式普通关系模式支持任意加载方式文件、内部数据、外部数据库直接加载开放的接口,计算“NY”州A类商店的平均销售额,当表的记录数从几万条变为千万和上亿条时，传统RDBMS技术面对的问题:

表扫描的性能极端低下冗余设计代价高昂、查询读取的无效字段过多低级数类型数据上索引的失效普通索引加载和空间代价，造成不能任意建造即席查询的SQL顺序对性能有显著影响数值型比较和运算，无恰当手段加速处理,传统RDBMS不适合数据仓库,IQ的特殊存储方式-垂直存储（按列存储）,SybaseIQ:

数据是按列存储的，而不是按行存储,好处:

只存取查询所需的数据数据类型是一致的，因而可以很容易被压缩数据库易于修改和管理,SybaseIQ:

只读完成查询所涉及到的列,计算在纽约的“A”类商店的平均销售额,IQ的特殊存储方式-垂直存储（按列存储）,“HowmanyMALESareNOTINSUREDinCALIFORNIA?

GenderMMFMM-,800Bytes/Row,10MROWS,StateNYCACTMACA-,RDBMS,InsuredYYNYN,10MBitsx3col/816KPage,=235I/Os,800Bytesx10M16KPage,=500,000I/Os,基本上只能使用表扫描查询过程读取了太多的无效数据,IQ,Example:

I/O的明显减少,IQ的索引特点,索引即是数据没有索引和数据的分别任何一列可以建立多个索引系统保证至少会存在一个索引（FP）索引的选择和设计主要基于：

数据的级数（离散值的个数）在查询中的使用方式和SQL语句的顺序无关,索引的种类,FastProjection（FP）数据压缩存储根据数据的特点会自动使用三种方式中的一种LowFast（LF）Bitmap索引HighNonGroup（HNG）Bit-wise索引HighGroup（HG）G-Array（包括一个改进的B-tree）,FPIndexnormalFP,级数（取值个数）65536数据被压缩存储,Color,Red,Blue,Green,Red,FPIndex-FFP,级数256内建一个1-byte的参照表,LookupTable,Data,LFIndex,传统的BitMap索引级数小于1000可以唯一使用的可能性JoinsGroupbyMIN,MAX,SUM,AVGfunctionsWhereclausepredicatesEquality/Inequality,Ranges,INlists,.,冗余设计时数据量比想象中要小得多每一个取值都有一个相应的位可以适应新的取值出现和行的增加查询：

selectcount（*）fromcustomerswherestate=AL,LFIndex,HNGIndex,Bit-WiseIndex数据按照二进制存储垂直分布和处理Sybase的专利技术cannotbeusedwithcertaindatatypes使用最佳范围rangesearchesforhighcardinalitycolumns运算（sumandaveragefunctions）,适合大量二进制的存储数据垂直分片即每一个位都可以在内部被独立操作由于肯定存在大量的位同时为1或0，因此IQ在内部处理时会自动做数据压缩,HNG-HighCardBit-WiseIndex,HGIndex,在Bit-Wise的基础上增加一个B-Tree，并保证树在加载时不会重建最佳使用场合：

JoinsSelectDistinct,CountDistinctGroupBy,10001001,突破性的速度闪电般的快速查询快速装载无限的灵活性任何查询任何模式非常经济压缩的数据存储支持多用户查询,SybaseIQ,AdaptiveServerIQ12:

专门设计的数据仓库服务器,IQ12的技术参数,Columnlimit-now16,000pertable（upfrom255-GreatforSAS&

SPSScustomers）Rowlimit-now281,474,976,710,700（thats281TrillionRowsandchange）Devicesize-upto128GB（dependingonOS）Devicelimit-now65,524（upfrom2,000）DatabaseSizelimit-8.4Petabytes,SybaseIQ真正的数据仓库,Andyne,Brio,BusinessObjects,Gentia,InformationAdvantage,InformationDiscovery,InfoSpace,LinguisticTechnology,TeleranTechnology,SeagateSoftware,Mathsoft,AnyData,AnyTime,Anywhere,Cognos,AdaptiveServerIQ,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,信息生产者,信息消费者,Brio.Insight,Brio.Quickview,客户机服务器,Web/Intranet,高级用户,活跃的分析人员,报表查阅者,信息技术人员,Brio.Enterprise6.0产品家族,BrioEnterprise功能服务,功能服务,BrioQuery查询OLAP查询在线分析（OLAP）报表EIS/脚本制图审核两层安全防护,BroadcastServer信息发布作业调度批处理查询/报表事件