DB2数据仓库性能经验.ppt

DB2数据仓库性能经验.ppt

《DB2数据仓库性能经验.ppt》由会员分享，可在线阅读，更多相关《DB2数据仓库性能经验.ppt（20页珍藏版）》请在冰豆网上搜索。

DB2数据仓库性能经验数据仓库性能经验2007年年08月月电信行业数据仓库应用电信行业数据仓库应用内容内容提要提要系统系统概况概况1DB2DB2数据库数据仓库性能经验谈数据库数据仓库性能经验谈2DB2的应用的应用3p数据仓库的性能要素数据仓库的性能要素p数据库架构设计数据库架构设计p分区的使用及优化分区的使用及优化p数据仓库的空间管理数据仓库的空间管理p应用设计应用设计优化优化1总体技术架构2DB2中数据应用举例3数据仓库服务数据仓库服务器器配置配置IBMp5-570（4IBMp5-570（4路路1.5GHzPOWER51.5GHzPOWER5处理器处理器,16GB,16GB内存内存）主机名：

主机名：

p570_dwep570_dwe；运行软件：

运行软件：

DB2（node1DB2（node1、22、33、4）4）、HyperionHyperion服务器服务器AA配置配置IBMp5-550（2IBMp5-550（2路路1.5GHzPOWER51.5GHzPOWER5处理器处理器,4GB,4GB内存内存）主机名：

主机名：

p550p550：

运行软件：

运行软件：

OLAPOLAP、DB2node0DB2node0、DatastageDatastage磁盘阵列磁盘阵列配置配置IBMIBMDS4800（56x73GBDS4800（56x73GB磁盘磁盘,4GBCache）,4GBCache）划分为划分为99组组RAID5RAID5，共，共9090个个LUNLUN，每个，每个LUN34GLUN34G软件软件软件及版本软件及版本数据仓库数据仓库IBMDB28.2IBMDB28.2webweb服务器服务器IBMIBMWebSphereWebSphereApplication6.0Application6.0ETLETL工具工具IBMDatastage7.0IBMDatastage7.0软硬件配置4内容内容提要提要系统系统概况概况1DB2DB2数据库数据仓库性能经验谈数据库数据仓库性能经验谈2DB2的应用的应用3p数据仓库的性能要素数据仓库的性能要素p数据库架构设计数据库架构设计p分区的使用及优化分区的使用及优化p数据仓库的空间管理数据仓库的空间管理p应用设计优化应用设计优化5项目中数据仓库的主要性能要素架构与分区nn单事例单事例nn模式模式nn数据分层数据分层nn多节点分区多节点分区存储结构nn数据空间数据空间nn索引空间索引空间nn日志空间日志空间nn应用数据空间应用数据空间nn合理的分区合理的分区应用设计应用设计nn表的分区键表的分区键nn表的索引表的索引nnSQLSQL优化优化nn数据类型的优化数据类型的优化nn物理分表物理分表6数据库架构设计数据库架构设计-初版初版使用别名跨使用别名跨库访问速度库访问速度慢慢（Db27.2）并并行行load导致导致锁表空间锁表空间大数据量时大数据量时日志空间报日志空间报错错资源分散利资源分散利用率低，用率低，IO差差7数据库架构设计数据库架构设计-优化版优化版DSS数据仓库数据仓库表空间调整表空间调整后并行后并行load，提高，提高IO、CPU等资源等资源利用率利用率模式实现虚模式实现虚拟的数据应拟的数据应用层用层8分区的使用及优化系统性能的提系统性能的提高高CPU/IO优化后优化后帐单表帐单表29830644条数据条数据232设备表设备表10997977条数据条数据16优化前优化前帐单表帐单表29830644条数据条数据102设备表设备表10997977条数据条数据4319数据仓库的空间管理1.数据、索引、日志分开减少应用数据、索引、日志分开减少应用IO冲突冲突2.数据库使用的日志表空间数据库使用的日志表空间=ETL最大事务日志空间最大事务日志空间3.采用合理的分区键，使数据分布均匀采用合理的分区键，使数据分布均匀Cust.customer_detail中有中有cust_id和和cert_no最初采用最初采用cert_no做分区键做分区键INSERT遇到的问题？

遇到的问题？

IO性能性能提高提高合理合理日志日志空间空间考虑到空间利用率，考虑到空间利用率，最后改变分区键，最后改变分区键，旧分区键建立索引旧分区键建立索引selectcount（cert_no）,dbpartitionnum（cert_no）fromCust.customer_detail_200708groupbydbpartitionnum（cert_no）cert_no有部分默认值有部分默认值Cust_id是唯一标识是唯一标识独立的独立的数据空间数据空间10建表语句中分区与空间管理CREATETABLESPACEMID_DATACREATETABLESPACEMID_DATAINDATABASEPARTITIONGROUPNODEGROUP11INDATABASEPARTITIONGROUPNODEGROUP11PAGESIZE32KPAGESIZE32KMANAGEDBYDATABASEMANAGEDBYDATABASEUSINGUSING（Device/dev/rmid1_data_lv1491520（Device/dev/rmid1_data_lv1491520）ONDBPARTITIONNUM

（1）ONDBPARTITIONNUM

（1）USINGUSING（Device/dev/rmid1_data_lv2491520（Device/dev/rmid1_data_lv2491520）ONDBPARTITIONNUM

（2）ONDBPARTITIONNUM

（2）USINGUSING（Device/dev/rmid1_data_lv3491520（Device/dev/rmid1_data_lv3491520）ONDBPARTITIONNUM（3）ONDBPARTITIONNUM（3）USINGUSING（Device/dev/rmid1_data_lv4491520（Device/dev/rmid1_data_lv4491520）ONDBPARTITIONNUM（4）ONDBPARTITIONNUM（4）EXTENTSIZE64EXTENTSIZE64PREFETCHSIZE256PREFETCHSIZE256BUFFERPOOLIBMDEFAULTBPBUFFERPOOLIBMDEFAULTBPOVERHEAD12.67OVERHEAD12.67TRANSFERRATE0.18TRANSFERRATE0.18DROPPEDTABLERECOVERYOFF;DROPPEDTABLERECOVERYOFF;CREATETABLEMID.TB_CUST_DETAIL_200708CREATETABLEMID.TB_CUST_DETAIL_200708（BILL_MONTHINTEGERNOT（BILL_MONTHINTEGERNOTNULL,NULL,CUST_IDDECIMAL（16,0）NOTNULL,CUST_IDDECIMAL（16,0）NOTNULL,CUST_SEQDECIMAL（20,0）,CUST_SEQDECIMAL（20,0）,CERT_NOCERT_NOINTEGER,INTEGER,BIRTHDAYBIRTHDAYINTEGERINTEGER）DATACAPTURENONEDATACAPTURENONEINMID_DATAINMID_DATAINDEXINMID_INDEXINDEXINMID_INDEXPARTITIONINGKEYPARTITIONINGKEY（CUST_ID（CUST_ID）USINGHASHING）USINGHASHINGNOTLOGGEDINITIALLY;NOTLOGGEDINITIALLY;比目录方式性能好比目录方式性能好11应用的优化-SQL配置配置MAXLOCKS列表的百分比列表的百分比,LOCKLIST锁资资源大小锁资资源大小LOCKTIMEOUT,锁等待超时时间锁等待超时时间锁过多、等待时间过长，则产生雪崩效应，升级锁，表锁代替行锁锁过多、等待时间过长，则产生雪崩效应，升级锁，表锁代替行锁SQL0911N死锁或超时死锁或超时数据库和应用上如何解决呢？

数据库和应用上如何解决呢？

行锁行锁表锁表锁优化优化项目强制规定项目强制规定所有事务及时所有事务及时COMMITFORCEAPPLICATION（ID）12应用的优化-索引Insertintocust_billSelecta.*,b.*Fromcusta,billbWherea.cust_id=b.cust_id注：

注：

7百万百万*3亿的接口数据关联亿的接口数据关联如何从建模和应用上实现优化呢？

如何从建模和应用上实现优化呢？

Cust和和Bill表建模时候是否考虑到主键和外键？

表建模时候是否考虑到主键和外键？

多表关联时候如何确定多表关联时候如何确定COST最小？

最小？

存储过程和存储过程和SQL执行比较慢如何定位原因？

执行比较慢如何定位原因？

应用中复杂应用中复杂的语句是否的语句是否考虑过执考虑过执行计划？

行计划？

reorg修改表的很多信息修改表的很多信息runstats更新统计信息，更新统计信息，一般晚上空闲时候执行一般晚上空闲时候执行REORGCHK根据统计公式根据统计公式计算表是否需要重整计算表是否需要重整优化器分析优化器分析SQL基于成本的优化器基于成本的优化器如：

关联时如：

关联时索引扫描而不索引扫描而不是使用表扫描是使用表扫描优化要点优化要点建立合适的索引建立合适的索引避免表扫描避免表扫描13数据类型的优化（OLAP）数据值数据值数据值数据值数据类型数据类型数据类型数据类型1111数据类型数据类型数据类型数据类型2222备注备注备注备注ABCDE123FGHABCDE123FGHABCDE123FGHABCDE123FGHCHARCHARCHARCHAR（50505050）VARCHARVARCHARVARCHARVARCHAR（50505050）可变长可变长可变长可变长2007.08.282007.08.282007.08.282007.08.28timestamptimestamptimestamptimestampintegerintegerintegerinteger年月日年月日年月日年月日2007082820070828DAYOFWEEKDAYOFWEEK、DATEDATE函数限制函数限制函数限制函数限制1234567890123456789012345678901234567890VARCHARVARCHARVARCHARVARCHAR（18181818）Integer,decimaInteger,decimaInteger,decimaInteger,decimal（18,0）l（18,0）l（18,0）l（18,0）0001234567000123456700012345670001234567+8613612345678+8613612345678+8613612345678+8613612345678VARCHARVARCHARVARCHARVARCHAR（20202020）integerintegerintegerinteger失真不影响内容失真不影响内容失真不影响内容失真不影响内容1.1.1.1.提高数据存储空间的利用率，降低系数提高数据存储空间的利用率，降低系数提高数据存储空间的利用率，降低系数提