系统性能优化开发篇.docx
《系统性能优化开发篇.docx》由会员分享，可在线阅读，更多相关《系统性能优化开发篇.docx（29页珍藏版）》请在冰豆网上搜索。
系统性能优化开发篇
1.目的
定义基于EMARK平台的绩效管理系统的性能设计规范，作为设计开发人员在数据库设计、数据库编程、JAVA开发时技术参考资料。
首先，在应用开发阶段，通过有效手段和方法保证代码质量优化，最大程度地保证代码的性能和效率达到最优，并杜绝内存泄漏等潜在的危险代码。
其次，在应用部署上线阶段，通过压力测试、应用优化、配置调优等使应用运行在最佳状态。
在应用运行维护阶段，对生产系统运行状况和性能进行不间断的监控，及时发现对业务会产生影响的问题，并对历史状态进行分析，预测未来发展趋势，评估当前系统性能，确定是否存在潜在的问题，消除因为严重的性能问题对业务造成的不可弥补的影响，保证系统的可用性和高性能。
2.概述
基于EMARK平台的绩效系统是J2EE架构的web应用程序，从系统程序设计的角度来分析，为了尽量减少系统运行效率低的问题，那么根据J2EE体系架构的技术特点，在开发应用程序时，应该在技术上对系统设计进行一定的控制，对应用程序的设计和开发进行一定优化。
对采用J2EE架构开发的系统的优化一般针对两方面：
数据库优化，程序结构优化
3.数据库优化原则
3.1.数据库逻辑设计
3.1.1.基本表扩展
数据库性能包括存储空间需求量的大小和查询响应时间的长短两个方面。
为了优化数据库性能，需要对数据库中的表进行规范化。
一般来说，逻辑数据库设计满足第三范式的表结构容易维护且基本满足实际应用的要求。
所以，实际应用中一般都按照第三范式的标准进行规范化，从而保证了数据库的一致性和完整性，设计人员往往会设计过多的表间关联，以尽可能地降低数据冗余。
但在实际应用中这种做法有时不利于系统运行性能的优化:
如过程从多表获取数据时引发大量的连接操作，在需要部分数据时要扫描整个表等，这都消耗了磁盘的I/O和CPU时间。
为解决这一问题，在设计表时应同时考虑对某些表进行反规范化，我们常用的方法保留冗余列。
当两个或多个表在查询中经常需要连接时，可以在其中一个表上增加若干冗余的列，以避免表之间的连接过于频繁，一般在冗余列的数据不经常变动的情况下使用。
3.2.索引
创建索引是提高检索效率最有效的方法之一，索引把表中的逻辑值映射到安全的RowID，能快速定位数据的物理地址，可以大大加快数据库的查询速度，一个建有合理索引的数据库应用系统可能比一个没有建立索引的数据库应用系统效率高几十倍，但并不是索引越多越好，在那些经常需要修改的数据列上建立索引，将导致索引B*树的不断重组，造成系统性能的下降和存储空间的浪费。
对于一个大型表建立的索引，有时并不能改善数据查询速度，反而会影响整个数据库的性能。
这主要是和SGA的数据管理方式有关，Oracle在进行数据块高速缓存管理时，索引数据比普通数据具有更高的驻留权限，在进行空间竞争时，Oracle会先移出普通数据，对建有索引的大型表进行数据查询时，索引数据可能会用完所有的数据块缓存空间，Oracle不得不频繁地进行磁盘读写来获取数据，所以，在对一个大型表进行分区之后，可以根据相应的分区建立分区索引。
Oracle提供了另一种方法来提高查询速度，就是聚簇（Cluster）。
所谓聚簇，简单地说就是把几个表放在一起，按一定公共属性混合存放。
聚簇根据共同码值将多个表的数据存储在同一个Oracle块中，这时检索一组Oracle块就同时得到两个表的数据，这样就可以减少需要存储的Oracle块，从而提高应用程序的性能。
对于逻辑结构的优化，还应将表数据和索引数据分开表空间存储，分别使用独立的表空间。
因为如果将表数据和索引数据放在一起，表数据的I/O操作和索引的I/O操作将产生影响系统性能的I/O竞争，降低系统的响应效率。
将表数据和索引数据存放在不同的表空间中，并在物理层面将这两个表空间的数据文件放在不同的物理磁盘上，就可以避免这种竞争了。
3.3.表空间
在数据表设计时，我们需要考虑把数据表空间和索引表空间分开存储。
以下是EMARK的表空间规划，在设计表的时候请参照：
表空间
类型
描述
ts_data_r_emark
数据表空间
只读和写操作频率较低的数据表空间
ts_data_w_emark
数据表空间
写操作频率较高的数据表空间
ts_ind_r_emark
索引表空间
只读和写操作频率较低的索引表空间
ts_ind_w_emark
索引表空间
写操作频率较高的索引表空间
ts_data_history【可选】
数据表空间
历史库表空间
ts_ind_history【可选】
索引表空间
历史库索引表空间
3.4.SQL优化
3.4.1.访问Table的方式Oracle采用两种访问表中记录的方式：
a.全表扫描
全表扫描就是顺序地访问表中每条记录。
ORACLE采用一次读入多个数据块（databaseblock）的方式优化全表扫描。
b.通过ROWID访问表
你可以采用基于ROWID的访问方式情况，提高访问表的效率，ROWID包含了表中记录的物理位置信息……ORACLE采用索引（INDEX）实现了数据和存放数据的物理位置（ROWID）之间的联系。
通常索引提供了快速访问ROWID的方法，因此那些基于索引列的查询就可以得到性能上的提高。
3.4.2.共享SQL语句
为了不重复解析相同的SQL语句，在第一次解析之后，ORACLE将SQL语句存放在内存中。
这块位于系统全局区域SGA（systemglobalarea）的共享池（sharedbufferpool）中的内存可以被所有的数据库用户共享。
因此，当你执行一个SQL语句（有时被称为一个游标）时，如果它和之前的执行过的语句完全相同，ORACLE就能很快获得已经被解析的语句以及最好的执行路径。
ORACLE的这个功能大大地提高了SQL的执行性能并节省了内存的使用。
可惜的是ORACLE只对简单的表提供高速缓冲（cachebuffering），这个功能并不适用于多表连接查询。
数据库管理员必须在init.ora中为这个区域设置合适的参数，当这个内存区域越大，就可以保留更多的语句，当然被共享的可能性也就越大了。
当你向ORACLE提交一个SQL语句，ORACLE会首先在这块内存中查找相同的语句。
这里需要注明的是，ORACLE对两者采取的是一种严格匹配，要达成共享，SQL语句必须完全相同（包括空格，换行等）。
共享的语句必须满足三个条件：
A.字符级的比较：
当前被执行的语句和共享池中的语句必须完全相同。
例如：
SELECT*FROMEMP;
和下列每一个都不同
SELECT*fromEMP;
Select*FromEmp;
SELECT*FROMEMP;
B.两个语句所指的对象必须完全相同：
例如：
用户对象名如何访问
Jacksal_limitprivatesynonym
Work_citypublicsynonym
Plant_detailpublicsynonym
Jillsal_limitprivatesynonym
Work_citypublicsynonym
Plant_detailtableowner
考虑一下下列SQL语句能否在这两个用户之间共享。
SQL能否共享原因
selectmax（sal_cap）fromsal_limit;不能每个用户都有一个privatesynonym-sal_limit,它们是不同的对象
selectcount（*0fromwork_citywheresdesclike'NEW%';能两个用户访问相同的对象publicsynonym-work_city
selecta.sdesc,b.locationfromwork_citya,plant_detailbwherea.city_id=b.city_id不能用户jack通过privatesynonym访问plant_detail而jill是表的所有者,对象不同.
C.两个SQL语句中必须使用相同的名字的绑定变量（bindvariables）
例如：
第一组的两个SQL语句是相同的（可以共享），而第二组中的两个语句是不同的（即使在运行时，赋于不同的绑定变量相同的值）
a.
selectpin，namefrompeoplewherepin=：
blk1.pin;
selectpin，namefrompeoplewherepin=：
blk1.pin;
b.
selectpin，namefrompeoplewherepin=：
blk1.ot_ind;
selectpin，namefrompeoplewherepin=：
blk1.ov_ind;
3.4.3.选择最有效率的表名顺序（只在基于规则的优化器中有效）
ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名，因此FROM子句中写在最后的表（基础表drivingtable）将被最先处理。
在FROM子句中包含多个表的情况下，你必须选择记录条数最少的表作为基础表。
当ORACLE处理多个表时，会运用排序及合并的方式连接它们。
首先，扫描第一个表（FROM子句中最后的那个表）并对记录进行派序，然后扫描第二个表（FROM子句中最后第二个表），最后将所有从第二个表中检索出的记录与第一个表中合适记录进行合并。
例如：
表TAB116，384条记录
表TAB21条记录
选择TAB2作为基础表（最好的方法）
selectcount（*）fromtab1，tab2执行时间0.96秒
选择TAB2作为基础表（不佳的方法）
selectcount（*）fromtab2，tab1执行时间26.09秒
如果有3个以上的表连接查询，那就需要选择交叉表（intersectiontable）作为基础表，交叉表是指那个被其他表所引用的表。
例如：
EMP表描述了LOCATION表和CATEGORY表的交集。
SELECT*
FROMLOCATIONL,
CATEGORYC,
EMPE
WHEREE.EMP_NOBETWEEN1000AND2000
ANDE.CAT_NO=C.CAT_NO
ANDE.LOCN=L.LOCN
将比下列SQL更有效率
SELECT*
FROMEMPE,
LOCATIONL,
CATEGORYC
WHEREE.CAT_NO=C.CAT_NO
ANDE.LOCN=L.LOCN
ANDE.EMP_NOBETWEEN1000AND2000
3.4.4.WHERE子句中的连接顺序
ORACLE采用自下而上的顺序解析WHERE子句，根据这个原理，表之间的连接必须写在其他WHERE条件之前，那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾。
例如：
（低效，执行时间156.3秒）
SELECT…
FROMEMPE
WHERESAL>50000
ANDJOB=‘MANAGER’
AND25<（SELECTCOUNT（*）FROMEMP
WHEREMGR=E.EMPNO）;
（高效,执行时间10.6秒）
SELECT…
FROMEMPE
WHERE25<（SELECTCOUNT（*）FROMEMP
WHEREMGR=E.EMPNO）
ANDSAL>50000
ANDJOB=‘MANAGER’;
6.SELECT子句中避免使用‘*’
当你想在SELECT子句中列出所有的COLUMN时，使用动态SQL列引用‘*’是一个方便的方法。
不幸的是，这是一个非常低效的方法。
实际上，ORACLE在解析的过程中，会将‘*’依次转换成所有的列名，这个工作是通过查询数据字典完成的，这意味着将耗费更多的时间。
3.4.5.减少访问数据库的次数
当执行每条SQL语句时，ORACLE在内部执行了许多工作：
解析SQL语句，估算索引的利用率，绑定变量，读数据块等等。
由此可见，减少访问数据库的次数，就能实际上减少ORACLE的工作量。
例如，以下有三种方法可以检索出雇员号等于0342或0291的职员。
方法1（最低效）
SELECTEMP_NAME,SALARY,GRADE
FROMEMP
WHEREEMP_NO=342;
SELECTEMP_NAME,SALARY,GRADE
FROMEMP
WHEREEMP_NO=291;
方法2（次低效）
DECLARE
CURSORC1（E_NONUMBER）IS
SELECTEMP_NAME,SALARY,GRADE
FROMEMP
WHEREEMP_NO=E_NO;
BEGIN
OPENC1（342）;
FETCHC1INTO…,..,..;
OPENC1（291）;
FETCHC1INTO…,..,..;
CLOSEC1;END;
方法3（高效）
SELECTA.EMP_NAME,A.SALARY,A.GRADE,
B.EMP_NAME,B.SALARY,B.GRADE
FROMEMPA,EMPB
WHEREA.EMP_NO=342
ANDB.EMP_NO=291;
注意：
在SQL*Plus，SQL*Forms和Pro*C中重新设置ARRAYSIZE参数，可以增加每次数据库访问的检索数据量，建议值为200.
3.4.6.使用DECODE函数来减少处理时间
使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表。
例如：
SELECTCOUNT（*），SUM（SAL）
FROM EMP
WHEREDEPT_NO=0020
ANDENAMELIKE ‘SMITH%’;
SELECTCOUNT（*），SUM（SAL）
FROM EMP
WHEREDEPT_NO=0030
ANDENAMELIKE ‘SMITH%’;
你可以用DECODE函数高效地得到相同结果
SELECTCOUNT（DECODE（DEPT_NO,0020,’X’,NULL））D0020_COUNT,
COUNT（DECODE（DEPT_NO,0030,’X’,NULL））D0030_COUNT,
SUM（DECODE（DEPT_NO,0020,SAL,NULL））D0020_SAL,
SUM（DECODE（DEPT_NO,0030,SAL,NULL））D0030_SAL
FROMEMPWHEREENAMELIKE‘SMITH%’;
类似的，DECODE函数也可以运用于GROUPBY和ORDERBY子句中。
3.4.7.整合简单，无关联的数据库访问
如果你有几个简单的数据库查询语句，你可以把它们整合到一个查询中（即使它们之间没有关系）
例如：
SELECTNAME
FROMEMP
WHEREEMP_NO=1234;
SELECTNAME
FROMDPT
WHEREDPT_NO=10;
SELECTNAME
FROMCAT
WHERECAT_TYPE=‘RD’;
上面的3个查询可以被合并成一个：
SELECTE.NAME,D.NAME,C.NAME
FROMCATC,DPTD,EMPE,DUALX
WHERENVL（‘X’,X.DUMMY）=NVL（‘X’,E.ROWID（+））
ANDNVL（‘X’,X.DUMMY）=NVL（‘X’,D.ROWID（+））
ANDNVL（‘X’,X.DUMMY）=NVL（‘X’,C.ROWID（+））
ANDE.EMP_NO（+）=1234
ANDD.DEPT_NO（+）=10
ANDC.CAT_TYPE（+）=‘RD’;
（译者按：
虽然采取这种方法，效率得到提高，但是程序的可读性大大降低，所以读者还是要权衡之间的利弊）
3.4.8.删除重复记录
最高效的删除重复记录方法（因为使用了ROWID）
DELETEFROMEMPE
WHEREE.ROWID>（SELECTMIN（X.ROWID）
FROMEMPX
WHEREX.EMP_NO=E.EMP_NO）;
3.4.9.用TRUNCATE替代DELETE
当删除表中的记录时，在通常情况下，回滚段（rollbacksegments）用来存放可以被恢复的信息。
如果你没有COMMIT事务，ORACLE会将数据恢复到删除之前的状态（准确地说是恢复到执行删除命令之前的状况）
而当运用TRUNCATE时，回滚段不再存放任何可被恢复的信息。
当命令运行后，数据不能被恢复。
因此很少的资源被调用，执行时间也会很短。
（译者按：
TRUNCATE只在删除全表适用，TRUNCATE是DDL不是DML）
3.4.10.尽量多使用COMMIT
只要有可能，在程序中尽量多使用COMMIT，这样程序的性能得到提高，需求也会因为COMMIT所释放的资源而减少：
COMMIT所释放的资源：
a.回滚段上用于恢复数据的信息。
b.被程序语句获得的锁
c.redologbuffer中的空间
d.ORACLE为管理上述3种资源中的内部花费
（译者按：
在使用COMMIT时必须要注意到事务的完整性，现实中效率和事务完整性往往是鱼和熊掌不可得兼）
3.4.11.计算记录条数
和一般的观点相反，count（*）比count
（1）稍快，当然如果可以通过索引检索，对索引列的计数仍旧是最快的。
例如COUNT（EMPNO）
（译者按：
在CSDN论坛中，曾经对此有过相当热烈的讨论，作者的观点并不十分准确，通过实际的测试，上述三种方法并没有显著的性能差别）
3.4.12.用Where子句替换HAVING子句
避免使用HAVING子句，HAVING只会在检索出所有记录之后才对结果集进行过滤。
这个处理需要排序，总计等操作。
如果能通过WHERE子句限制记录的数目，那就能减少这方面的开销。
例如：
低效：
SELECTREGION，AVG（LOG_SIZE）
FROMLOCATION
GROUPBYREGION
HAVINGREGIONREGION!
=‘SYDNEY’
ANDREGION!
=‘PERTH’
高效：
SELECTREGION，AVG（LOG_SIZE）
FROMLOCATION
WHEREREGIONREGION!
=‘SYDNEY’
ANDREGION!
=‘PERTH’
GROUPBYREGION
（译者按：
HAVING中的条件一般用于对一些集合函数的比较，如COUNT（）等等。
除此而外，一般的条件应该写在WHERE子句中）
3.4.13.减少对表的查询
在含有子查询的SQL语句中，要特别注意减少对表的查询。
例如：
低效
SELECTTAB_NAME
FROMTABLES
WHERETAB_NAME=（SELECTTAB_NAME
FROMTAB_COLUMNS
WHEREVERSION=604）
AND DB_VER=（SELECTDB_VER
FROMTAB_COLUMNS
WHEREVERSION=604）
高效
SELECTTAB_NAME
FROMTABLES
WHERE（TAB_NAME,DB_VER）
=（SELECTTAB_NAME,DB_VER）
FROMTAB_COLUMNS
WHEREVERSION=604）
Update多个Column例子：
低效：
UPDATEEMP
SETEMP_CAT=（SELECTMAX（CATEGORY）FROMEMP_CATEGORIES）,
SAL_RANGE=（SELECTMAX（SAL_RANGE）FROMEMP_CATEGORIES）
WHEREEMP_DEPT=0020;
高效：
UPDATEEMP
SET（EMP_CAT,SAL_RANGE）
=（SELECTMAX（CATEGORY）,MAX（SAL_RANGE）
FROMEMP_CATEGORIES）
WHEREEMP_DEPT=0020;
3.4.14.通过内部函数提高SQL效率。
SELECTH.EMPNO,E.ENAME,H.HIST_TYPE,T.TYPE_DESC,COUNT（*）
FROMHISTORY_TYPET,EMPE,EMP_HISTORYH
WHEREH.EMPNO=E.EMPNO
ANDH.HIST_TYPE=T.HIST_TYPE
GROUPBYH.EMPNO,E.ENAME,H.HIST_TYPE,T.TYPE_DESC;
通过调用下面的函数可以提高效率。
FUNCTIONLOOKUP_HIST_TYPE（TYPINNUMBER）RETURNVARCHAR2
AS
TDESCVARCHAR2（30）;
CURSORC1IS
SELECTTYPE_DESC
FROMHISTORY_TYPE
WHEREHIST_TYPE=TYP;
BEGIN
OPENC1;
FETCHC1INTOTDESC;
CLOSEC1;
RETURN（NVL（TDESC,’?
’））;
END;
FUNCTIONLOOKUP_EMP（EMPINNUMBER）RETURNVARCHAR2
AS
ENAMEVARCHAR2（30）;
CURSORC1IS
SELECTENAME
FROMEMP
WHEREEMPNO=EMP;
BEGIN
OPENC1;
FETCHC1INTOENAME;
CLOSEC1;
RETURN（NV
升级会员 