Oracle索引使用和执行计划.docx
《Oracle索引使用和执行计划.docx》由会员分享,可在线阅读,更多相关《Oracle索引使用和执行计划.docx(13页珍藏版)》请在冰豆网上搜索。
![Oracle索引使用和执行计划.docx](https://file1.bdocx.com/fileroot1/2023-2/2/c7ec25ba-b1e0-4c94-8a32-4d65d9fcba13/c7ec25ba-b1e0-4c94-8a32-4d65d9fcba131.gif)
Oracle索引使用和执行计划
Oracle索引使用和执行计划
索引(Index)是常见的数据库对象,它的设置好坏、使用是否得当,极大地影响数据库应用程序和Database的性能。
当你运用SQL语言,向数据库发布一条查询语句时,ORACLE将伴随产生一个“执行计划”,也就是该语句将通过何种数据搜索方案执行,是通过全表扫描、还是通过索引搜寻等其它方式。
搜索方案的选用与ORACLE的优化器息息相关。
一、SQL语句的执行步骤和ORACLE的优化器
一条SQL语句的处理过程要经过以下几个步骤:
1语法分析分析语句的语法是否符合规范,衡量语句中各表达式的意义。
2语义分析检查语句中涉及的所有数据库对象是否存在,且用户有相应的权限。
3视图转换将涉及视图的查询语句转换为相应的对基表查询语句。
4表达式转换将复杂的SQL表达式转换为较简单的等效连接表达式。
5选择优化器不同的优化器一般产生不同的“执行计划”
6选择连接方式ORACLE有三种连接方式,对多表连接ORACLE可选择适当的连接方式。
7选择连接顺序对多表连接ORACLE选择哪一对表先连接,选择这两表中哪个表做为源数据表。
8选择数据的搜索路径根据以上条件选择合适的数据搜索路径,如是选用全表搜索还是利用索引或是其他的方式。
9运行“执行计划”
ORACLE的优化器
ORACLE有两种优化器:
基于规则的优化器(RBO,RuleBasedOptimizer),和基于代价的优化器(CBO,CostBasedOptimizer)。
RBO自ORACLE6版以来被采用,有着一套严格的使用规则,只要你按照它去写SQL语句,无论数据表中的内容怎样,也不会影响到你的“执行计划”,也就是说对数据不“敏感”,ORACLE公司已经不再发展这种技术了。
CBO自ORACLE7版被引入,ORACLE自7版以来采用的许多新技术都是基于CBO的,如星型连接排列查询,哈希连接查询,和并行查询等。
CBO计算各种可能“执行计划”的“代价”,即cost,从中选用cost最低的方案,作为实际运行方案。
各“执行计划”的cost的计算根据,依赖于数据表中数据的统计分布,ORACLE数据库本身对该统计分布并不清楚,须要分析表和相关的索引,才能搜集到CBO所需的数据。
一般而言,CBO所选择的“执行计划”都不会比RBO的“执行计划”差,而且相对而言,CBO对程序员的要求没有RBO那么苛刻,节省了程序员为了从多个可能的“执行计划”中选择一个最优的方案而花费的调试时间,但在某些场合下也会存在问题。
二、索引并非总是最佳选择
如果发现Oracle在有索引的情况下,没有使用索引,这并不是Oracle的优化器出错。
在有些情况下,Oracle确实会选择全表扫描(FullTableScan),而非索引扫描(IndexScan)。
这些情况通常有:
1.表未做statistics,或者statistics陈旧,导致Oracle判断失误。
2.根据该表拥有的记录数和数据块数,实际上全表扫描要比索引扫描更快。
对第1种情况,最常见的例子,是以下这句sql语句:
selectcount(*)frommytable;
在未作statistics之前,它使用全表扫描,需要读取6000多个数据块(一个数据块是8k),做了statistics之后,使用的是INDEX(FASTFULLSCAN),只需要读取450个数据块。
但是,statistics做得不好,也会导致Oracle不使用索引。
第2种情况就要复杂得多。
一般概念上都认为索引比表快,比较难以理解什么情况下全表扫描要比索引扫描快。
为了讲清楚这个问题,这里先介绍一下Oracle在评估使用索引的代价(cost)时两个重要的数据:
CF(Clusteringfactor)和FF(Filteringfactor).
CF:
所谓CF,通俗地讲,就是每读入一个索引块,要对应读入多少个数据块。
FF:
所谓FF,就是该sql语句所选择的结果集,占总的数据量的百分比。
大约的计算公式是:
FF*(CF+索引块个数),由此估计出,一个查询,如果使用某个索引,会需要读入的数据块块数。
需要读入的数据块越多,则cost越大,Oracle也就越可能不选择使用index.(全表扫描需要读入的数据块数等于该表的实际数据块数)
其核心就是,CF可能会比实际的数据块数量大。
CF受到索引中数据的排列方式影响,通常在索引刚建立时,索引中的记录与表中的记录有良好的对应关系,CF都很小;在表经过大量的插入、修改后,这种对应关系越来越乱,CF也越来越大。
此时需要DBA重新建立或者组织该索引。
如果某个sql语句以前一直使用某索引,较长时间后不再使用,一种可能就是CF已经变得太大,需要重新整理该索引了。
FF则是Oracle根据statistics所做的估计。
比如,mytables表有32万行,其主键myid的最小值是1,最大值是409654,考虑以下sql语句:
Select*frommytableswheremyid>=1;和
Select*frommytableswheremyid>=400000
这两句看似差不多的sql语句,对Oracle而言,却有巨大的差别。
因为前者的FF是100%,而后者的FF可能只有1%。
如果它的CF大于实际的数据块数,则Oracle可能会选择完全不同的优化方式。
而实际上,在我们的数据库上的测试验证了我们的预测.以下是在HP上执行时它们的explainplan:
第一句:
SQL>select*frommytableswheremyid>=1;
已选择325917行。
ExecutionPlan
----------------------------------------------------------
0SELECTSTATEMENTOptimizer=CHOOSE(Cost=3132Card=318474Bytes=141402456)
10TABLEACCESS(FULL)OF'MYTABLES'(Cost=3132Card=318474Bytes=141402456)
Statistics
----------------------------------------------------------
7recursivecalls
89dbblockgets
41473consistentgets
19828physicalreads
0redosize
131489563bytessentviaSQL*Nettoclient
1760245bytesreceivedviaSQL*Netfromclient
21729SQL*Netroundtripsto/fromclient
1sorts(memory)
0sorts(disk)
325917rowsprocessed
第二句:
ExecutionPlan
----------------------------------------------------------
0SELECTSTATEMENTOptimizer=CHOOSE(Cost=346Card=663Bytes=294372)
10TABLEACCESS(BYINDEXROWID)OF'MYTABLES'(Cost=346Card=663
Bytes=294372)
21INDEX(RANGESCAN)OF'PK_MYTABLES'(UNIQUE)(Cost=5Card=663)
Statistics
----------------------------------------------------------
1278recursivecalls
0dbblockgets
6647consistentgets
292physicalreads
0redosize
3544898bytessentviaSQL*Nettoclient
42640bytesreceivedviaSQL*Netfromclient
524SQL*Netroundtripsto/fromclient
1sorts(memory)
0sorts(disk)
7838rowsprocessed
显而易见,第1句没有使用索引,第2句使用了主键索引pk_mytables.FF的巨大影响由此可见一斑。
由此想到,我们在写sql语句时,如果预先估计一下FF,你就几乎可以预见到Oracle会否使用索引。
三、索引也有好坏
索引有Btree索引,Bitmap索引,Reversebtree索引,等。
最常用的是Btree索引。
B的全称是Balanced,其意义是,从tree的root到任何一个leaf,要经过同样多的level.索引可以只有一个字段(Singlecolumn),也可以有多个字段(Composite),最多32个字段,8I还支持Function-basedindex.许多developer都倾向于使用单列B树索引。
所谓索引的好坏是指:
1,索引不是越多越好。
特别是大量从来或者几乎不用的索引,对系统只有损害。
OLTP系统每表超过5个索引即会降低性能,而且在一个sql中,Oracle从不能使用超过5个索引。
2,很多时候,单列索引不如复合索引有效率。
3,用于多表连结的字段,加上索引会很有作用。
那么,在什么情况下单列索引不如复合索引有效率呢?
有一种情况是显而易见的,那就是,当sql语句所查询的列,全部都出现在复合索引中时,此时由于Oracle只需要查询索引块即可获得所有数据,当然比使用多个单列索引要快得多。
(此时,这种优化方式被称为Indexonlyaccesspath)
除此之外呢?
我们还是来看一个例子吧:
在HP(Oracle8.1.7)上执行以下语句:
selectcount
(1)frommytabswherecoid>=130000andissuedate>=to_date('2001-07-20','yyyy-mm-dd')。
一开始,我们有两个单列索引:
I_mytabs1(coid),I_mytabs2(issuedate),下面是执行情况:
COUNT
(1)
----------
6427
ExecutionPlan
----------------------------------------------------------
0SELECTSTATEMENTOptimizer=CHOOSE(Cost=384Card=1Bytes=11)
10SORT(AGGREGATE)
21TABLEACCESS(BYINDEXROWID)OF'T_MYTABS'(Cost=384Card
=126Bytes=1386)
32INDEX(RANGESCAN)OF'I_MYTABS2'(NON-UNIQUE)(Cost=11
Card=126)
Statistics
----------------------------------------------------------
172recursivecalls
1dbblockgets
5054consistentgets
2206physicalreads
0redosize
293bytessentviaSQL*Nettoclient
359bytesreceivedviaSQL*Netfromclient
2SQL*Netroundtripsto/fromclient
5sorts(memory)
0sorts(disk)
1rowsprocessed
可以看到,它读取了7000个数据块来获得所查询的6000多行。
现在,去掉这两个单列索引,增加一个复合索引I_mytabs_test(coid,issuedate),重新执行,结果如下:
COUNT
(1)
----------
6436
ExecutionPlan
----------------------------------------------------------
0SELECTSTATEMENTOptimizer=CHOOSE(Cost=3Card=1Bytes=11)
10SORT(AGGREGATE)
21INDEX(RANGESCAN)OF'I_MYTABS_TEST'(NON-UNIQUE)(Cost=3Card=126Bytes=1386)
Statistics
----------------------------------------------------------
806recursivecalls
5dbblockgets
283consistentgets
76physicalreads
0redosize
293bytessentviaSQL*Nettoclient
359bytesreceivedviaSQL*Netfromclient
2SQL*Netroundtripsto/fromclient
3sorts(memory)
0sorts(disk)
1rowsprocessed
可以看到,这次只读取了300个数据块。
7000块对300块,这就是在这个例子中,单列索引与复合索引的代价之比。
这个例子提示我们,在许多情况下,单列索引不如复合索引有效率。
可以说,在索引的设置问题上,其实有许多工作可以做。
正确地设置索引,需要对应用进行总体的分析。
四、索引再好,不用也是白搭
抛开前面所说的,假设你设置了一个非常好的索引,任何傻瓜都知道应该使用它,但是Oracle却偏偏不用,那么,需要做的第一件事情,是审视你的sql语句。
Oracle要使用一个索引,有一些最基本的条件:
1,where子句中的这个字段,必须是复合索引的第一个字段;
2,where子句中的这个字段,不应该参与任何形式的计算
具体来讲,假设一个索引是按f1,f2,f3的次序建立的,现在有一个sql语句,where子句是f2=:
var2,则因为f2不是索引的第1个字段,无法使用该索引。
第2个问题,则在我们之中非常严重。
以下是从实际系统上面抓到的几个例子:
SelectjobidfrommytabswhereisReq='0'andto_date(updatedate)>=to_Date('2001-7-18','YYYY-MM-DD');
………
以上的例子能很容易地进行改进。
请注意这样的语句每天都在我们的系统中运行,消耗我们有限的cpu和内存资源。
除了1,2这两个我们必须牢记于心的原则外,还应尽量熟悉各种操作符对Oracle是否使用索引的影响。
这里我只讲哪些操作或者操作符会显式(explicitly)地阻止Oracle使用索引。
以下是一些基本规则:
1,如果f1和f2是同一个表的两个字段,则f1>f2,f1>=f2,f1
2,f1isnull,f1isnotnull,f1notin,f1!
=,f1like‘%pattern%’;
3,Notexist
4,某些情况下,f1in也会不用索引
对于这些操作,别无办法,只有尽量避免。
比如,如果发现你的sql中的in操作没有使用索引,也许可以将in操作改成比较操作+unionall。
笔者在实践中发现很多时候这很有效。
但是,Oracle是否真正使用索引,使用索引是否真正有效,还是必须进行实地的测验。
合理的做法是,对所写的复杂的sql,在将它写入应用程序之前,先在产品数据库上做一次explain.explain会获得Oracle对该sql的解析(plan),可以明确地看到Oracle是如何优化该sql的。
如果经常做explain,就会发现,喜爱写复杂的sql并不是个好习惯,因为过分复杂的sql其解析计划往往不尽如人意。
事实上,将复杂的sql拆开,有时候会极大地提高效率,因为能获得很好的优化。
当然这已经是题外话了。
五、为什么有时数据库不用索引来查找数据
较典型的问题有:
有时,表明明建有索引,但查询过程显然没有用到相关的索引,导致查询过程耗时漫长,占用资源巨大,问题到底出在哪儿呢?
按照以下顺序查找,基本上能发现原因所在。
查找原因的步骤
首先,我们要确定数据库运行在何种优化模式下,相应的参数是:
optimizer_mode。
可在svrmgrl中运行“showparameteroptimizer_mode"来查看。
ORACLEV7以来缺省的设置应是"choose",即如果对已分析的表查询的话选择CBO,否则选择RBO。
如果该参数设为“rule”,则不论表是否分析过,一概选用RBO,除非在语句中用hint强制。
其次,检查被索引的列或组合索引的首列是否出现在PL/SQL语句的WHERE子句中,这是“执行计划”能用到相关索引的必要条件。
第三,看采用了哪种类型的连接方式。
ORACLE的共有SortMergeJoin(SMJ)、HashJoin(HJ)和NestedLoopJoin(NL)。
在两张表连接,且内表的目标列上建有索引时,只有NestedLoop才能有效地利用到该索引。
SMJ即使相关列上建有索引,最多只能因索引的存在,避免数据排序过程。
HJ由于须做HASH运算,索引的存在对数据查询速度几乎没有影响。
第四,看连接顺序是否允许使用相关索引。
假设表emp的deptno列上有索引,表dept的列deptno上无索引,WHERE语句有emp.deptno=dept.deptno条件。
在做NL连接时,emp做为外表,先被访问,由于连接机制原因,外表的数据访问方式是全表扫描,emp.deptno上的索引显然是用不上,最多在其上做索引全扫描或索引快速全扫描。
第五,是否用到系统数据字典表或视图。
由于系统数据字典表都未被分析过,可能导致极差的“执行计划”。
但是不要擅自对数据字典表做分析,否则可能导致死锁,或系统性能下降。
第六,索引列是否函数的参数。
如是,索引在查询时用不上。
第七,是否存在潜在的数据类型转换。
如将字符型数据与数值型数据比较,ORACLE会自动将字符型用to_number()函数进行转换,从而导致第六种现象的发生。
第八,是否为表和相关的索引搜集足够的统计数据。
对数据经常有增、删、改的表最好定期对表和索引进行分析,可用SQL语句“analyzetablexxxxcomputestatisticsforallindexes;"。
ORACLE掌握了充分反映实际的统计数据,才有可能做出正确的选择。
第九,索引列的选择性不高。
我们假设典型情况,有表emp,共有一百万行数据,但其中的emp.deptno列,数据只有4种不同的值,如10、20、30、40。
虽然emp数据行有很多,ORACLE缺省认定表中列的值是在所有数据行均匀分布的,也就是说每种deptno值各有25万数据行与之对应。
假设SQL搜索条件DEPTNO=10,利用deptno列上的索引进行数据搜索效率,往往不比全表扫描的高,ORACLE理所当然对索引“视而不见”,认为该索引的选择性不高。
但我们考虑另一种情况,如果一百万数据行实际不是在4种deptno值间平均分配,其中有99万行对应着值10,5000行对应值20,3000行对应值30,2000行对应值40。
在这种数据分布图案中对除值为10外的其它deptno值搜索时,毫无疑问,如果索引能被应用,那么效率会高出很多。
我们可以采用对该索引列进行单独分析,或用analyze语句对该列建立直方图,对该列搜集足够的统计数据,使ORACLE在搜索选择性较高的值能用上索引。
第十,索引列值是否可为空(NULL)。
如果索引列值可以是空值,在SQL语句中那些需要返回NULL值的操作,将不会用到索引,如COUNT(*),而是用全表扫描。
这是因为索引中存储值不能为全空。
第十一,看是否有用到并行查询(PQO)。
并行查询将不会用到索引。
第十二,看PL/SQL语句中是否有用到bind变量。
由于数据库不知道bind变量具体是什么值,在做非相等连接时,如“<”,“>”,“like”等。
ORACLE将引用缺省值,在某些情况下会对执行计划造成影响。
如果从以上几个方面都查不出原因的话,我们只好用采用在语句中加hint的方式强制ORACLE使用最优的“执行计划”。
hint采用注释的方式,有行注释和段注释两种方式。
如我们想要用到A表的IND_COL1索引的话,可采用以下方式:
“SELECT/*+INDEX(AIND_COL1)*/*FROMAWHERECOL1=XXX;"
注意,注释符必须跟在SELECT之后,且注释中的“+”要紧跟着注释起始符“/*”或“--”,否则hint就被认为是一般注释,对PL/SQL语句的执行不产生任何影响。
六、两种有效的跟踪调试方法
ORACLE提供了两种有效的工具来跟踪调试PL/SQL语句的执行计划。
一种是EXPLAINTABLE方式。
用户必须首先在自己的模式(SCHEMA)下,建立PLAN_TABLE表,执行计划的每一步骤都将记录在该表中,建表SQL脚本为在${ORACLE_HOME}/rdbms/admin/下的utlxplan.sql。
打开SQL*PLUS,输入“SETAUTOTRACEON”,然后运行待调试的SQL语句。
在给出查询结果后,ORACLE将显示相应的“执行计划”,包括优化器类型、执行代价、连接方式、连接顺序、数据搜索路径以及相应的连续读、物理读等资源代价。
如果我们不能确定需要跟踪的具体SQL语句,比如某个应用使用一段时间后,响应速度忽然变慢。
我们这时可以利用ORACLE提供的另一个有力工具TKPROF,对应用的执行过程全程跟踪。
我们要先在系统视图V$SESSION中,可根据USERID或MACHINE,查出相应的SID和SERIAL#。
以SYS或其他有执行DBMS_SYSTEM程序包的用户连接数据库,执行“EXECUTEDBMS_SYSTEM.SET_SQL_TRACE_IN_SESSION(SID,SERIAL#,TRUE);”。
然后运行应用程序,这时在服务器端,数据库参数“USER_DUMP_DEST”指示的目录下,会生成ora__xxxx.trc文件,其中xxxx为被跟踪应用的操作系统进程号。
应用程序执行完成后,用命令tkprof对该文件进行分析。
命令示例:
“tkproftracefile