SQLSERVER完全优化教程Word文档格式.docx
《SQLSERVER完全优化教程Word文档格式.docx》由会员分享,可在线阅读,更多相关《SQLSERVER完全优化教程Word文档格式.docx(68页珍藏版)》请在冰豆网上搜索。
通常,我们会在每个表中都建立一个ID列,以区分每条数据,并且这个ID列是自动增大的,步长一般为1。
我们的这个办公自动化的实例中的列Gid就是如此。
此时,如果我们将这个列设为主键,SQLSERVER会将此列默认为聚集索引。
这样做有好处,就是可以让您的数据在数据库中按照ID进行物理排序,但笔者认为这样做意义不大。
显而易见,聚集索引的优势是很明显的,而每个表中只能有一个聚集索引的规则,这使得聚集索引变得更加珍贵。
从我们前面谈到的聚集索引的定义我们可以看出,使用聚集索引的最大好处就是能够根据查询要求,迅速缩小查询范围,避免全表扫描。
在实际应用中,因为ID号是自动生成的,我们并不知道每条记录的ID号,所以我们很难在实践中用ID号来进行查询。
这就使让ID号这个主键作为聚集索引成为一种资源浪费。
其次,让每个ID号都不同的字段作为聚集索引也不符合“大数目的不同值情况下不应建立聚合索引”规则;
当然,这种情况只是针对用户经常修改记录内容,特别是索引项的时候会负作用,但对于查询速度并没有影响。
在办公自动化系统中,无论是系统首页显示的需要用户签收的文件、会议还是用户进行文件查询等任何情况下进行数据查询都离不开字段的是“日期”还有用户本身的“用户名”。
通常,办公自动化的首页会显示每个用户尚未签收的文件或会议。
虽然我们的where语句可以仅仅限制当前用户尚未签收的情况,但如果您的系统已建立了很长时间,并且数据量很大,那么,每次每个用户打开首页的时候都进行一次全表扫描,这样做意义是不大的,绝大多数的用户1个月前的文件都已经浏览过了,这样做只能徒增数据库的开销而已。
事实上,我们完全可以让用户打开系统首页时,数据库仅仅查询这个用户近3个月来未阅览的文件,通过“日期”这个字段来限制表扫描,提高查询速度。
如果您的办公自动化系统已经建立的2年,那么您的首页显示速度理论上将是原来速度8倍,甚至更快。
在这里之所以提到“理论上”三字,是因为如果您的聚集索引还是盲目地建在ID这个主键上时,您的查询速度是没有这么高的,即使您在“日期”这个字段上建立的索引(非聚合索引)。
下面我们就来看一下在1000万条数据量的情况下各种查询的速度表现(3个月内的数据为25万条):
(1)仅在主键上建立聚集索引,并且不划分时间段:
Selectgid,fariqi,neibuyonghu,titlefromtgongwen
用时:
128470毫秒(即:
128秒)
(2)在主键上建立聚集索引,在fariq上建立非聚集索引:
selectgid,fariqi,neibuyonghu,titlefromTgongwen
wherefariqi>
dateadd(day,-90,getdate())
53763毫秒(54秒)
(3)将聚合索引建立在日期列(fariqi)上:
2423毫秒(2秒)
虽然每条语句提取出来的都是25万条数据,各种情况的差异却是巨大的,特别是将聚集索引建立在日期列时的差异。
事实上,如果您的数据库真的有1000万容量的话,把主键建立在ID列上,就像以上的第1、2种情况,在网页上的表现就是超时,根本就无法显示。
这也是我摒弃ID列作为聚集索引的一个最重要的因素。
得出以上速度的方法是:
在各个select语句前加:
declare@ddatetime
set@d=getdate()
并在select语句后加:
select[语句执行花费时间(毫秒)]=datediff(ms,@d,getdate())
2、只要建立索引就能显著提高查询速度
事实上,我们可以发现上面的例子中,第2、3条语句完全相同,且建立索引的字段也相同;
不同的仅是前者在fariqi字段上建立的是非聚合索引,后者在此字段上建立的是聚合索引,但查询速度却有着天壤之别。
所以,并非是在任何字段上简单地建立索引就能提高查询速度。
从建表的语句中,我们可以看到这个有着1000万数据的表中fariqi字段有5003个不同记录。
在此字段上建立聚合索引是再合适不过了。
在现实中,我们每天都会发几个文件,这几个文件的发文日期就相同,这完全符合建立聚集索引要求的:
“既不能绝大多数都相同,又不能只有极少数相同”的规则。
由此看来,我们建立“适当”的聚合索引对于我们提高查询速度是非常重要的。
3、把所有需要提高查询速度的字段都加进聚集索引,以提高查询速度
上面已经谈到:
在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。
既然这两个字段都是如此的重要,我们可以把他们合并起来,建立一个复合索引(compoundindex)。
很多人认为只要把任何字段加进聚集索引,就能提高查询速度,也有人感到迷惑:
如果把复合的聚集索引字段分开查询,那么查询速度会减慢吗?
带着这个问题,我们来看一下以下的查询速度(结果集都是25万条数据):
(日期列fariqi首先排在复合聚集索引的起始列,用户名neibuyonghu排在后列):
(1)selectgid,fariqi,neibuyonghu,titlefromTgongwenwherefariqi>
'
2004-5-5'
查询速度:
2513毫秒
(2)selectgid,fariqi,neibuyonghu,titlefromTgongwen
wherefariqi>
andneibuyonghu='
办公室'
2516毫秒
(3)selectgid,fariqi,neibuyonghu,titlefromTgongwenwhereneibuyonghu='
60280毫秒
从以上试验中,我们可以看到如果仅用聚集索引的起始列作为查询条件和同时用到复合聚集索引的全部列的查询速度是几乎一样的,甚至比用上全部的复合索引列还要略快(在查询结果集数目一样的情况下);
而如果仅用复合聚集索引的非起始列作为查询条件的话,这个索引是不起任何作用的。
当然,语句1、2的查询速度一样是因为查询的条目数一样,如果复合索引的所有列都用上,而且查询结果少的话,这样就会形成“索引覆盖”,因而性能可以达到最优。
同时,请记住:
无论您是否经常使用聚合索引的其他列,但其前导列一定要是使用最频繁的列。
四、其他书上没有的索引使用经验总结
1、用聚合索引比用不是聚合索引的主键速度快
下面是实例语句:
(都是提取25万条数据)
selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwherefariqi='
2004-9-16'
使用时间:
3326毫秒
selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwheregid<
=250000
4470毫秒
这里,用聚合索引比用不是聚合索引的主键速度快了近1/4。
2、用聚合索引比用一般的主键作orderby时速度快,特别是在小数据量情况下
selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenorderbyfariqi
12936
selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenorderbygid
18843
这里,用聚合索引比用一般的主键作orderby时,速度快了3/10。
事实上,如果数据量很小的话,用聚集索引作为排序列要比使用非聚集索引速度快得明显的多;
而数据量如果很大的话,如10万以上,则二者的速度差别不明显。
3、使用聚合索引内的时间段,搜索时间会按数据占整个数据表的百分比成比例减少,而无论聚合索引使用了多少个:
selectgid,fariqi,neibuyonghu,reader,titlefromTgongwenwherefariqi>
2004-1-1'
6343毫秒(提取100万条)
2004-6-6'
3170毫秒(提取50万条)
3326毫秒(和上句的结果一模一样。
如果采集的数量一样,那么用大于号和等于号是一样的)
selectgid,fariqi,neibuyonghu,reader,titlefromTgongwen
andfariqi<
3280毫秒
4、日期列不会因为有分秒的输入而减慢查询速度
下面的例子中,共有100万条数据,2004年1月1日以后的数据有50万条,但只有两个不同的日期,日期精确到日;
之前有数据50万条,有5000个不同的日期,日期精确到秒。
wherefariqi>
orderbyfariqi
6390毫秒
wherefariqi<
6453毫秒
五、其他注意事项
“水可载舟,亦可覆舟”,索引也一样。
索引有助于提高检索性能,但过多或不当的索引也会导致系统低效。
因为用户在表中每加进一个索引,数据库就要做更多的工作。
过多的索引甚至会导致索引碎片。
所以说,我们要建立一个“适当”的索引体系,特别是对聚合索引的创建,更应精益求精,以使您的数据库能得到高性能的发挥。
当然,在实践中,作为一个尽职的数据库管理员,您还要多测试一些方案,找出哪种方案效率最高、最为有效。
大家都知道LIKE查询很慢,全文索引就是事先做好相关的索引,表示哪个主题词可以在哪些记录里找到,甚至事先计算好RANK,检索时可以把相关度高的先列出来,这可以大大提高检索的速度。
打个比方,你有很多的小抽屉,每个抽屉里面放一些杂物,假如你要找东西,最原始的方法就是一个个抽屉翻,这就是没有索引的情况。
假如聪明一点,给抽屉编号(唯一键),把哪个号码的抽屉有什么东西记录在纸上,找东西先看看这张纸,这就是普通索引,假如你要知道哪个抽屉有什么,你可以在纸上迅速找到抽屉号码(大家知道这是使用查找树),然后得到相关的信息,这种情况普通索引是很快的;
但是要找到一个特定的东西哪些抽屉有,你就要把整张纸遍历一次,这就是LIKE查询,假如你要找哪些抽屉同时有2种甚至更多种物品,LIKE就更加繁琐了。
假如一个表有上千万的纪录,大家可以想象查询的代价。
可以换一个思路,另外找张纸,记录一样东西存在于哪些抽屉:
夹子:
1,3,4,5,6,9,12...
钱币:
2,3,4,7,12...
药丸:
1,3,5,6...
这样找到某样东西或者某几样东西都很容易。
全文索引和普通的SQL索引有很多的区别:
普通SQL索引
全文索引
存储时受定义它们所在的数据库的控制。
存储在文件系统中,但通过数据库管理。
每个表允许有若干个普通索引。
每个表只允许有一个全文索引。
当对作为其基础的数据进行插入、更新或删除时,它们自动更新。
将数据添加到全文索引称为填充,全文索引可通过调度或特定请求来请求,也可以在添加新数据时自动发生。
不分组。
在同一个数据库内分组为一个或多个全文目录。
使用SQLServer企业管理器、向导或Transact-SQL语句创建和除去。
使用SQLServer企业管理器、向导或存储过程创建、管理和除去。
使用全文索引的话,可以看看下面的帖子(感谢大力和lihonggen0):
如何在sqlserver中建立全文索引:
如何使用image字段:
发现大家有一个常问的问题,就是关于以下的信息的:
查询子句只包含被忽略的词
这是因为使用一些很简单的词,比如'
是'
,进行查询的缘故。
提出的解决办法不外乎是把C:
\ProgramFiles\MicrosoftSQLServer\MSSQL\FTDATA\SQLServer\Config\noise.chs清空
觉得这种方法是不可取的,大家打开这个文件看看,发现里面是一些这样的词:
is,are,be,at,我,是
这些词都是频率很高的词,而且在查询中的意义不大,就好像几乎每个抽屉里面都有纸屑一样,为这些词作索引得不偿失,所以全文引擎把这些词称为干扰词不做索引,个人觉得在应用中过滤这些词然后向用户提出友好的提示更好,而不是使用清空noise.chs粗暴的对待全文引擎。
比方大家可以看看在Google中搜索“的”
-------------------------------------------------------------------------
另外谢谢ghj,一个很重要的东西遗漏了,与一般的索引立即更新不同,全文索引一般是定期维护索引的,所以对于频繁更新的数据不合适,需要做全文索引的对象一般都是论文网页之类,还算适合拉!
个人觉得我的数据库没有代表性,所以也不细说:
作索引的时候,CPU和内存使用都很高,时间也很长(下面我的数据库是整个晚上),完成以后并不需要使用很多的系统资源,多个全文查询并发的时候也有不小的CPU消耗,但是比LIKE强。
我的系统上数据库是123M,太小,使用全文索引没有感到特别的优势,但是可以想想对于GOOGLE那样的海量数据,使用LIKE是不可想象的:
)当然别人也没有使用关系数据库。
1.概念
索引是在数据库表或者视图上创建的对象,目的是为了加快对表或视图的查询的速度(简单理解)。
索引是一个单独的、物理的数据库结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单(深刻理解)。
按照存储方式分为:
聚集与非聚集索引(需要重视和区别的概念,后面详解)
按照维护与管理索引角度分为:
唯一索引、复合索引和系统自动创建的索引(相对简单,如下解释:
)
1).唯一索引:
惟一索引可以确保索引列不包含重复的值.
可以用多个列,但是索引可以确保索引列中每个值组合都是唯一的,
即下面的姓不能有重复,同时名也不能有重复:
姓名
李二
张三
王五
语法:
createuniqueindexidxempidonemp(姓,名)
2).复合索引:
如果在两上以上的列上创建一个索引,则称为复合索引。
那么,不可能有两行的姓和名是重复的,即上面的表没有两行其姓和名的组合是一样的。
createindexindxfullnameonemp(姓,名)
3).系统自建的索引:
在使用T_sql语句创建表的时候使用PRIMARYKEY或UNIQUE约束时,会在表上
自动创建一个惟一索引,自动创建的索引是无法删除的。
createtableABC
(empIDintPRIMARYKEY,
firstnamevarchar(50)UNIQUE,
lastnamevarchar(50)UNIQUE,
)/*这样的结果就出来了三个索引,但只有一个聚集索引empID*/
索引的结构是由:
根节点--->
非叶节点--->
叶节点(注意索引在数据库引擎中所用的
内部数据结构一般是B+树,参考后文)
聚集索引和非聚集索引——
用一个现实中的例子说明以助理解。
我们的汉语字典的正文本身就是一个聚集索引。
比如,我们要查“安”字,就会很自然地翻开字典的前几页,因为“安”的拼音是“an”,而按照拼音排序汉字的字典是以英文字母“a”开头并以“z”结尾的,那么“安”字就自然地排在字典的前部。
如果您翻完了所有以“a”开头的部分仍然找不到这个字,那么就说明您的字典中没有这个字;
同样的,如果查“张”字,那您也会将您的字典翻到最后部分,因为“张”的拼音是“zhang”。
也就是说,字典的正文部分本身就是一个目录,您不需要再去查其他目录来找到您需要找的内容。
我们把这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。
如果您认识某个字,您可以快速地从自动中查到这个字。
但您也可能会遇到您不认识的字,不知道它的发音,这时候,您就不能按照刚才的方法找到您要查的字,而需要去根据“偏旁部首”查到您要找的字,然后根据这个字后的页码直接翻到某页来找到您要找的字。
但您结合“部首目录”和“检字表”而查到的字的排序并不是真正的正文的排序方法,比如您查“张”字,我们可以看到在查部首之后的检字表中“张”的页码是672页,检字表中“张”的上面是“驰”字,但页码却是63页,“张”的下面是“弩”字,页面是390页。
很显然,这些字并不是真正的分别位于“张”字的上下方,现在您看到的连续的“驰、张、弩”三字实际上就是他们在非聚集索引中的排序,是字典正文中的字在非聚集索引中的映射。
我们可以通过这种方式来找到您所需要的字,但它需要两个过程,先找到目录中的结果,然后再翻到您所需要的页码。
我们把这种目录纯粹是目录,正文纯粹是正文的排序方式称为“非聚集索引”。
2.性质及使用方法
1)聚集索引:
表中存储的数据按照索引的顺序存储,检索效率比普通索引高,索引占用硬盘
存储空间小(1%左右),但对数据新增/修改/删除的速度影响比较大(降低)。
特点:
(1)无索引,数据无序
(2)有索引,数据与索引同序
(3)数据会根据索引键的顺序重新排列数据
(4)一个表只能有一个索引
(5)叶节点的指针指向的数据也在同一位置存储
createCLUSTEREDINDEXidxempIDONemp(empID)
2)非聚集索引:
不影响表中的数据存储顺序,检索效率比聚集索引低,索引占用硬盘存储
空间大(30%~40%),对数据新增/修改/删除的影响很少。
(1)一个表可以最多可以创建249个非聚集索引
(2)先建聚集索引才能创建非聚集索引
(3)非聚集索引数据与索引不同序
(4)数据与非聚集索引在不同位置
(5)非聚集索引在叶节点上存储,在叶节点上有一个“指针”直接指向要查询的数据区域
(6)数据不会根据非聚集索引键的顺序重新排列数据
createNONCLUSTEREDINDEXidximpIDONemp(empID)
创建索引的方法:
1)企业管理器中
(1)右击某个表,所有任务---管理索引,打开管理索引,单击“新建”就可以创建索引
(2)在设计表中进行设计表,管理索引/键
(3)在关系图中,添加表后右击关系图中的某个表,就有“索引/键”
(4)通过向导,数据库---创建索引向导
(5)通过T-SQL语句
2)能过“索引优化向导”来优化索引的向导,通过它可以决定选择哪些列做为索引列
何时应使用聚集索引或非聚集索引
3.数据库引擎中索引的内部结构
有必要先说明一下数据库引擎,
这部分是较深的内容,需要有一定的数据库理论知识和数据结构与算法知识,数据结构和算法告诉我们,对索引关键字进行快速查找时要使用树形数据结构,在数据库引擎中,索引通常用B+树来表示,google发现这方面的文章较少,后面找到相关详细资料会补充。
4.主键、索引、聚集索引和非聚集索引
1)主键(PK)
唯一标识表中的所有行的一个列或一组列。
主键不允许空值。
不能存在具有相同的主键值的两个
行,因此主键值总是唯一标识单个行。
表中可以有不止一个键唯一标识行,每个键都称作候选键。
只有
一个候选键可以选作表的主键,所有其它候选键称作备用键。
尽管表不要求具有主键,但定义主键是很
好的做法。
在规范化的表中,每行中的所有数据值都完全依赖于主键。
例如,在以EmployeeID作为
主键的规范化的employee表中,所有列都应包含与某个特定职员相关的数据。
该表不具有
DepartmentName列,因为部门的名称依赖于部门ID,而不是职员ID。
2)索引
关系数据库中基于键值提供对表的行中数据的快速访问的数据库对象。
索引还可以在表的行上强制唯
一性。
SQLServer支持聚集索引和非聚集索引。
对表的主键自动进行索引。
在全文搜索中,全文索引
存储关于重要词和这些词在给定列中的位置的