海量数据设计优化.docx
《海量数据设计优化.docx》由会员分享，可在线阅读，更多相关《海量数据设计优化.docx（74页珍藏版）》请在冰豆网上搜索。
海量数据设计优化
构建千万用户级别后台数据库架构设计的思路
【导读】
关于如何构建千万级别用户的后台数据库架构话题，在ITPUB及CSDN论坛都有不少网友提问，新型问答网站知乎上也有人提问，并且顺带梳理了下思路，方便更多的技术朋友有章可循，整理一篇抛砖引玉性的文章。
一、技术朋友给出的背景资料：
（1）. 网站型应用，主要指：
SNS社交网站、新闻门户型网站、邮件系统、SNSGame社交游戏、电子商务网站、即时通信IM等类型系统；
（2）. 注册用户为千万级别，也即1KW注册用户以内；
二、要求
构建千万级别用户的后台数据库架构分析思路，对数据层架构设计的有章可循，必须考虑数据量的大小，以及数据库提供服务的性能和系统的可靠性，适当地考虑用户量超过，以及需要使用的服务器资源等信息。
三、构建千万级别用户的后台数据库架构的分析思路
曾经发过一篇文章，关于千万级别用户应用架构设计的歌谣，供大家参考 千万级架构设计诀窍，接下来我们针对如何构建千万级别用户的后台数据库架构，给出通用性分析思路的建议，未必完全靠谱，但求基本靠谱（注：
毕竟很多事情需要看具体业务而定的）：
（1）. 一定要区分业务类型，可能达到千万用户级别的应用业务场景，可归类描述为：
SNS社交平台、SNS社交游戏、即时通信IM系统、电子商务、邮件系统、新闻门户网站等，这些不同类型的业务场景做法会不一样，主要是由他们业务性质决定，后续分析项中逐一描述；
（2）. 应用业务的核心KPI数值，产品每天的日活跃用户量大概多少？
若是网站类型应用，还需要加入其他参数PV,UV等数据辅助决策，即时通信IM的消息量，邮件系统的新增邮件数，SNS社交平台的Feeds量等核心数据；
（3）. 系统中每个用户可能产生的数据量大概多大，分固定部分，以及动态部分的方式统计分析，对非固定部分以参考值和结合实践跨度（注释：
1年为硬性指标，2年为预期，3年可选，再长的时间段不考虑）的方式进行分析，然后预测出整个系统的用户锁产生的数据条数和数据容量大概的估值；
（4）. 注册用户并不等于活跃用户，为此需要预估日活跃用户量大概多少？
周活跃用户量大概？
月活跃用户量大概多少？
系统设计的最高并发量为多少？
这数字还是非常有必要，不管是对数据量预估，还是对技术实现方案的选择都有帮助；
（5）. 根据应用业务的特点，以及系统不同模块的功能特点，初期必须判断出可能负载最大的系统模块，对于可以静态化模块或功能，尽量要Cache起来，以降低系统的负载和提高前端响应速度；若是非Cache技术能解决的，是否可以考虑独立或通过整体水平扩展方式解决系统的负载和性能问题；
（6）. 针对系统中各个模块的功能或业务特点，大致那些用户数据会累计比较大，以及那些数据操作频率比较高；
（7）. 不同的业务其对数据操纵不一样，要大致明白自己的应用：
读写比如关系，也即：
SELECT:
UPDATE:
DELETE:
UPDATE=？
；
（8）. 系统的整体架构中，必须考虑系统的稳定性、负载均衡和响应速度，为此必须考虑一些模块借助Cache、异步、消息队列等技术，进行一些特殊处理或折中做法，以达到目标；
（9）. 若使用MySQL数据库产品作为后台数据库提供数据服务，建议尽量使简洁的SQL语句，并不是说不用JOIN，而是要考虑MySQL对JOIN的实现算法，符合Nestedloopjoin优缺点中的优点；
（10）.数据库结构设计
既然说是构建千万级别用户的后台数据库架构，前面讲清楚如何熟悉和理解业务模型，清楚系统可能存在的瓶颈、技术难度，以及一些技术实现方案，现在必须回归到数据库设计阶段。
开始讨论如何收集、分析和设计数据库结构之前，我们先简单地对数据库，什么情况下要考虑进行水平拆分？
尤其针对互联网行业流行的数据库产品MySQL来讨论，各大数据库技术论坛或个人博客型技术网站，有不少名言式的基调：
数据量超过100W，就需要分表，MySQL无法支持大数据量的服务等等？
以前的MySQL（主要指：
MySQL5.0以前版本）版本确实存在诸多问题，以及当时跑MySQL的服务器一般都是超低配置，还依然记得当时我们的数据库服务器最高也就8G内存，一般都是2G内存，硬盘都是单盘且转速是10K，甚至7500转的，而当时大多主流数据库产品Oracle跑的服务器配置却很少这么差。
我们大家要一时俱进，技术人员尤其DBA或架构师，要学会以数据说话，以其中一测试用例，DELL29504*15K*146GRAID1+0，16G内存，E5410CPU*2，一张分31个分区的区表业务模型只有INSERT+SELECT，且以50个INSERT+10个SELECT线程并发执行，总记录写入数据量6KW行左右，单表数据容量超过100G，并发从最高的9100TPS/S下降到8700TPS/S之后就稳定在此值。
上面论述MySQL支持大表并没有太大的性能方面的下降，但是并不表示笔者建议大家这么做，至少有二点MySQL的备份和数据库结构变更非常麻烦，尤其数据库结构变更其特殊的做法，使其成为一大瓶颈，也不知道要牺牲我们多少DBA的睡眠，具体的信息大家可以参考文章MySQL数据库生产环境维护，但是对于新闻内容的存储需求，可以把新闻主题内容单独放到一张表中，以子表的方式存在，提供数据服务器，且该数据很少做变更，一般情况下是INSERT之后就只有读为主，那么就不会是任何问题，阿里巴巴旺旺弹出的新闻页面的内容就是采用此方式存储，当时单表容量接近1T，早高峰的时候也不会出现服务器性能问题，以及系统负载都非常稳定。
我们继续回到构建千万级别用户的后台数据库架构的话题上，具体建议或做法如下所示：
10.1>数据库的设计开始之前，必须优先进行业务的数据流梳理（注释：
必须尽量考虑应用所有可能的功能模块），以及对业务优先进行优化和规划，然后根据数据流和功能考虑数据库的结构设计和优化；
10.2>千万级别用户量，若是非游戏行业的产品（SNS游戏除外），建议考虑用户数据拆分架构设计，以及考虑后续未来1-2年的承受量，若是SNS平台必须考虑拆分，除非考虑上SSD、Fusion-io、存储等更高端的设备，用金钱换时间的方式支持技术改造；
10.3>数据拆分的核心与难处：
同一个用户的数据尽量放一起（拆分规则要尽量简单可执行），拆分之后用户关系的数据如何保存的抉择有多种（存2份或存1份放一个地方），难处数据的分页，统计合并等；
10.4>要考虑一些冗余的方式解决SQL性能问题，但是又不能过多引入冗余而造成IO开销增加太多，冗余字段要尽量整型字段；
10.5>数据库表对象的字段属性，要尽量考虑数字化，尤其游戏行业；
10.6>数据库设计过程中，对于索引组织结构要偏向共同操作最优先，其次应用外部用户级别的操作性能优先，最后内部用户的操作，硬尽量隔离，例如：
搜索引擎Build操作、内部编辑团队审核等操作；
10.7>数据库要从设计角度规避一些无法通过其他技术手段解决的模糊查询，类似全文索引的模糊查询，要走搜索引擎的模式，再通过数据库读具体的数据，一些必要的计数类型的数据，适当地考虑缓存；
10.8>重点解决数据库级别的数据分页问题，要学会从前端应用用户的体验不降低的情况下，达到更高效的数据分页做法，类如论坛中帖子分楼的做法；
10.9>数据库的设计必须考虑使用什么类型配置的物理服务器，核心参数：
内存、CPU、硬盘（这个是关键：
硬盘类型（注：
SATA、SAS、SSD）、多少块盘、转速、容量，以及做RAID几），RAID卡内存及RAID写模式也需要考虑进去，必须结合数据量和读写能力要求进行一个预算规划，不一定超准确，但是要八九不离十；
【结束】
主要是想通过回答网友的提问“如何构建千万用户级别后台数据库”，把对于此类用户级别通用性分析和设计的思路描述清楚，实在不善于文字描述，可能很多地方没有讲述到位，还请各位一起补充完毕和纠正。
上千万条数据的查询优化方案
（一）
随着“金盾工程”建设的逐步深入和公安信息化的高速发展，公安计算机应用系统被广泛应用在各警种、各部门。
与此同时，应用系统体系的核心、系统数据的存放地――数据库也随着实际应用而急剧膨胀，一些大规模的系统，如人口系统的数据甚至超过了1000万条，可谓海量。
那么，如何实现快速地从这些超大容量的数据库中提取数据（查询）、分析、统计以及提取数据后进行数据分页已成为各地系统管理员和数据库管理员亟待解决的难题。
在以下的文章中，我将以“办公自动化”系统为例，探讨如何在有着1000万条数据的MSSQLSERVER数据库中实现快速的数据提取和数据分页。
以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构：
CREATETABLE[dbo].[TGongwen]（ --TGongwen是红头文件表名
[Gid][int]IDENTITY（1,1）NOTNULL,
--本表的id号，也是主键
[title][varchar]（80）COLLATEChinese_PRC_CI_ASNULL,
--红头文件的标题
[fariqi][datetime]NULL,
--发布日期
[neibuYonghu][varchar]（70）COLLATEChinese_PRC_CI_ASNULL,
--发布用户
[reader][varchar]（900）COLLATEChinese_PRC_CI_ASNULL,
--需要浏览的用户。
每个用户中间用分隔符“,”分开
）ON[PRIMARY]TEXTIMAGE_ON[PRIMARY]
GO
下面，我们来往数据库中添加1000万条数据：
declare@iint
set@i=1
while@i<=250000
begin
insertintoTgongwen（fariqi,neibuyonghu,reader,title）values（'2004-2-5','通信科','通信科,办公室,王局长,刘局长,张局长,admin,刑侦支队,特勤支队,交巡警支队,经侦支队,户政科,治安支队,外事科','这是最先的25万条记录'）
set@i=@i+1
end
GO
declare@iint
set@i=1
while@i<=250000
begin
insertintoTgongwen（fariqi,neibuyonghu,reader,title）values（'2004-9-16','办公室','办公室,通信科,王局长,刘局长,张局长,admin,刑侦支队,特勤支队,交巡警支队,经侦支队,户政科,外事科','这是中间的25万条记录'）
set@i=@i+1
end
GO
declare@hint
set@h=1
while@h<=100
begin
declare@iint
set@i=2002
while@i<=2003
begin
declare@jint
set@j=0
while@j<50
begin
declare@kint
set@k=0
while@k<50
begin
insertintoTgongwen（fariqi,neibuyonghu,reader,title）values（cast（@iasvarchar（4））+'-8-153:
'+cast（@jasvarchar
（2））+':
'+cast（@jasvarchar
（2））,'通信科','办公室,通信科,王局长,刘局长,张局长,admin,刑侦支队,特勤支队,交巡警支队,经侦支队,户政科,外事科','这是最后的50万条记录'）
set@k=@k+1
end
set@j=@j+1
end
set@i=@i+1
end
set@h=@h+1
end
GO
declare@iint
set@i=1
while@i<=9000000
begin
insertintoTgongwen（fariqi,neibuyonghu,reader,title）values（'2004-5-5','通信科','通信科,办公室,王局长,刘局长,张局长,admin,刑侦支队,特勤支队,交巡警支队,经侦支队,户政科,治安支队,外事科','这是最后添加的900万条记录'）
set@i=@i+1000000
end
GO
通过以上语句，我们创建了25万条由通信科于2004年2月5日发布的记录，25万条由办公室于2004年9月6日发布的记录，2002年和2003年各100个2500条相同日期、不同分秒的由通信科发布的记录（共50万条），还有由通信科于2004年5月5日发布的900万条记录，合计1000万条。
一、深入浅出理解索引结构
实际上，您可以把索引理解为一种特殊的目录。
微软的SQLSERVER提供了两种索引：
聚集索引（clusteredindex，也称聚类索引、簇集索引）和非聚集索引（nonclusteredindex，也称非聚类索引、非簇集索引）。
下面，我们举例来说明一下聚集索引和非聚集索引的区别：
其实，我们的汉语字典的正文本身就是一个聚集索引。
比如，我们要查“安”字，就会很自然地翻开字典的前几页，因为“安”的拼音是“an”，而按照拼音排序汉字的字典是以英文字母“a”开头并以“z”结尾的，那么“安”字就自然地排在字典的前部。
如果您翻完了所有以“a”开头的部分仍然找不到这个字，那么就说明您的字典中没有这个字；同样的，如果查“张”字，那您也会将您的字典翻到最后部分，因为“张”的拼音是“zhang”。
也就是说，字典的正文部分本身就是一个目录，您不需要再去查其他目录来找到您需要找的内容。
我们把这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。
如果您认识某个字，您可以快速地从自动中查到这个字。
但您也可能会遇到您不认识的字，不知道它的发音，这时候，您就不能按照刚才的方法找到您要查的字，而需要去根据“偏旁部首”查到您要找的字，然后根据这个字后的页码直接翻到某页来找到您要找的字。
但您结合“部首目录”和“检字表”而查到的字的排序并不是真正的正文的排序方法，比如您查“张”字，我们可以看到在查部首之后的检字表中“张”的页码是672页，检字表中“张”的上面是“驰”字，但页码却是63页，“张”的下面是“弩”字，页面是390页。
很显然，这些字并不是真正的分别位于“张”字的上下方，现在您看到的连续的“驰、张、弩”三字实际上就是他们在非聚集索引中的排序，是字典正文中的字在非聚集索引中的映射。
我们可以通过这种方式来找到您所需要的字，但它需要两个过程，先找到目录中的结果，然后再翻到您所需要的页码。
我们把这种目录纯粹是目录，正文纯粹是正文的排序方式称为“非聚集索引”。
通过以上例子，我们可以理解到什么是“聚集索引”和“非聚集索引”。
进一步引申一下，我们可以很容易的理解：
每个表只能有一个聚集索引，因为目录只能按照一种方法进行排序。
二、何时使用聚集索引或非聚集索引
下面的表总结了何时使用聚集索引或非聚集索引（很重要）：
动作描述
使用聚集索引
使用非聚集索引
列经常被分组排序
应
应
返回某范围内的数据
应
不应
一个或极少不同值
不应
不应
小数目的不同值
应
不应
大数目的不同值
不应
应
频繁更新的列
不应
应
外键列
应
应
主键列
应
应
频繁修改索引列
不应
应
事实上，我们可以通过前面聚集索引和非聚集索引的定义的例子来理解上表。
如：
返回某范围内的数据一项。
比如您的某个表有一个时间列，恰好您把聚合索引建立在了该列，这时您查询2004年1月1日至2004年10月1日之间的全部数据时，这个速度就将是很快的，因为您的这本字典正文是按日期进行排序的，聚类索引只需要找到要检索的所有数据中的开头和结尾数据即可；而不像非聚集索引，必须先查到目录中查到每一项数据对应的页码，然后再根据页码查到具体内容。
三、结合实际，谈索引使用的误区
理论的目的是应用。
虽然我们刚才列出了何时应使用聚集索引或非聚集索引，但在实践中以上规则却很容易被忽视或不能根据实际情况进行综合分析。
下面我们将根据在实践中遇到的实际问题来谈一下索引使用的误区，以便于大家掌握索引建立的方法。
1、主键就是聚集索引
这种想法笔者认为是极端错误的，是对聚集索引的一种浪费。
虽然SQLSERVER默认是在主键上建立聚集索引的。
通常，我们会在每个表中都建立一个ID列，以区分每条数据，并且这个ID列是自动增大的，步长一般为1。
我们的这个办公自动化的实例中的列Gid就是如此。
此时，如果我们将这个列设为主键，SQLSERVER会将此列默认为聚集索引。
这样做有好处，就是可以让您的数据在数据库中按照ID进行物理排序，但笔者认为这样做意义不大。
显而易见，聚集索引的优势是很明显的，而每个表中只能有一个聚集索引的规则，这使得聚集索引变得更加珍贵。
从我们前面谈到的聚集索引的定义我们可以看出，使用聚集索引的最大好处就是能够根据查询要求，迅速缩小查询范围，避免全表扫描。
在实际应用中，因为ID号是自动生成的，我们并不知道每条记录的ID号，所以我们很难在实践中用ID号来进行查询。
这就使让ID号这个主键作为聚集索引成为一种资源浪费。
其次，让每个ID号都不同的字段作为聚集索引也不符合“大数目的不同值情况下不应建立聚合索引”规则；当然，这种情况只是针对用户经常修改记录内容，特别是索引项的时候会负作用，但对于查询速度并没有影响。
在办公自动化系统中，无论是系统首页显示的需要用户签收的文件、会议还是用户进行文件查询等任何情况下进行数据查询都离不开字段的是“日期”还有用户本身的“用户名”。
通常，办公自动化的首页会显示每个用户尚未签收的文件或会议。
虽然我们的where语句可以仅仅限制当前用户尚未签收的情况，但如果您的系统已建立了很长时间，并且数据量很大，那么，每次每个用户打开首页的时候都进行一次全表扫描，这样做意义是不大的，绝大多数的用户1个月前的文件都已经浏览过了，这样做只能徒增数据库的开销而已。
事实上，我们完全可以让用户打开系统首页时，数据库仅仅查询这个用户近3个月来未阅览的文件，通过“日期”这个字段来限制表扫描，提高查询速度。
如果您的办公自动化系统已经建立的2年，那么您的首页显示速度理论上将是原来速度8倍，甚至更快。
在这里之所以提到“理论上”三字，是因为如果您的聚集索引还是盲目地建在ID这个主键上时，您的查询速度是没有这么高的，即使您在“日期”这个字段上建立的索引（非聚合索引）。
下面我们就来看一下在1000万条数据量的情况下各种查询的速度表现（3个月内的数据为25万条）：
（1）仅在主键上建立聚集索引，并且不划分时间段：
Selectgid,fariqi,neibuyonghu,titlefromtgongwen
用时：
128470毫秒（即：
128秒）
（2）在主键上建立聚集索引，在fariq上建立非聚集索引：
selectgid,fariqi,neibuyonghu,titlefromTgongwenwherefariqi>dateadd（day,-90,getdate（））
用时：
53763毫秒（54秒）
（3）将聚合索引建立在日期列（fariqi）上：
selectgid,fariqi,neibuyonghu,titlefromTgongwen wherefariqi>dateadd（day,-90,getdate（））
用时：
2423毫秒（2秒）
虽然每条语句提取出来的都是25万条数据，各种情况的差异却是巨大的，特别是将聚集索引建立在日期列时的差异。
事实上，如果您的数据库真的有1000万容量的话，把主键建立在ID列上，就像以上的第1、2种情况，在网页上的表现就是超时，根本就无法显示。
这也是我摒弃ID列作为聚集索引的一个最重要的因素。
得出以上速度的方法是：
在各个select语句前加：
declare@ddatetime
set@d=getdate（）
并在select语句后加：
select[语句执行花费时间（毫秒）]=datediff（ms,@d,getdate（））
2、只要建立索引就能显著提高查询速度
事实上，我们可以发现上面的例子中，第2、3条语句完全相同，且建立索引的字段也相同；不同的仅是前者在fariqi字段上建立的是非聚合索引，后者在此字段上建立的是聚合索引，但查询速度却有着天壤之别。
所以，并非是在任何字段上简单地建立索引就能提高查询速度。
从建表的语句中，我们可以看到这个有着1000万数据的表中fariqi字段有5003个不同记录。
在此字段上建立聚合索引是再合适不过了。
在现实中，我们每天都会发几个文件，这几个文件的发文日期就相同，这完全符合建立聚集索引要求的：
“既不能绝大多数都相同，又不能只有极少数相同”的规则。
由此看来，我们建立“适当”的聚合索引对于我们提高查询速度是非常重要的。
3、把所有需要提高查询速度的字段都加进聚集索引，以提高查询速度
上面已经谈到：
在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。
既然这两个字段都是如此的重要，我们可以把他们合并起来，建立一个复合索引（compoundindex）。
很多人认为只要把任何字段加进聚集索引，就能提高查询速度，也有人感到迷惑：
如果把复合的聚集索引字段分开查询，那么查询速度会减慢吗？
带着这个问题，我们来看一下以下的查询速度（结果集都是25万条数据）：
（日期列fariqi首先排在复合聚集索引的起始列，用户名neibuyonghu排在后列）：
（1）selectgid,fariqi,neibuyonghu,titlefromTgongwenwherefariqi>''2004-5-5''
查询速度：
2513毫秒
（2）selectgid,fariqi,neibuyonghu,titlefromTgongwen wherefariqi>''2004-5-5''andneibuyonghu=''办公室''
查询速度：
2516毫秒
（3）selectgid,fariqi,neibuyonghu,titlefromTgongwenwhereneibuyonghu=''办公室''
查询速度：
60280毫秒
从以上试验中，我们可以看到如果仅用聚集索引的起始列作为查询条件和同时用到复合聚集索引的全部列的查询速度是几乎一样的，甚至比用上全部的复合索引列还要略快（在查询结果集数目一样的情况下）；而如果仅用复合聚集索引的非起始列作为查询条件的话，这个索引是不起任何作用的。
当然，语句1、2的查询速度一样是因为查询的条目数一样，如果复合
升级会员 