高可用数据库架构设计完整版.docx
《高可用数据库架构设计完整版.docx》由会员分享，可在线阅读，更多相关《高可用数据库架构设计完整版.docx（13页珍藏版）》请在冰豆网上搜索。
高可用数据库架构设计完整版
标准化管理处编码[BBX968T-XBB8968-NNJ668-MM9N]
高可用数据库架构设计
MySQL数据库高可用架构设计
目标：
MySQL数据库服务器不受单点宕机的影响，即时A服务器挂掉或者磁盘损坏物理故障导致数据库不可用也不会导致整个系统处于不可用状态，因为还有另外一台备用的数据库服务器可以提供服务。
派宝箱采取方案双机主从热备（MaterSlave模式）
背景：
双机热备的概念简单说一下，就是要保持两个数据库的状态自动同步。
对任何一个数据库的操作都自动应用到另外一个数据库，始终保持两个数据库数据一致。
这样做的好处:
1.可以做灾备，其中一个坏了可以切换到另一个。
2.可以做负载均衡，可以将请求分摊到其中任何一台上，提高网站吞吐量。
对于异地热备，尤其适合灾备。
原理：
MySQLReplication双机热备+每天自动sqldump出物理文件备份
双机主从自动热备实现数据库服务的高可用加sqldump导出数据文件的方式备份。
双重保险！
可能遇到的问题与挑战：
主从数据库数据一致性问题
宕机后主从切换的问题
1复制概述
Mysql内建的复制功能（MySQLREPLICATION）是构建大型，高性能应用程序的基础。
将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。
复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。
主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。
这些日志可以记录发送到从服务器的更新。
当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。
从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。
请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。
否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。
mysql支持的复制类型：
（１）：
基于语句的复制：
在主服务器上执行的SQL语句，在从服务器上执行同样的语句。
MySQL默认采用基于语句的复制，效率比较高。
一旦发现没法精确复制时，会自动选着基于行的复制。
（２）：
基于行的复制：
把改变的内容复制过去，而不是把命令在从服务器上执行一遍.从开始支持 （３）：
混合类型的复制:
默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。
.复制解决的问题
MySQL复制技术有以下一些特点：
（1）数据分布（Datadistribution）
（2）负载平衡（loadbalancing）
（3）备份（Backups）
（4）高可用性和容错行Highavailabilityandfailover
复制如何工作
整体上来说，复制有3个步骤：
（1）master将改变记录到二进制日志（binarylog）中（这些记录叫做二进制日志事件，binarylogevents）；
（2）slave将master的binarylogevents拷贝到它的中继日志（relaylog）；
（3）slave重做中继日志中的事件，将改变反映它自己的数据。
下图描述了复制的过程：
该过程的第一部分就是master记录二进制日志。
在每个事务更新数据完成之前，master在二日志记录这些改变。
MySQL将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。
在事件写入二进制日志完成后，master通知存储引擎提交事务。
下一步就是slave将master的binarylog拷贝到它自己的中继日志。
首先，slave开始一个工作线程——I/O线程。
I/O线程在master上打开一个普通的连接，然后开始binlogdumpprocess。
Binlogdumpprocess从master的二进制日志中读取事件，如果已经跟上master，它会睡眠并等待master产生新的事件。
I/O线程将这些事件写入中继日志。
SQLslavethread（SQL从线程）处理该过程的最后一步。
SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数据一致。
只要该线程与I/O线程保持一致，中继日志通常会位于OS的缓存中，所以中继日志的开销很小。
此外，在master中也有一个工作线程：
和其它MySQL的连接一样，slave在master中打开一个连接也会使得master开始一个线程。
复制过程有一个很重要的限制——复制在slave上是串行化的，也就是说master上的并行更新操作不能在slave上并行操作。
2.复制配置
有两台MySQL数据库服务器Master和slave，Master为主服务器，slave为从服务器，初始状态时，Master和slave中的数据信息相同，当Master中的数据发生变化时，slave也跟着发生相应的变化，使得master和slave的数据信息同步，达到备份的目的。
要点：
负责在主、从服务器传输各种修改动作的媒介是主服务器的二进制变更日志，这个日志记载着需要传输给从服务器的各种修改动作。
因此，主服务器必须激活二进制日志功能。
从服务器必须具备足以让它连接主服务器并请求主服务器把二进制变更日志传输给它的权限。
环境：
Master和slave的MySQL数据库版本同为
操作系统：
unbuntu
IP地址：
、创建复制帐号
1、在Master的数据库中建立一个备份帐户：
每个slave使用标准的MySQL用户名和密码连接master。
进行复制操作的用户会授予REPLICATIONSLAVE权限。
用户名的密码都会存储在文本文件中
命令如下：
mysql>GRANTREPLICATIONSLAVE,RELOAD,SUPERON*.*
IDENTIFIEDBY‘1234’;
建立一个帐户backup，并且只能允许从这个地址上来登陆，密码是1234。
（如果因为mysql版本新旧密码算法不同，可以设置：
）
、拷贝数据
（假如是你完全新安装mysql主从服务器，这个一步就不需要。
因为新安装的master和slave有相同的数据）
关停Master服务器，将Master中的数据拷贝到B服务器中，使得Master和slave中的数据同步，并且确保在全部设置操作结束前，禁止在Master和slave服务器中进行写操作，使得两数据库中的数据一定要相同！
、配置master
接下来对master进行配置，包括打开二进制日志，指定唯一的servrID。
例如，在配置文件加入如下值：
server-id=1log-bin=mysql-bin
server-id：
为主服务器A的ID值log-bin：
二进制变更日值
重启master，运行SHOWMASTERSTATUS，输出如下：
、配置slave
Slave的配置与master类似，你同样需要重启slave的MySQL。
如下：
log_bin=mysql-bin
server_id=2
relay_log=mysql-relay-bin
log_slave_updates=1
read_only=1server_id是必须的，而且唯一。
slave没有必要开启二进制日志，但是在一些情况下，必须设置，例如，如果slave为其它slave的master，必须设置bin_log。
在这里，我们开启了二进制日志，而且显示的命名（默认名称为hostname，但是，如果hostname改变则会出现问题）。
relay_log配置中继日志，log_slave_updates表示slave将复制事件写进自己的二进制日志（后面会看到它的用处）。
有些人开启了slave的二进制日志，却没有设置log_slave_updates，然后查看slave的数据是否改变，这是一种错误的配置。
所以，尽量使用read_only，它防止改变数据（除了特殊的线程）。
但是，read_only并是很实用，特别是那些需要在slave上创建表的应用。
、启动slave
接下来就是让slave连接master，并开始重做master二进制日志中的事件。
你不应该用配置文件进行该操作，而应该使用CHANGEMASTERTO语句，该语句可以完全取代对配置文件的修改，而且它可以为slave指定不同的master，而不需要停止服务器。
如下：
mysql>CHANGEMASTERTOMASTER_HOST='server1',
->MASTER_USER='repl',
->MASTER_PASSWORD='p4ssword',
->MASTER_LOG_FILE='',
->MASTER_LOG_POS=0;
MASTER_LOG_POS的值为0，因为它是日志的开始位置。
你可以用SHOWSLAVESTATUS语句查看slave的设置是否正确：
mysql>SHOWSLAVESTATUS\G
***************************1.row***************************
Slave_IO_State:
Master_Host:
server1
Master_User:
repl
Master_Port:
3306
Connect_Retry:
60
Master_Log_File:
Read_Master_Log_Pos:
4
Relay_Log_File:
Relay_Log_Pos:
4
Relay_Master_Log_File:
Slave_IO_Running:
No
Slave_SQL_Running:
No
...omitted...
Seconds_Behind_Master:
NULL
Slave_IO_State,Slave_IO_Running,和Slave_SQL_Running是No
表明slave还没有开始复制过程。
日志的位置为4而不是0，这是因为0只是日志文件的开始位置，并不是日志位置。
实际上，MySQL知道的第一个事件的位置是4。
为了开始复制，你可以运行：
mysql>STARTSLAVE;
运行SHOWSLAVESTATUS查看输出结果：
mysql>SHOWSLAVESTATUS\G
***************************1.row***************************
Slave_IO_State:
Waitingformastertosendevent
Master_Host:
server1
Master_User:
repl
Master_Port:
3306
Connect_Retry:
60
Master_Log_File:
Read_Master_Log_Pos:
164
Relay_Log_File:
Relay_Log_Pos:
164
Relay_Master_Log_File:
Slave_IO_Running:
Yes
Slave_SQL_Running:
Yes
...omitted...
Seconds_Behind_Master:
0
在这里主要是看:
Slave_IO_Running=Yes
Slave_SQL_Running=Yes
slave的I/O和SQL线程都已经开始运行，而且Seconds_Behind_Master不再是NULL。
日志的位置增加了，意味着一些事件被获取并执行了。
如果你在master上进行修改，你可以在slave上看到各种日志文件的位置的变化，同样，你也可以看到数据库中数据的变化。
你可查看master和slave上线程的状态。
在master上，你可以看到slave的I/O线程创建的连接：
在master上输入showprocesslist\G;
mysql>showprocesslist\G
***************************1.row***************************
Id:
1
User:
root
Host:
localhost:
2096
db:
test
Command:
Query
Time:
0
State:
NULL
Info:
showprocesslist
***************************2.row***************************
Id:
2
User:
repl
Host:
localhost:
2144
db:
NULL
Command:
BinlogDump
Time:
1838
State:
Hassentallbinlogtoslave;waitingforbinlogtobeupdated
Info:
NULL
2rowsinsetsec）
行2为处理slave的I/O线程的连接。
在slave服务器上运行该语句：
mysql>showprocesslist\G
***************************1.row***************************
Id:
1
User:
systemuser
Host:
db:
NULL
Command:
Connect
Time:
2291
State:
Waitingformastertosendevent
Info:
NULL
***************************2.row***************************
Id:
2
User:
systemuser
Host:
db:
NULL
Command:
Connect
Time:
1852
State:
Hasreadallrelaylog;waitingfortheslaveI/Othreadtoupdateit
Info:
NULL
***************************3.row***************************
Id:
5
User:
root
Host:
localhost:
2152
db:
test
Command:
Query
Time:
0
State:
NULL
Info:
showprocesslist
3rowsinsetsec）
行1为I/O线程状态，行2为SQL线程状态。
问题与挑战之—主从数据库一致性问题
MYSQL复制不同步的原因
mysqlreplication（复制）采用binlog进行网络传输，所以网络延时是产生mysql主从不同步的主要原因，这会给我们进行主从复制读写分离带来一定困难
为了避免这种情况，在配置服务器的时候推荐使用INNODB存储引擎的表，在主机上可以设置sync_binlog
下面内容摘抄自《MYSQL行调优和架构设计》
“sync_binlog”：
这个参数是对于MySQL系统来说是至关重要的，他不仅影响到Binlog对MySQL所带来的性能损耗，而且还影响到MySQL中数据的完整性。
对“sync_binlog”参数的各种设置的说明如下：
●sync_binlog=0，当事务提交之后，MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的信息到磁盘，而让Filesystem自行决定什么时候来做同步，或者cache满了之后才同步到磁盘。
●sync_binlog=n，当每进行n次事务提交之后，MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。
在MySQL中系统默认的设置是sync_binlog=0，也就是不做任何强制性的磁盘刷新指令，这时候的性能是最好的，但是风险也是最大的。
因为一旦系统Crash，在binlog_cache中的所有binlog信息都会被丢失。
而当设置为“1”的时候，是最安全但是性能损耗最大的设置。
因为当设置为1的时候，即使系统Crash，也最多丢失binlog_cache中未完成的一个事务，对实际数据没有任何实质性影响。
从以往经验和相关测试来看，对于高并发事务的系统来说，“sync_binlog”设置为0和设置为1的系统写入性能差距可能高达5倍甚至更多。
如果master主机上的max_allowed_packet比较大，但是从机上没有配置该值的话，该参数还是使用默认值1MB此时很有可能导致同步失败，建议主从两台机器都设为5MB比较合适
1.配置优化
在MySQL中，一次事务提交后，需要写undo、写redo、写binlog，写数据文件等等。
在这个过程中，可能在某个步骤发生crash，就有可能导致主从数据的不一致。
为了避免这种情况，我们需要调整主从上面相关选项配置，确保即便发生crash了，也不能发生主从复制的数据丢失。
在master上修改配置
innodb_flush_log_at_trx_commit=1
sync_binlog=1
上述两个选项的作用是：
保证每次事务提交后，都能实时刷新到磁盘中，尤其是确保每次事务对应的binlog都能及时刷新到磁盘中，只要有了binlog，InnoDB就有办法做数据恢复，不至于导致主从复制的数据丢失。
在slave上修改配置
master_info_repository="TABLE"
relay_log_info_repository="TABLE"
relay_log_recovery=1
上述前两个选项的作用是：
确保在slave上和复制相关的元数据表也采用InnoDB引擎，受到InnoDB事务安全的保护，而后一个选项的作用是开启relaylog自动修复机制，发生crash时，会自动判断哪些relaylog需要重新从master上抓取回来再次应用，以此避免部分数据丢失的可能性。
通过上面几个选项的调整，就可以确保主从复制数据不会发生丢失了。
但是，这并不能保证主从数据的绝对一致性，因为，有可能设置了ignore\do\rewrite等replication规则，或者某些SQL本身存在不确定因素，或者人为在slave上修改数据，最终导致主从数据不一致。
这种情况下，可以采用pt-table-checksum和pt-table-sync工具来进行数据的校验和修复。
2.一致性检测和修复工具
pt-table-checksum和pt-table-sync
问题与挑战之—主从切换
1>正常切换
1）从服务器检查SHOWPROCESSLIST语句的输出，直到你看到HasreadallrelaylogwaitingfortheslaveI/Othreadtoupdateit
2）确保从服务器已经处理了日志中的所有语句。
>STOPSLAVEIO_THREAD
当从服务器都执行完这些，它们可以被重新配置为一个新的设置。
3）在被提升为主服务器的从服务器上，发出STOPSLAVE和RESETMASTER和RESETSLAVE操作。
4）然后重启mysql服务。
5）在备用服务器（新的主服务器）创建用户grantreplicationslaveon*.*torepdcs@'IPofA'identifiedby'replpwd'
grantallprivilegeson*.*to'repdcs'@'IP'identifiedbyreplpwd;
6）在主服务器上RESETMASTER。
然后CHANGEMASTERTOMASTER_HOST='原从服务器IP',MASTER_USER='用户名',MASTER_PASSWORD='密码',master_log_file='';
7）查看状态showslavestatus\G;
Showmasterstatus\G;
8）修改应用的连接地址到新的主库
切换完成。
2>主机直接宕机
1>在备机上执行STOPSLAVE和RESETMASTER
2>查看showslavestatus\G;
3>然后修改应用的连接地址。
一般大部分切换为直接宕机主机已经没法提供服务
升级会员 