金融云分布式数据库TDSQL技术架构.pptx

金融云分布式数据库TDSQL技术架构.pptx

《金融云分布式数据库TDSQL技术架构.pptx》由会员分享，可在线阅读，更多相关《金融云分布式数据库TDSQL技术架构.pptx（30页珍藏版）》请在冰豆网上搜索。

,金融云分布式数据库TDSQL技术架构,技术创新变革未来,TDSQL简介,目录CONTENTS,TDSQL架构与分布式方案,TDSQL分布式事务处理,分布式事务处理技术,金融级云数据库解决方案（CDBforTDSQL）,面向金融类业务，十年积累，亿级账户验证腾讯公司内与计费、充值、转账、财务等核心系统90%以上都使用TDSQL！

2002,腾讯SP业务原生MYSQL,2004,增值业务分库分表手工伸缩,2008,业务爆炸一致性、7X24可用性,2010,腾讯计费超高并发超短时延,2012,米大师，腾讯充值更名TDSQL,2015,腾讯云金融云,2014,WeBank私有化部署,5,TDSQL数据库的特点,基于OLTP场景永不停机、高一致性数据库集群,基于MySQL生态MySQL100%兼容,6,TDSQL数据库的特点,跨机房部署网络故障不影响业务,数据强同步主备数据完全一致,三重保障集群内保障3套节点，单点故障整体稳定,金融级安全支持物理专享，支持数据库审计，支持加密等,可用性：

99.999%,数据可靠性：

99.99999%,7,TDSQL数据库的特点,性能卓越,安全可靠,高一致性,高可用性,弹性容量,TDSQL简介,目录CONTENTS,TDSQL架构与分布式方案,TDSQL分布式事务处理,分布式事务处理技术,数据库部署架构,数据库节点组（SET）由MySQL数据库、监控和信息采集模块组成一主二从数据库节点。

调度集群作为集群的管理调度中心，主要管理数据库节点组、接入网关集群的正常运行接入网关集群账号鉴权、管理连接、SQL解析、分配路由分布式文件系统（HDFS）提供数据灾备服务，提供至少3份备份异地容灾数据库节点组部署在主节点以外的异地机房。

9,10,数据库核心架构,11,数据分布,TDSQL分布式方案（自动扩容）,网关,set00,G,G0,G1,G255,扩容,网关,G,G0,G1,G255,Set00,Set01,Set,Set255,13,实时在线自动扩容,DCDB的整个迁移过程采用：

移存量数据、迁移增量数据、数据检验、再追增量、切换路由、清理六个步骤循环迭代进行。

该能力经过腾讯内部近千个业务验证，至今未发生过一次数据丢失或错误。

14,TDSQL强一致原理,备,备,SET,IDC-1,IDC-3,IDC-2,主,4,2,2,3,3,TDSQL强一致原理（确保没有脏数据）,1、主机可读可写，备机只读，备机可以开放给业务查询使用2、任何时刻同一个SET不能有两个主机,4、重建主备关系5、修改路由6、请求发给新的主机,Proxy,3,宁愿拒绝服务，不提供错误的服务，追求CAP中的C，必要的时候牺牲部分AScheduler,Slave1,Slave2,SET1、主DB降级为备机2、参与选举的备机上报最新的binlog点3、scheduler收到binlog点之后，选择出binlog最大的节点,Agent,Agent,Agent,Proxy,Scheduler,Master,Slave2,6,SET,Agent,Agent,Slave3,MasterDB,Agent,TDSQL强一致原理（恢复阶段不丢失数据）,A（主）T1,T2,T3,C（备）T1,T2,B（备）T1,A宕机，C选举成新的主机,C（主）T1,T2,X3,X4,A（备）T1,T2,T3,X3,X4,B（备）T1,T2,X3,X4,C（主）T1,T2,X3,X4,D（备）T1，T2,X3,X4,B（备）T1，T2,X3,X4,重新加入，可能需要回退部分事务,回退事务T3,Xtrabackup自动快速重做,增加节点,TDSQL高性能原理,BinlogDump,半同步复制（同步,降级为异步）,异步复制,18,TDSQL高性能原理,UserThread,DumpThread,IOThread,SQLThread,Binlog,write,read,relaylog,SendTransaction（T1）withACKrequest,ACK（T1）,write,read,Inform（T1）,Engine,commit,Commit（T1）,OK（T1）,master,slave,UserACKThread,DumpACKThread,Commit（T2）,SendT2,返回应答,保存THD回话,19,TDSQL高性能原理,主,备,备,更新索引QPS：

10万，99%的10ms,纯selectQPS：

50万，99%的5ms,环境：

ts85机型（x86，24核（48超线程），512G内存,6TSSD）,TDSQL分布式方案（可靠的备份系统）数据备份热备：

实时同步，实时加载冷备：

快照+binlog数据恢复就地恢复（闪回/补录）新节点重建（冷备+binlog）定点回退（冷备+binlog）,主,备0,备（n-1）,SET,冷备中心HDFS,实时热备,延迟加载,全量冷备,TDSQL分布式方案（特性）,所有的Set还是原来的NoShard实例同一个用户的所有表在一起小表可以广播到所有的Set每个表都支持全局唯一序列号,groupby,OrderbyMax,sum,min,ave等聚合函数Distinct,count

（1）同一个group内的join事务,只读帐号支持读写分离,热点更新,HASH分区两级分区RANGE分区全局唯一数字序列,DataBuffer脏页刷出效率提升,TDSQL分布式方案（部署）,两地四中心-（自动化切换的强同步架构）,两地三中心,TDSQL简介,目录CONTENTS,TDSQL架构与分布式方案,TDSQL分布式事务处理,分布式事务处理技术,TDSQL分布式事务（金融云的需求和挑战）,数据量和访问量的压力导致分库分表数据量与访问负载带来的扩展需求（scalability）-扩容（分库分表）将数据分摊到多个set（存储空间和IO带宽限制）将负载分摊到多个set（网络和CPU等资源瓶颈）目标：

扩容后数据库集群性能提升；理想目标：

扩容后性能线性提升（数据和系统耦合性导致不可能）业内现状：

大多只可以访问一个set-数据一致性的要求,TDSQL分布式事务（金融云的需求和挑战）,TDSQL金融业务需要分布式事务同一个事务中写数据到多个set上挑战：

数据一致性与容灾应对：

定制实现应用需求比如转账技术门槛非常高，大多数中小公司做不到但他们是才是云计算（DaaS）的主力用户应对：

分布式事务对用户透明，没有额外的技术门槛,TDSQL分布,式事务（金融云的需求和挑战）,starttransaction;修改user1的金额;修改user2的金额;commit;,TDSQL分布式事务（金融云的需求和挑战）,调度者,TDSQL的典型部署架构网关（GW）-调度者任意数量，通常每个DB实例配一个groupshard模式解析SQL语句set（1主2备）1个（noshard）或多个（groupshard）set1:

M1,S11,S12;set2:

M2,S21,S22agent（每个DB实例1个）监控DB实例，完成集群下发的任务网关支持用户发送多条写入SQL到多个set小表广播（一个基本静态的小表复制到所有set）多行插入语句多行更新删除所有访问多个set的事务都是分布式事务内部自动识别，对用户透明两阶段提交http:

/,TDSQL分布式方案,TDSQL，一直在努力,TDSQL简介,目录CONTENTS,TDSQL架构与分布式方案,TDSQL分布式事务处理,分布式事务处理技术,分布式数据库事务技术,