Redis在新浪的大规模运维经验演讲人侯军伟新浪高级DBA.pdf

Redis在新浪的大规模运维经验演讲人侯军伟新浪高级DBA.pdf

《Redis在新浪的大规模运维经验演讲人侯军伟新浪高级DBA.pdf》由会员分享，可在线阅读，更多相关《Redis在新浪的大规模运维经验演讲人侯军伟新浪高级DBA.pdf（53页珍藏版）》请在冰豆网上搜索。

Redis在新浪的大规模运维经验曾经的阿飞2013-5-61关于我DBA新浪网MySQL、Redis、HBase2013-5-62大纲Redis简介Redis应用运维经验2013-5-632013-5-64Redis简介REmoteDIctionaryServerin-memorybutpersistentdatabaseondiskStartat2009byantirezOpensource2013-5-65存储&cachestring、hash、list、set、sortedset持久化高性能过期时间2013-5-66持久化rdbaof2013-5-67rdbFork子进程，copyonwriterdbcompressionyesdbfilenamer7700.rdbsave2013-5-68aof2013-5-69appendonlyyesappendfilenameappendonly.aofappendfsynceverysecalwaysnono-appendfsync-on-rewriteyesauto-aof-rewrite-percentage0auto-aof-rewrite-min-size64mbAof=appendonlylogfileMySQLbinlogbgrewriteaofAppendRewriteFork子进程子进程遍历所有key写入临时文件父进程更新aof写入缓冲区缓冲区追加临时文件替换已有的aof文件2013-5-610bgrewriteaofautoauto-aof-rewrite-percentage100aof_current_sizeaof_base_sizeauto-aof-rewrite-min-size64mbcrontabremote集中式2013-5-611恢复恢复过程只打开aof，使用aof加载同时打开aof和rdb，使用aof加载打开rdb，使用rdb加载2013-5-612Hash恢复测试大小大小（G）恢复时间恢复时间恢复时间恢复时间/G内存2.0400rdb0.651929.23aof1150846.18rewriteaof419448.502013-5-6130100200300400500600内存rdbaofrewriteaof恢复时间恢复时间024681012内存rdbaofrewriteaof大小大小2013-5-614大纲Redis简介Redis应用运维经验2013-5-615现状实例1500+内存总量：

15T+访问量：

2000亿+/天2013-5-6162013-5-617WebMCMCMCMCQueueMasterSlaveMasterSlaveMySQL2013-5-618WebQueueMasterSlaveMasterSlaveRedis2013-5-619MasterSlaveMasterSlaveRedisMySQLWebQueue业务StringHashListSetSortedset2013-5-620粉丝关注粉丝列表关注列表互相关注列表2013-5-621粉丝关注2013-5-622HashKey:

user_idField:

friendidsValue:

addedtime相关操作加关注：

hsetuser_idfriend_idadded_time删关注：

hdeluser_idfriend_id获取关注用户的时间：

hgetuser_idfriend_id获取关注列表：

hgetalluser_id2013-5-623演化Sharding问题获取关注列表比较慢CpuHgetall成为瓶颈2013-5-624MemcacheRedis通知HashKey=uidFiled=appkeyValue=count2013-5-625通知List2013-5-626通知SetKey=uidValue=appkey2013-5-627通知2013-5-628WebredisredisredisredisQueueMasterSlaveMasterSlavehandlersocket大纲Redis简介Redis应用运维经验2013-5-629运维经验自劢化监控报警RedisHA改进坑2013-5-630自劢化自劢部署自劢扩容2013-5-631前段写入Redis7901-1976IDC3Redis7901-1976IDC1Redis7901-1976IDC2Redis7901-1976信息查询2013-5-632自劢部署2013-5-633自劢扩容2013-5-634资源池2013-5-6352013-5-636App2usedApp1usedFApp2userdApp1used预留预留FreeFree内存自劢部署自劢迁移自劢扩容2013-5-6372013-5-638报警CPU单核使用率LoadDisk剩余空间增长速度2013-5-639报警ConnectReplicationconnected_clientsAOFaof_current_size/aof_base_size2013-5-640报警Memory服务器可用内存实例可用内存maxmemorymaxmemory-policynoeviction2013-5-641RedisHA双写复制2013-5-642双写2013-5-643MasterMaster读写读写复制2013-5-644MasterSlaveReadOnly复制写读读已有方案redis_failover多IDC官方的Sentinel分布式双写数据的一致服务恢复2013-5-645redis_failover2013-5-646Sentinel2013-5-647RedisSentinelSentinelSentinelRedisHA2013-5-64800ZookeeperDNSMasqClientMasterFailoverLogicSlaveFailoverLogicManagerAgentDNSDNSChanger经验string-hashInstagram100w数据2013-5-64901020304050607080stringhash分段hash内存占用内存占用经验hash-max-zipmap-entries512hash-max-zipmap-value512list-max-ziplist-entries512list-max-ziplist-value64set-max-intset-entries512zset-max-ziplist-entries128zset-max-ziplist-value64activerehashingyes2013-5-650经验网卡中断Bgrewriteaof戒者bgsave分开充裕的磁盘空间（128G*2*3=768G）RAID卡2013-5-651改进Rediscounterrdb+aofaofposition固定大小滚劢rediscronbgrewrite473*自劢升级慢查询网络抖劢引起Slave重传2013-5-652Q&A曾经的阿飞2013-5-653