Redis在新浪的大规模运维经验演讲人侯军伟新浪高级DBA.pdf

1、Redis在新浪的大规模运维经验 曾经的阿飞 2013-5-6 1 关于我 DBA新浪网 MySQL、Redis、HBase 2013-5-6 2 大纲 Redis简介 Redis应用 运维经验 2013-5-6 3 2013-5-6 4 Redis简介 REmote DIctionary Server in-memory but persistent database on disk Start at 2009 by antirez Open source 2013-5-6 5 存储&cache string、hash、list、set、sorted set 持久化 高性能 过期时间 201

2、3-5-6 6 持久化 rdb aof 2013-5-6 7 rdb Fork子进程，copy on write rdbcompression yes dbfilename r7700.rdb save 2013-5-6 8 aof 2013-5-6 9 appendonly yes appendfilename appendonly.aof appendfsync everysec always no no-appendfsync-on-rewrite yes auto-aof-rewrite-percentage 0 auto-aof-rewrite-min-size 64mb Aof=a

3、ppend only log file MySQL binlog bgrewriteaof Append Rewrite Fork子进程 子进程遍历所有key写入临时文件 父进程更新aof写入缓冲区 缓冲区追加临时文件 替换已有的aof文件 2013-5-6 10 bgrewriteaof auto auto-aof-rewrite-percentage 100 aof_current_size aof_base_size auto-aof-rewrite-min-size 64mb crontab remote集中式 2013-5-6 11 恢复 恢复过程 只打开aof，使用aof加载 同时

4、打开aof和rdb，使用aof加载 打开rdb，使用rdb加载 2013-5-6 12 Hash 恢复测试 大小大小(G)恢复时间恢复时间 恢复时间恢复时间/G 内存 2.04 0 0 rdb 0.65 19 29.23 aof 11 508 46.18 rewrite aof 4 194 48.50 2013-5-6 13 0100200300400500600内存 rdbaofrewrite aof恢复时间恢复时间 024681012内存 rdbaofrewrite aof大小大小 2013-5-6 14 大纲 Redis简介 Redis应用 运维经验 2013-5-6 15 现状 实例

5、1500+内存总量：15T+访问量：2000亿+/天 2013-5-6 16 2013-5-6 17 Web MC MC MC MC Queue Master Slave Master Slave MySQL 2013-5-6 18 Web Queue Master Slave Master Slave Redis 2013-5-6 19 Master Slave Master Slave Redis MySQL Web Queue 业务 String Hash List Set Sorted set 2013-5-6 20 粉丝关注 粉丝列表 关注列表 互相关注列表 2013-5-6 21

6、粉丝关注 2013-5-6 22 Hash Key:user_id Field:friend ids Value:added time 相关操作 加关注：hset user_id friend_id added_time 删关注：hdel user_id friend_id 获取关注用户的时间：hget user_id friend_id 获取关注列表：hgetall user_id 2013-5-6 23 演化 Sharding 问题 获取关注列表比较慢 Cpu Hgetall成为瓶颈 2013-5-6 24 Memcache Redis 通知 Hash Key=uid Filed=appk

7、ey Value=count 2013-5-6 25 通知 List 2013-5-6 26 通知 Set Key=uid Value=appkey 2013-5-6 27 通知 2013-5-6 28 Web redis redis redis redis Queue Master Slave Master Slave handlersocket 大纲 Redis简介 Redis应用 运维经验 2013-5-6 29 运维经验 自劢化 监控报警 Redis HA 改进 坑 2013-5-6 30 自劢化 自劢部署 自劢扩容 2013-5-6 31 前段写入 Redis 7901-1976 I

8、DC3 Redis 7901-1976 IDC1 Redis 7901-1976 IDC2 Redis 7901-1976 信息查询 2013-5-6 32 自劢部署 2013-5-6 33 自劢扩容 2013-5-6 34 资源池 2013-5-6 35 2013-5-6 36 App2 used App1 used F App2 userd App1 used 预留 预留 Free Free 内存 自劢部署 自劢迁移 自劢扩容 2013-5-6 37 2013-5-6 38 报警 CPU 单核使用率 Load Disk 剩余空间 增长速度 2013-5-6 39 报警 Connect Re

9、plication connected_clients AOF aof_current_size/aof_base_size 2013-5-6 40 报警 Memory 服务器可用内存 实例可用内存 maxmemory maxmemory-policy noeviction 2013-5-6 41 Redis HA 双写 复制 2013-5-6 42 双写 2013-5-6 43 Master Master 读 写 读 写 复制 2013-5-6 44 Master Slave ReadOnly 复制 写 读 读 已有方案 redis_failover 多IDC 官方的Sentinel 分布式

10、 双写 数据的一致 服务恢复 2013-5-6 45 redis_failover 2013-5-6 46 Sentinel 2013-5-6 47 Redis Sentinel Sentinel Sentinel Redis HA 2013-5-6 48 00 Zookeeper DNSMasq Client Master Failover Logic Slave Failover Logic Manager Agent DNS DNS Changer 经验 string-hash Instagram 100w数据 2013-5-6 49 01020304050607080stringhas

11、h分段hash 内存占用内存占用 经验 hash-max-zipmap-entries 512 hash-max-zipmap-value 512 list-max-ziplist-entries 512 list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 activerehashing yes 2013-5-6 50 经验 网卡中断 Bgrewriteaof戒者bgsave分开 充裕的磁盘空间(128G*2*3=768G)RAID卡 2013-5-6 51 改进 Rediscounter rdb+aof aof position 固定大小滚劢 redis cronbgrewrite 47 3*自劢升级 慢查询 网络抖劢引起Slave重传 2013-5-6 52 Q&A 曾经的阿飞 2013-5-6 53