饿了么实时架构演进PPT课件下载推荐.pptx

饿了么实时架构演进PPT课件下载推荐.pptx

《饿了么实时架构演进PPT课件下载推荐.pptx》由会员分享，可在线阅读，更多相关《饿了么实时架构演进PPT课件下载推荐.pptx（34页珍藏版）》请在冰豆网上搜索。

数据源：

数据收集：

消息消息队队列：

列：

实时实时引擎：

引擎：

数据存数据存储储：

+从从0到到1的的应应用用页页面性能（分城市）面性能（分城市）页面访问性能主站&

各页面PV/UV脚本JS错误JS脚本脚本错误错误（分运（分运营营商）商）从从0到到1的的总结总结巧妇难为无米之炊（业务场景）欲善其事，必利其器（技欲善其事，必利其器（技术术工具）工具）兵马未动，粮草（监控）先行他山之石，可以攻玉（高效、快速）分享提分享提纲纲从从0到到1高速高速发发展展成熟与完善成熟与完善新方新方向向&

A高速高速发发展之展之烦恼烦恼平台升级优化实时业务剧增平台问题不断监而不控监而难控大促压力资源不足经验匮乏1、业务场景：

交易、推荐、测试.2、平台问题：

雪崩、规范.3、监控：

粒度粗、告警多.4、压力：

大促销、多维指标.5、资源：

机器&

人力、经验匮乏高速高速发发展之行展之行动动流量日志交易订单物流配送数据源BinlogParserJVMHLL方案双链路高可用链路压测架构优化HbaseMySQLRedisCluster数据存储1.数据源：

流量（流量（UBT集群）集群）交易交易订单订单（MySQL）物流配送物流配送（MySQL、Rabbitmq）2.数据存数据存储储：

RedisCluster（双双写写）HbaseMySQL（DAL控制）控制）高速高速发发展之架构展之架构优优化化String-Pb格式优化Snappycompress自动拉起Binlog（OR）Data2Kafka数据回放CommitZkOffset高速高速发发展之展之应应用用优优化化JVMHLL方案存储方式优化qps降低4倍双链路高可用方案链路双写应用自动降级数据自动恢复实时链路梳理压测延迟毫秒级StormHeatbeat调整灾备演练高速高速发发展展监监控控优优化化监控问题监控梳理监控完善监控展示监而可控1.监控问题：

粒度粗、无效告警多2.监控梳理：

全链路、机器级别、服务级别、应用级别3.监控完善：

链路延迟、组件Metric、DB性能4.监控展示：

阈值实时告警;

数据入库展示5.监而可控：

应用自动拉起、监控驱动优化高速高速发发展之成果展之成果用用户户行行为实时测试为实时测试系系统统全国全国订单实时热订单实时热力力图图上海街道配送上海街道配送热热力力图图高速高速发发展之成果展之成果订单订单流量流量实时实时指指标标高速高速发发展之展之总结总结总结经验疑难杂症实时集群容量200台+（7storm集群）数据量qps：

10w/s计算量400w/s链路压力各组件20%以内分享提分享提纲纲从从0到到1高速高速发发展展成熟与完善成熟与完善新方新方向向&

A成熟与完善之窘境初成熟与完善之窘境初现现1.实时计算平台？

不就Storm吗？

2.业务实现实时应用，如何开发、上线、监控？

3.消息队列里同一份数据，总是被多次重复处理？

4.各种乱七八糟的报警，如何屏蔽或自定义监控？

5.应用又报错，哪里可以快速、高效检索应用日志？

。

实时平台成熟完善数据清洗、归档、共享统一日志检索常用组件封装实时任务平台化管理多元化计算引擎/存储成熟与完善之思考成熟与完善之思考成熟与完善之数据共享成熟与完善之数据共享清洗、分离、归档数据复用跨IDC传输99%Delay2s以内Protobuf+SnappyCompress成熟与完善之数据成熟与完善之数据检检索索应用日志/监控实时收集日志按应用合理限流HangoutVSFlume性能对比30FlumeAgent高峰延迟10min1Hangout10线程数据无延迟ElasticSearch检索性能2个集群，上海20台ssd机器qps:

13w/s25亿/天Cpu5%HeapUsage：

20%ElasticSearch监控Metric监控KOPF、HQ成熟与完善之成熟与完善之组组件封装件封装TyphonBaseSpoutKafkaSpoutMysqlSpoutDrcSpoutBaseBoltBaseFuncBoltBaseRedisBoltProtobufBoltDelayBoltHyperLogLogBoltElemeTopologyElasticSearchReporterInfluxdbReporter成熟与完善之平台化成熟与完善之平台化项目任务管理、权限控制多版本控制，方便回滚发布前置检测成熟与完善之平台化成熟与完善之平台化实时任务Metric监控指标自定义监控成熟与完善之平台化成熟与完善之平台化数据源探查实时集群管理容量监控成熟与完善之平台化成熟与完善之平台化实时任务指标管理BinlogParser管理数据质量管理成熟与完善之多元化成熟与完善之多元化Grace（监监控离控离线线性能）性能）数据源：

实时实时平台：

平台：

Redis时间时间响响应应系系统统成熟与完善之成熟与完善之应应用用热卖美食实时推荐猜你喜欢实时特征提取准时达实时定位饿了么实时看板指标实时风控分享提分享提纲纲从从0到到1高速高速发发展展成熟与完善成熟与完善新方新方向向&

A新方向之新方向之选选型型BI同学想说：

如何快速实时数据报表&

实时数据分析实时计算同学想说：

计算框架能否更快、更准确、更完美新方向新方向之之Flink实实践践FlinkFeatures：

高吞吐、低延迟支持EventTimeexactly-once高度灵活的流式窗口迭代和增量迭代分享提分享提纲纲从从0到到1高速高速发发展展成熟与完善成熟与完善新方新方向向&

A不断完善的平台框架不断完善的平台框架图图不断完善平台不断完善平台之之Next平台性能提升Storm调优/资源隔离Flink、Jstrorm适配平台自动化运维支撑运维一键化/容量分析资源审计、治理多元化平台StreamCQLRDP优化