RPC分享.ppt

1、基础技术,RPC分享,Contents,背景,1.访问量逐年攀升服务器数不断增加,2.业务不断发展应用规模日趋庞大,3.对性能可靠性的要求越来越高,问题,对策,分布式服务架构,All in one,垂直应用架构,流动计算架构,单一应用架构,Vertical Application,Distributed Service,Elastic Computing,。,application,service,1 10,1 0 1000,1000 10000,10000+,PV（万）,架构演变过程,架构图,前端负载+缓存（lvs+nginx）,web,web,web,web,web server,user

2、,user,product,product,order,order,消息中间件,统一配置平台,分布式缓存,DAL(分库分表、读写分离),db,db,db,db,db,db,Db cluster,统一监控平台,使用RPC通信：同步/异步调用client负载均衡.,order web,login web,order,distributed server,Logic server Layer,Base server Layer,RPC架构,底层IO,底层IO,client,sever,Transport,Tprotocol,TProcessor,用户代码,Netty,Tprotocol,TServi

3、ceClient,用户代码,Thritf通过接口描述文件生成存根代码,用Thritf的协议和序列化实现跨语言,服务端用netty做网络通信,Thrift提供客户端不同语言通信API,系统架构图,Registry,Monitor,Consumer,Consumer,init,syn,asyn,1.registry,0.start,2.subscribe,4.invoke,3.notify,5.count,与其它系统联系,Provider:暴露服务的服务提供者（RPC Server）。Consumer:调用远程服务的服务消费者（RPC Client）。Registry:服务注册与发现的注册中心。M

4、onitor:统计服务的调用次数和调用时间的监控中心。Container:服务运行容器。,Remoting,RPC,分布式事务,处理线程池,cluster,config,自动配置,monitor,registry,已完成,待完成,模块与功能,RPC相关技术,RPC要素,IO模型：用什么样的通道将数据发送给对方（java bio/nio）,数据协议：用什么数据格式进行传输，双方的约定（Thrift）,线程模型:当接收到数据时，如何分发数据进行处理（netty）,IO模型,IO请求划分两个阶段：1.等待数据就绪 2.从内核缓冲区拷贝到进程缓冲区 按照请求是否阻塞 分同步IO 和异步IO,客服端,网

5、络接口,远程内核,网络接口,本地内核,底层网络通信,服务器,Java bio/nio,Java bio/nio,系统调用,inTTransport,outTTransport,系统调用,inTTransport,outTTransport,inTProtocol,outTProtocol,TProcessor,业务代码,Tserver,ThreadPool,ThreadPool,ThreadPool,inTProtocol,outTProtocol,TServiceClient/TAsyncClient,通过IDL脚本生成存根代码,客户端代码,Thrift架构图,80,01,00,01,00,

6、.,.,00,00,00,00,01,.,.,00,00,00,00,.,.,.,.,.,.,00,.,.,.,.,MessageVersion(I16),MessageType(I16),MessageName(string),MessageSeqid(I32),MessageEndTag(*),StuctBeginTag(*),StuctEndTag(*),Field1-N,0B,00,01,00,00,00,07,4d,69,63,68,61,65,6c,.,.,Field1(假设字符串：Michael),FieldsStopTag(byte),FieldEndTag(*),FieldT

7、ype(byte),Fieldid(I16),Length(I32),77,105,99,104,97,101,108,消息描述,参数体,参数结构,Thrift序列化协议,Thrift基础数据序列化,Thrift序列化压缩,可变长编码与zigzag 编码：,Netty 架构图,accept,client,Fork,Server,client,client,mainThread,普通网络服务模型,Reactor模式,DownStream Handler N,UpStream Handler 1,UpStream Handler 2,UpStream Handler N-1,DownStream

8、Handler N-1,DownStream Handler 1,UpStream Handler N,DownStream Handler 1,ChannelPipeline,Other downStreamHandler,Other upStreamHandler,OutBound Data,InBound Data,Socket(read/write),Netty internal io threads(传输层实现),由channel/channelHandlerContext触发down request,sendUpStream,sendDownStream,Netty处理模型,acc

9、ept,client,client,client,write,read,Register,数据统计,连接限制,数据统计,解码处理,超时机制,Thrift分发,编码处理,超时机制,异常日志,异常日志,Other upStreamHandler,Other downStreamHandler,In/OutTransportadapter,In/OutTProtocol,In/OutTProcessor,业务实现,upStream,ChannelPipeline,downStream,Thrift,Thrift+Netty调用流程,功能介绍,.,.,上下文,80,01,00,01,00,.,.,Th

10、riftMessage,.,.,.,.,.,.,.,.,.,.,80,01,00,01,.,.,.,.,00,00,00,01,MessageVersionAndType(I32),MessageName(string)固定标示上下文字符串”$_1_PC$_1_&_8_#”,MessageSeqid(I32),上下文消息,Thrift信息,MessageEndTag(*),Map,0B,0B,00,00,00,06,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,keyType(b),valueType(b),size(I32),mapEnd(*),Size个Key-v

11、alue,Channel pool,server1,server2,server3,负载均衡,client.servers=192.168.49.63:9090:2,192.168.49.6:9090:4,192.168.49.25:9090:6,client,Request queue,信息在客户端标示,信息在服务端标示,client,server1,server1,server1,调用方式,Request queue,Channel pool,返回结果,ListenableFuture,1.同步请求，必须等待服务端返回结果,2.单向请求，只需将请求数据成功发送服务端，就立即返回。,3.异步

12、请求，可以同时先发送多个请求，异步获取返回结果.ListenableFuture.get(),4.回调请求，通过异步实现。ListenableFuture.addListener(),Heartbeat Timer,心跳检测,client,server1,server2,Request queue,Channel pool,1.发送心跳包（上下文中isHeartBeat=true），等待返回信息,2.在返回信息上下文中isHeartBeat=false，或者无返回信息，则移除相应的channel,3.将移除channel请求队列中没有发送的请求包，转移到其他存活channel。已发送的请求包会

13、在队列中等待超时处理,client.heartbeat-timeout=10s,客户端发送心跳信息,服务端发送心跳信息,超时机制,客户端：client.read-timeout=60s#must=1ms 客户端等待读数据时间client.write-timeout=60s#must=1ms 客户端等待写数据时间client.serverProcess-timeout=10s#must=1s客户端传给服务端处理超时时间服务端：server.processer-timeout=3s#若客户端没有传送处理超时时间，#服务端将用此默认处理超时时间,性能监控,Cpu与内存监控并发与线程监控运行时参数修改查看统计信息,开发易用性,1.Maven 插件com.jumei.mojoparrot-maven-plugin1.0.02.两个goal t2p：将thrift IDL文件生成java代码 p2t：将java代码生成thrift IDL文件,不要求精通Thrift IDL在java中通过标注方式编写接口通过maven插件实现java和Thrift相互转换,与Tomcat性能对比,后期功能,案例,