libevent源码深度剖析.docx
《libevent源码深度剖析.docx》由会员分享,可在线阅读,更多相关《libevent源码深度剖析.docx(45页珍藏版)》请在冰豆网上搜索。
libevent源码深度剖析
libevent源码深度剖析一
—*—序幕
1前言
Libevent是一个轻量级的开源高性能网络库,使用者众多,研究者更甚,相关文章也不少。
写这一系列文章的用意在于,一则分享心得;二则对libevent代码和设计思想做系统的、更深层次的分析,写出来,也可供后来者参考。
附带一句:
Libevent是用c语言编写的(MS大牛们都偏爱c语言哪),而且几乎是无处不函数指针,学习其源代码也需要相当的c语言基础。
2Libevent简介
上来当然要先夸奖啦,Libevent有几个显著的亮点:
事件驱动(event-driven),高性能;
轻量级,专注于网络,不如ACE那么臃肿庞大;
源代码相当精炼、易读;
跨平台,支持Windows、Linux、*BSD和MacOs;
支持多种I/O多路复用技术,epoll、poll、dev/poll、select和kqueue等;
支持I/O,定时器和信号等事件;
注册事件优先级;
Libevent已经被广泛的应用,作为底层的网络库;比如memcached、Vomit、Nylon、Netchat等等。
Libevent当前的最新稳定版是1.4.13;这也是本文参照的版本。
3学习的好处
学习libevent有助于提升程序设计功力,除了网络程序设计方面外,Libevent的代码里有很多有用的设计技巧和基础数据结构,比如信息隐藏、函数指针、c语言的多态支持、链表和堆等等,都有助于提升自身的程序功力。
程序设计不止要了解框架,很多细节之处恰恰也是事关整个系统成败的关键。
只对libevent本身的框架大概了解,那或许仅仅是一知半解,不深入代码分析,就难以了解其设计的精巧之处,也就难以为自己所用。
事实上Libevent本身就是一个典型的Reactor模型,理解Reactor模式是理解libevent的基石;因此下一节将介绍典型的事件驱动设计模式——Reactor模式。
libevent源码深度剖析二
——Reactor模式
张亮
前面讲到,整个libevent本身就是一个Reactor,因此本节将专门对Reactor模式进行必要的介绍,并列出libevnet中的几个重要组件和Reactor的对应关系,在后面的章节中可能还会提到本节介绍的基本概念。
1Reactor的事件处理机制
首先来回想一下普通函数调用的机制:
程序调用某函数?
函数执行,程序等待?
函数将结果和控制权返回给程序?
程序继续处理。
Reactor释义“反应堆”,是一种事件驱动机制。
和普通函数调用的不同之处在于:
应用程序不是主动的调用某个API完成处理,而是恰恰相反,Reactor逆置了事件处理流程,应用程序需要提供相应的接口并注册到Reactor上,如果相应的时间发生,Reactor将主动调用应用程序注册的接口,这些接口又称为“回调函数”。
使用Libevent也是想Libevent框架注册相应的事件和回调函数;当这些时间发声时,Libevent会调用这些回调函数处理相应的事件(I/O读写、定时和信号)。
用“好莱坞原则”来形容Reactor再合适不过了:
不要打电话给我们,我们会打电话通知你。
举个例子:
你去应聘某xx公司,面试结束后。
“普通函数调用机制”公司HR比较懒,不会记你的联系方式,那怎么办呢,你只能面试完后自己打电话去问结果;有没有被录取啊,还是被据了;
“Reactor”公司HR就记下了你的联系方式,结果出来后会主动打电话通知你:
有没有被录取啊,还是被据了;你不用自己打电话去问结果,事实上也不能,你没有HR的留联系方式。
2Reactor模式的优点
Reactor模式是编写高性能网络服务器的必备技术之一,它具有如下的优点:
1)响应快,不必为单个同步时间所阻塞,虽然Reactor本身依然是同步的;
2)编程相对简单,可以最大程度的避免复杂的多线程及同步问题,并且避免了多线程/进程的切换开销;
3)可扩展性,可以方便的通过增加Reactor实例个数来充分利用CPU资源;
4)可复用性,reactor框架本身与具体事件处理逻辑无关,具有很高的复用性;
3Reactor模式框架
使用Reactor模型,必备的几个组件:
事件源、Reactor框架、多路复用机制和事件处理程序,先来看看Reactor模型的整体框架,接下来再对每个组件做逐一说明。
1)事件源
Linux上是文件描述符,Windows上就是Socket或者Handle了,这里统一称为“句柄集”;程序在指定的句柄上注册关心的事件,比如I/O事件。
2)eventdemultiplexer——事件多路分发机制
由操作系统提供的I/O多路复用机制,比如select和epoll。
程序首先将其关心的句柄(事件源)及其事件注册到eventdemultiplexer上;
当有事件到达时,eventdemultiplexer会发出通知“在已经注册的句柄集中,一个或多个句柄的事件已经就绪”;
程序收到通知后,就可以在非阻塞的情况下对事件进行处理了。
对应到libevent中,依然是select、poll、epoll等,但是libevent使用结构体eventop进行了封装,以统一的接口来支持这些I/O多路复用机制,达到了对外隐藏底层系统机制的目的。
3)Reactor——反应器
Reactor,是事件管理的接口,内部使用eventdemultiplexer注册、注销事件;并运行事件循环,当有事件进入“就绪”状态时,调用注册事件的回调函数处理事件。
对应到libevent中,就是event_base结构体。
一个典型的Reactor声明方式
viewplaincopytoclipboardprint?
1.class Reactor
2.{
3.public:
4. int register_handler(Event_Handler *pHandler, int event);
5. int remove_handler(Event_Handler *pHandler, int event);
6. void handle_events(timeval *ptv);
7. // ...
8.};
4)EventHandler——事件处理程序
事件处理程序提供了一组接口,每个接口对应了一种类型的事件,供Reactor在相应的事件发生时调用,执行相应的事件处理。
通常它会绑定一个有效的句柄。
对应到libevent中,就是event结构体。
下面是两种典型的EventHandler类声明方式,二者互有优缺点。
viewplaincopytoclipboardprint?
1.class Event_Handler
2.{
3.public:
4. virtual void handle_read() = 0;
5. virtual void handle_write() = 0;
6. virtual void handle_timeout() = 0;
7. virtual void handle_close() = 0;
8. virtual HANDLE get_handle() = 0;
9. // ...
10.};
11.class Event_Handler
12.{
13.public:
14. // events maybe read/write/timeout/close .etc
15. virtual void handle_events(int events) = 0;
16. virtual HANDLE get_handle() = 0;
17. // ...
18.};
4Reactor事件处理流程
前面说过Reactor将事件流“逆置”了,那么使用Reactor模式后,事件控制流是什么样子呢?
可以参见下面的序列图。
5小结
上面讲到了Reactor的基本概念、框架和处理流程,对Reactor有个基本清晰的了解后,再来对比看libevent就会更容易理解了,接下来就正式进入到libevent的代码世界了,加油!
libevent源码深度剖析三
——libevent基本使用场景和事件流程
张亮
1前言
学习源代码该从哪里入手?
我觉得从程序的基本使用场景和代码的整体处理流程入手是个不错的方法,至少从个人的经验上讲,用此方法分析libevent是比较有效的。
2基本应用场景
基本应用场景也是使用libevnet的基本流程,下面来考虑一个最简单的场景,使用livevent设置定时器,应用程序只需要执行下面几个简单的步骤即可。
1)首先初始化libevent库,并保存返回的指针
structevent_base*base=event_init();
实际上这一步相当于初始化一个Reactor实例;在初始化libevent后,就可以注册事件了。
2)初始化事件event,设置回调函数和关注的事件
evtimer_set(&ev,timer_cb,NULL);
事实上这等价于调用event_set(&ev,-1,0,timer_cb,NULL);
event_set的函数原型是:
voidevent_set(structevent*ev,intfd,shortevent,void(*cb)(int,short,void*),void*arg)
ev:
执行要初始化的event对象;
fd:
该event绑定的“句柄”,对于信号事件,它就是关注的信号;
event:
在该fd上关注的事件类型,它可以是EV_READ,EV_WRITE,EV_SIGNAL;
cb:
这是一个函数指针,当fd上的事件event发生时,调用该函数执行处理,它有三个参数,调用时由event_base负责传入,按顺序,实际上就是event_set时的fd,event和arg;
arg:
传递给cb函数指针的参数;
由于定时事件不需要fd,并且定时事件是根据添加时(event_add)的超时值设定的,因此这里event也不需要设置。
这一步相当于初始化一个eventhandler,在libevent中事件类型保存在event结构体中。
注意:
libevent并不会管理event事件集合,这需要应用程序自行管理;
3)设置event从属的event_base
event_base_set(base,&ev);
这一步相当于指明event要注册到哪个event_base实例上;
4)是正式的添加事件的时候了
event_add(&ev,timeout);
基本信息都已设置完成,只要简单的调用event_add()函数即可完成,其中timeout是定时值;
这一步相当于调用Reactor:
:
register_handler()函数注册事件。
5)程序进入无限循环,等待就绪事件并执行事件处理
event_base_dispatch(base);
3实例代码
上面例子的程序代码如下所示
viewplaincopytoclipboardprint?
1.struct event ev;
2.struct timeval tv;
3.void time_cb(int fd, short event, void *argc)
4.{
5. printf("timer wakeup\n");
6. event_add(&ev, &tv); // reschedule timer
7.}
8.int main()
9.{
10. struct event_base *base = event_init();
11. tv.tv_sec = 10; // 10s period
12. tv.tv_usec = 0;
13. evtimer_set(&ev, time_cb, NULL);
14. event_add(&ev, &tv);
15. event_base_dispatch(base);
16.}
4事件处理流程
当应用程序向libevent注册一个事件后,libevent内部是怎么样进行处理的呢?
下面的图就给出了这一基本流程。
1) 首先应用程序准备并初始化event,设置好事件类型和回调函数;这对应于前面第步骤2和3;
2) 向libevent添加该事件event。
对于定时事件,libevent使用一个小根堆管理,key为超时时间;对于Signal和I/O事件,libevent将其放入到等待链表(waitlist)中,这是一个双向链表结构;
3) 程序调用event_base_dispatch()系列函数进入无限循环,等待事件,以select()函数为例;每次循环前libevent会检查定时事件的最小超时时间tv,根据tv设置select()的最大等待时间,以便于后面及时处理超时事件;
当select()返回后,首先检查超时事件,然后检查I/O事件;
Libevent将所有的就绪事件,放入到激活链表中;
然后对激活链表中的事件,调用事件的回调函数执行事件处理;
5小结
本节介绍了libevent的简单实用场景,并旋风般的介绍了libevent的事件处理流程,读者应该对libevent有了基本的印象,下面将会详细介绍libevent的事件管理框架(Reactor模式中的Reactor框架)做详细的介绍,在此之前会对源代码文件做简单的分类。
libevent源码深度剖析四
——libevent源代码文件组织
1前言
详细分析源代码之前,如果能对其代码文件的基本结构有个大概的认识和分类,对于代码的分析将是大有裨益的。
本节内容不多,我想并不是说它不重要!
2源代码组织结构
Libevent的源代码虽然都在一层文件夹下面,但是其代码分类还是相当清晰的,主要可分为头文件、内部使用的头文件、辅助功能函数、日志、libevent框架、对系统I/O多路复用机制的封装、信号管理、定时事件管理、缓冲区管理、基本数据结构和基于libevent的两个实用库等几个部分,有些部分可能就是一个源文件。
源代码中的test部分就不在我们关注的范畴了。
1)头文件
主要就是event.h:
事件宏定义、接口函数声明,主要结构体event的声明;
2)内部头文件
xxx-internal.h:
内部数据结构和函数,对外不可见,以达到信息隐藏的目的;
3)libevent框架
event.c:
event整体框架的代码实现;
4)对系统I/O多路复用机制的封装
epoll.c:
对epoll的封装;
select.c:
对select的封装;
devpoll.c:
对dev/poll的封装;
kqueue.c:
对kqueue的封装;
5)定时事件管理
min-heap.h:
其实就是一个以时间作为key的小根堆结构;
6)信号管理
signal.c:
对信号事件的处理;
7)辅助功能函数
evutil.h和evutil.c:
一些辅助功能函数,包括创建socketpair和一些时间操作函数:
加、减和比较等。
8)日志
log.h和log.c:
log日志函数
9)缓冲区管理
evbuffer.c和buffer.c:
libevent对缓冲区的封装;
10)基本数据结构
compat\sys下的两个源文件:
queue.h是libevent基本数据结构的实现,包括链表,双向链表,队列等;_libevent_time.h:
一些用于时间操作的结构体定义、函数和宏定义;
11)实用网络库
http和evdns:
是基于libevent实现的http服务器和异步dns查询库;
3小结
本节介绍了libevent的组织和分类,下面将会详细介绍libevent的核心部分event结构。
libevent源码深度剖析五
——libevent的核心:
事件event
张亮
对事件处理流程有了高层的认识后,本节将详细介绍libevent的核心结构event,以及libevent对event的管理。
1libevent的核心-event
Libevent是基于事件驱动(event-driven)的,从名字也可以看到event是整个库的核心。
event就是Reactor框架中的事件处理程序组件;它提供了函数接口,供Reactor在事件发生时调用,以执行相应的事件处理,通常它会绑定一个有效的句柄。
首先给出event结构体的声明,它位于event.h文件中:
viewplaincopytoclipboardprint?
1.struct event {
2. TAILQ_ENTRY (event) ev_next;
3. TAILQ_ENTRY (event) ev_active_next;
4. TAILQ_ENTRY (event) ev_signal_next;
5. unsigned int min_heap_idx; /* for managing timeouts */
6. struct event_base *ev_base;
7. int ev_fd;
8. short ev_events;
9. short ev_ncalls;
10. short *ev_pncalls; /* Allows deletes in callback */
11. struct timeval ev_timeout;
12. int ev_pri; /* smaller numbers are higher priority */
13. void (*ev_callback)(int, short, void *arg);
14. void *ev_arg;
15. int ev_res; /* result passed to event callback */
16. int ev_flags;
17.};
下面简单解释一下结构体中各字段的含义。
1)ev_events:
event关注的事件类型,它可以是以下3种类型:
I/O事件:
EV_WRITE和EV_READ
定时事件:
EV_TIMEOUT
信号:
EV_SIGNAL
辅助选项:
EV_PERSIST,表明是一个永久事件
Libevent中的定义为:
viewplaincopytoclipboardprint?
1.#define EV_TIMEOUT 0x01
2.#define EV_READ 0x02
3.#define EV_WRITE 0x04
4.#define EV_SIGNAL 0x08
5.#define EV_PERSIST 0x10 /* Persistant event */
可以看出事件类型可以使用“|”运算符进行组合,需要说明的是,信号和I/O事件不能同时设置;
还可以看出libevent使用event结构体将这3种事件的处理统一起来;
2)ev_next,ev_active_next和ev_signal_next都是双向链表节点指针;它们是libevent对不同事件类型和在不同的时期,对事件的管理时使用到的字段。
libevent使用双向链表保存所有注册的I/O和Signal事件,ev_next就是该I/O事件在链表中的位置;称此链表为“已注册事件链表”;
同样ev_signal_next就是signal事件在signal事件链表中的位置;
ev_active_next:
libevent将所有的激活事件放入到链表activelist中,然后遍历activelist执行调度,ev_active_next就指明了event在activelist中的位置;
2)min_heap_idx和ev_timeout,如果是timeout事件,它们是event在小根堆中的索引和超时值,libevent使用小根堆来管理定时事件,这将在后面定时事件处理时专门讲解
3)ev_base该事件所属的反应堆实例,这是一个event_base结构体,下一节将会详细讲解;
4)ev_fd,对于I/O事件,是绑定的文件描述符;对于signal事件,是绑定的信号;
5)ev_callback,event的回调函数,被ev_base调用,执行事件处理程序,这是一个函数指针,原型为:
void(*ev_callback)(intfd,shortevents,void*arg)
其中参数fd对应于ev_fd;events对应于ev_events;arg对应于ev_arg;
6)ev_arg:
void*,表明可以是任意类型的数据,在设置event时指定;
7)eb_flags:
libevent用于标记event信息的字段,表明其当前的状态,可能的值有:
viewplaincopytoclipboardprint?
1.#define EVLIST_TIMEOUT 0x01 // event在time堆中
2.#define EVLIST_INSERTED 0x02 // event在已注册事件链表中
3.#define EVLIST_SIGNAL 0x04 // 未见使用
4.#define EVLIST_ACTIVE 0x08 // event在激活链表中
5.#define EVLIST_INTERNAL 0x10 // 内部使用标记
6.#define EVLIST_INIT 0x80 // event已被初始化
8)ev_ncalls:
事件就绪执行时,调用ev_callback的次数,通常为1;
9)ev_pncalls:
指针,通常指向ev_ncalls或者为NULL;
10)ev_res:
记录了当前激活事件的类型;
2libevent对event的管理
从event结构体中的3个链表节点指针和一个堆索引出发,大体上也能窥出libevent对event的管理方法了,可以参见下面的示意图:
每次当有事件event转变为就绪状态时,libevent就会把它移入到activeeventlist[priority]中,其中priority是event的优先级;
接着libevent会根据自己的调度策略选择就绪事件,调用其cb_callback()函数执行事件处理;并根据就绪的句柄和事件类型填充cb_callback函数的参数。
3事件设置的接口函数
要向libevent添加一个事件,需要首先设置event对象,这通过调用libevent提供的函数有:
event_set(),event_base_set(),event_priority_set()来完成;下面分别进行讲解。
voidevent_set(structeven