基于Linux的QoS编程接口研究与分析7完Word文档格式.docx
《基于Linux的QoS编程接口研究与分析7完Word文档格式.docx》由会员分享,可在线阅读,更多相关《基于Linux的QoS编程接口研究与分析7完Word文档格式.docx(11页珍藏版)》请在冰豆网上搜索。
要转发的包通过此检测点,FORWORD包过滤在此点进行;
NF_IP_LOCAL_OUT:
本机进程发出的包通过此检测点,OUTPUT包过滤在此点进行;
NF_IP_POST_ROUTING:
所有马上便要通过网络设备出去的包通过此检测点,内置的目的地址转换功能(包括地址伪装)在此点进行
2以下数据通路是以ipv4为例,ipv6类似图4.3Ingresspolicing的数据通道的略图
netif_rx()->
数据接收队列队列->
BottomHalf③程序中通过软中断调用net_rx_action()将硬件层得到的数据传输到IP层->
ip_rcv()#net/ipv4/ip_input.c丢弃校验和不正确的ip包->
nf_hook_slow()#net/core/netfilter.c->
nf_iterate()#net/core/netfilter.c->
ing_hook()④#net/sched/sch_ingress.c->
QoS:
如果设置了qdisc_ingress,则调用ingress_dequeue()⑤,此处可以对流量进行限制#net/sched/sch_ingress.c->
ip_rcv_finish()#net/ipv4/ip_input.c(sch_ingress.c的enqueue()有限流制作用,然而dequeue()却是空函数。
)->
以下路由:
ip_route_input()#net/ipv4/route.c->
如果转发ip_route_input_slow()#net/ipv4/route.c,如果本地处理ip_route_input_mc()#net/ipv4/route.c
3为了避免处理长中断服务程序的时候,关中时间过长,Linux将中断服务程序一分为二,各称作tophalf和bottomhalf,前者读取来自设备的数据,保存到预定的缓冲区(队列),然后通知bottomhalf在适当的时候完成。
4Ingress模块初始化时,把ing_hook()注册为挂钩(HOOK)处理函数
5Qdisc_ingress不是一个队列,它只有ingress_enqueue(),而ingress_dequeue()只是一个空函数。
把ingress_enqueue()理解为一个限流阀门更准确。
4.1.2OutputQueuing的数据通路
OutputQueuing的数据通路略图,灰色部分是QoS:
图4.4OutputQueuing的数据通路略图
这个部分描述转发数据的数据通路,位于路由之后:
ip_forward()#net/ipv4/ip_forward.c->
ip_forward_finish()#net/ipv4/ip_forward.c->
ip_send()#include/net/ip.h->
ip_finish_output()#net/ipv4/ip_output.c->
ip_finish_output2()#net/ipv4/ip_output.c->
neigh_resolve_output()orneigh_connected_output()#net/core/neighbour.c->
dev_queue_xmit()#net/core/dev.c->
如果有排队方式,那么skb⑥先进入排队q->
enqueue(skb,q),然后运行qdisc_run()
#include/net/pkt_sched.h:
while(!
netif_queue_stopped(dev)&
&
qdisc_restart(dev)dequeue(q)
………………4.2Sched的代码结构在net/sched/目录下放着Linux目前已经实现的用于路由转发调度的各个算法,例如cbq、tbf等等。
这个目录下的文件大体上可以分为三个部分:
1)sch*.c:
sch_api.c、sch_generic.c和sch_atm.c、sch_cbq.c、sch_csz.c、sch_dsmark.c、sch_fifo.c、sch_gred.c、sch_htb.c、sch_ingress.c、sch_prio.c、sch_red.c、sch_sfq.c、sch_tbf.c、sch_teql.c,前2个提供一些通用的函数,后面几个是模块化的程序,以注册和注销一个结构体变量作为模块的初始化和清除。
6Linux中,在INETSocket层及其以下层次之间数据包的传递是通过structsk_buff{}结构完成的。
例如对于sch_tbf.c,这个文件实现的是令牌桶算法,最后生成一个structQdisc_ops的结构变量tbf_qdisc_ops,在模块初始化的时候,注册tbf_qdisc_ops,register_qdisc(&
tbf_qdisc_ops),注册的过程其实就是加入一个链表的过程,sch_api.c提供这个注册的函数。
以下是sch_tbf.c文件的一部分代码,其余的sch*.c的第二部分的文件与之类似:
structQdisc_opstbf_qdisc_ops=
{NULL,NULL,"
tbf"
sizeof(structtbf_sched_data),
tbf_enqueue,tbf_dequeue,
tbf_requeue,
tbf_drop,
tbf_init,
tbf_reset,
tbf_destroy,
tbf_change,
tbf_dump,};
#ifdefMODULE
intinit_module(void){
returnregister_qdisc(&
tbf_qdisc_ops);
}voidcleanup_module(void){
unregister_qdisc(&
}#endif
sch*.c的第二部分的文件定义了、、、,有enqueue……….
2)cls*.*:
cls_api.c和cls_fw.c、cls_route.c、cls_rsvp.c、cls_rsvp6.c、cls_tcindex.c、cls_u32.c,cls_rsvp.h。
前者提供分类通用的函数,后面几个是模块化的东西,以注册和注销一个结构体变量作为模块的初始化和清除。
3)estimator.c和police.c,提供一些通用的函数。
关键数据结构structQdisc_ops{
structQdisc_ops*next;
structQdisc_class_ops*cl_ops;
charid[IFNAMSIZ];
intpriv_size;
int(*enqueue)(structsk_buff*,structQdisc*);
structsk_buff*(*dequeue)(structQdisc*);
int(*requeue)(structsk_buff*,structQdisc*);
int(*drop)(structQdisc*);
int(*init)(structQdisc*,structrtattr*arg);
void(*reset)(structQdisc*);
void(*destroy)(structQdisc*);
int(*change)(structQdisc*,structrtattr*arg);
int(*dump)(structQdisc*,structsk_buff*);
};
4.3iprouter2的代码结构iproute2是一个用户空间的程序,它的功能是解释以tc8开头的命令,如果解释成功,把它们通过AF_NETLINK的socket传给Linux的内核空间。
iproute2的代码主要有include、ip、lib、misc、tc目录组成,misc的代码量很少,并且作用不大,此处略去。
Include是一个包含头文件的目录,这个目录下的头文件会被其他目录下的*.c文件所用,lib目录定义了一些通用的函数,例如与向linux系统传递tc参数的方法:
例如rtnl_talk9,rtnl_send10等等,此点在第4节中有详细的介绍。
Ip目录代码主要用于解释路由的命令,使得流量的控制策略可以与路由挂钩。
不过这不是本文想要详细讨论的。
tc目录的代码是Tc的最为主要的部分,解释了流量控制和整形的大部分命令。
tc目录的代码分为四个部分,f_*.c、q_*.c、m_*.c、tc_*.c+tc*.h:
1)f_*.c,解释各种分类器(filter),与sched/cls_*.c相对应。
2)q_*.c,解释各种队列规范(qdisc)…..与sched/sch_*.c相对应。
3)m_*.c,这部分就两个文件:
m_estimator.c和m_police.c,分别对应于sched/estimator.c和sched/police.c。
4)tc_*.c+tc.h,主控文件tc.c,把解释任务分给tc_qdisc.c、tc_filter.c、tc_class.c中的函数。
以下是tc.c/main()中的代码:
if(argc>
1){
if(matches(argv[1],"
qdisc"
)==0)returndo_qdisc(argc-2,argv+2);
class"
)==0)returndo_class(argc-2,argv+2);
filter"
)==0)returndo_filter(argc-2,argv+2);
help"
)==0)usage();
fprintf(stderr,"
Object\"
%s\"
isunknown,try\"
tchelp\"
.\n"
argv[1]);
exit(-1);
}
iproute2提供给命令的详解可见[HMM+02],附一提供常用的命令。
4.4Sched与iproute2的通信:
AF_NETLINKSched与iproute2的通信,是典型的Linux内核模块和用户空间的进程之间的通信,这种通信一般由NetlinkSocket来提供这种双向的通信连接。
这种连接由标准的提供给用户进程的socket和提供给内核模块的API组成,用户空间的接口简单的说就是创建一个family为AF_NETLINK的socket,然后使用这个socket进行通信,自然,用户空间的进程除了sock_fd=socket(AF_NETLINK,SOCK_RAW,……);
是看不到这与其他的通信方式(例如AF_INET)有任何的不同;
内核空间维护一张link_rtnetlink_table表rtnetlinks[][]。
以下结合iproute2控制Linux的TC模块,通过一个例子分析控制通路,得到用户空间发送、用户空间接收、内核发送、内核接收的一些视图。
一个命令:
tcqdiscadddeveth1……
这个命令为某个网络接口eth1增加一个qdisc。
命令首先在用户空间被iproute2分析:
1)分析tc:
main(intargc,char**argv)被调用,此函数在tc/tc.c中;
2)分析tcqdisc:
do_qdisc(argc-2,argv+2);
被调用,此函数在tc/tc_qdisc.c中;
3)分析tcqdiscadd:
tc_qdisc_modify(RTM_NEWQDISC,NLM_F_EXCL|NLM_F_CREATE,argc-1,argv+1);
被调用,此函数在tc/tc_qdisc.c中,在这个函数中,将分析完这一行tc的命令,各种参数(例如RTM_NEWQDISC)被写到netlink包中,并且开始与核心通信。
在用户空间中,这个顺序为rtnl_openrtnl_talkrtnl_close,rtnl_open的作用是打开一个AF_NETLINK的socket,rtnl_close的作用是关闭打开的AF_NETLINK的socket,
intrtnl_talk(structrtnl_handle*rtnl,structnlmsghdr*n,
pid_tpeer,unsignedgroups,
structnlmsghdr*answer,
int(*junk)(structsockaddr_nl*,structnlmsghdr*n,
void*),void*jarg),
这个函数是iproute2与linux内核通信的一个库函数,是属于用户空间的函数。
用户空间通信前的准备:
填充netlink包;
然后把netlink包发送到内核空间去。
详见以下代码。
if(k[0])
addattr_l(&
req.n,sizeof(req),TCA_KIND,k,strlen(k)+1);
if(est.ewma_log)
req.n,sizeof(req),TCA_RATE,&
est,sizeof(est));
/*通过这个函数,所有的参数都被填充进netlink的包中*/
………
if(rtnl_open(&
rth,0)<
0){
Cannotopenrtnetlink\n"
);
exit
(1);
}
if(d[0]){
intidx;
ll_init_map(&
rth);
if((idx=ll_name_to_index(d))==0){
Cannotfinddevice\"
\n"
d);
req.t.tcm_ifindex=idx;
}if(rtnl_talk(&
rth,&
req.n,0,0,NULL,NULL,NULL)<
0)
/*在此之前,已经通过rtnl_open(&
rth,0))打开一个socket*/
exit
(2);
rtnl_close(&
(rtnl_talk(&
0)的发送过程包括sendmsg和recvmsg,具体为:
intrtnl_talk(structrtnl_handle*rtnl,structnlmsghdr*n,pid_tpeer,
unsignedgroups,structnlmsghdr*answer,
int(*junk)(structsockaddr_nl*,structnlmsghdr*n,void*),
void*jarg){
…………
structsockaddr_nlnladdr;
structioveciov={(void*)n,n->
nlmsg_len};
charbuf[8192];
structmsghdrmsg={
(void*)&
nladdr,sizeof(nladdr),
iov,1,
NULL,0,
0,
……
status=sendmsg(rtnl->
fd,&
msg,0);
iov.iov_base=buf;
while
(1){
status=recvmsg(rtnl->
……
内核模块的初始化:
在net/sched/sch_api.c文件中的void__initpktsched_init(void)函数中,初始化了link_rtnetlink_table表,link_rtnetlink_table是一张structrtnetlink_link的表
structrtnetlink_link{
int(*doit)(structsk_buff*,structnlmsghdr*,void*attr);
int(*dumpit)(structsk_buff*,structnetlink_callback*cb);
structrtnetlink_link由函数指针doit和dumpit组成,这张表可以由需要执行的动作的宏定义(例如:
RTM_NEWQDISC,RTM_DELQDISC)来索引,以使得能通过这张表调动相应的函数。
内核模块从用户空间收到的就是这些索引和参数,以此调用注册在此表中的函数。
link_p=rtnetlink_links[PF_UNSPEC];
/*Setuprtnetlinklinks.Itismadeheretoavoidexportinglargenumberofpublicsymbols.*/
if(link_p){
link_p[RTM_NEWQDISC-RTM_BASE].doit=tc_modify_qdisc;
link_p[RTM_DELQDISC-RTM_BASE].doit=tc_get_qdisc;
link_p[RTM_GETQDISC-RTM_BASE].doit=tc_get_qdisc;
link_p[RTM_GETQDISC-RTM_BASE].dumpit=tc_dump_qdisc;
link_p[RTM_NEWTCLASS-RTM_BASE].doit=tc_ctl_tclass;
link_p[RTM_DELTCLASS-RTM_BASE].doit=tc_ctl_tclass;
link_p[RTM_GETTCLASS-RTM_BASE].doit=tc_ctl_tclass;
link_p[RTM_GETTCLASS-RTM_BASE].dumpit=tc_dump_tclass;
下面具体分析一下这个通信的过程:
用户空间:
用户空间发送
rtnl_talk()#iproute2/lib/libnetlink.c->
sendmsg(rtnl->
fd,&
msg,0)#net/socket.c->
sock_sendmsg(sock,&
msg_sys,total_len)#net/socket.c->
sock->
ops->
sendmsg(sock,msg,size,&
scm)#net/socket.c,在这里,通过函数指针,调用了staticintnetlink_sendmsg(structsocket*sock,structmsghdr*msg,intlen,structscm_cookie*scm)这在af_netlink.c中定义⑦。
netlink_unicast(sk,skb,dst_pid,msg->
msg_flags&
MSG_DONTWAIT);
或者netlink_broadcast(sk,skb,dst_pid,dst_groups,GFP_KERNEL);
用户空间接收rtnl_talk()#iproute2/lib/libnetlink.c->
while{…
status=recvmsg(…);
#net/socket.c….
}->
sock_recvmsg(sock,&
msg_sys,total_len,flags);
#net/socket.c->
recvmsg(sock,msg,size,flags,&
scm);
#net/socket.c在这里,通过函数指针调用了staticintnetlink_recvmsg(structsocket*sock,struc