1、基于Linux的QoS编程接口研究与分析7完基于Linux的QoS编程接口研究与分析(7)完 第四章 Linux的QoS编程接口4.1 QoS 数据通道全局的数据通道的略图见图4.1,灰色部分是 QoS:图 4.1 网络数据加工数据包的处理过程是:Input Interface Ingress Policing Input Demultiplexing (判断分组是本地使用还是转发) Forwarding Output Queuing Output Interface。入口的流量限制(Ingress Policing)和出口 的队列调度(Output Queuing)是由 Linux 核心的流
2、量控制的代码实现的。入口 的流量限制(Ingress Policing)丢弃不符合规定的分组,确保进入的各个业务 流分组速率的上限,出口的队列调度(Output Queuing)依据配置实现分组的排 队、丢弃。以下是分析Linux 2.4 的代码得出的数据通道,根据在图4.1中的位置,分为 Ingress policing的数据通道和 Output Queuing 的数据通路,一下分别阐述:4.1.1 Ingress policing 的数据通道Ingress policing 的 QoS 的部分是通过 HOOK 实现的。HOOK 是 Linux 实现 netfilter 的重要手段,数据从接
3、收到转发得通路上有5个HOOK点,每个 HOOK点有若干个挂钩处理函数: (typedef unsigned int nf_hookfn(unsigned int hooknum, struct sk_buff *skb,const struct net_device *in, const struct net_device *out, int (*okfn)(struct sk_buff *); )。Ingress policing 用 的 是 NF_IP_PRE_ROUTING 这个 HOOK 点,其挂钩处理函数用的是 net/sched/sch_ingress.c ing_hook()。
4、Ingress policing 的数据通道的略图,灰色部分是 QoS,黑色部分是 HOOK 的处理过程:图 4.2 Ingress policing 的总概图1其中,HOOK 点NF_IP_PRE_ROUTING:刚刚进入网络层的数据包通过此点(刚刚进行完版本号,校验和等检测),源地址转换在此点进行;NF_IP_LOCAL_IN:经路由查找后,送往本机的通过此检查点,INPUT 包过滤在此点进行; NF_IP_FORWARD:要转发的包通过此检测点,FORWORD 包过滤在此点进行;NF_IP_LOCAL_OUT:本机进程发出 的包通过此检测点,OUTPUT 包过滤在此点进行;NF_IP_P
5、OST_ROUTING:所有马上便要通过网络设备出去的 包通过此检测点,内置的目的地址转换功能(包括地址伪装)在此点进行2以下数据通路是以 ipv4 为例,ipv6 类似图 4.3 Ingress policing 的数据通道的略图netif_rx()- 数据接收队列队列- Bottom Half 程序中通过软中断调用 net_rx_action()将硬件层得到的数据传输到IP层-ip_rcv() #net/ipv4/ip_input.c 丢弃校验和不正确的ip包-nf_hook_slow()#net/core/netfilter.c-nf_iterate()#net/core/netfilt
6、er.c-ing_hook() #net/sched/sch_ingress.c-QoS:如果设置了 qdisc_ingress,则调用 ingress_dequeue(),此处可以对流量进行限制#net/sched/sch_ingress.c- ip_rcv_finish()#net/ipv4/ip_input.c(sch_ingress.c 的 enqueue()有限流制作用,然而 dequeue() 却是空函数。)-以下路由:ip_route_input() #net/ipv4/route.c-如 果 转 发 ip_route_input_slow() #net/ipv4/route.c
7、 , 如 果 本 地 处 理 ip_route_input_mc() #net/ipv4/route.c3 为了避免处理长中断服务程序的时候,关中时间过长,Linux 将中断服务程序一分为二,各称作 top half和 bottom half,前者读取来自设备的数据,保存到预定的缓冲区(队列),然后通知 bottom half 在适当的时候完成。4 Ingress 模块初始化时,把 ing_hook()注册为挂钩(HOOK)处理函数 5 Qdisc_ingress 不是一个队列,它只有 ingress_enqueue(),而 ingress_dequeue()只是一个空函数。把ingress_
8、enqueue()理解为一个限流阀门更准确。4.1.2 Output Queuing 的数据通路Output Queuing 的数据通路略图, 灰色部分是 QoS:图4.4 Output Queuing 的数据通路略图这个部分描述转发数据的数据通路,位于路由之后:ip_forward() #net/ipv4/ip_forward.c-ip_forward_finish() #net/ipv4/ip_forward.c-ip_send()#include/net/ip.h-ip_finish_output()#net/ipv4/ip_output.c-ip_finish_output2() #n
9、et/ipv4/ip_output.c-neigh_resolve_output()orneigh_connected_output()#net/core/neighbour.c-dev_queue_xmit() #net/core/dev.c-QoS:如果有排队方式,那么skb先进入排队 q-enqueue(skb,q),然后运行qdisc_run() #include/net/pkt_sched.h: while (!netif_queue_stopped(dev) & qdisc_restart(dev)dequeue(q)4.2 Sched 的代码结构在 net/sched/目录下放着
10、 Linux 目前已经实现的用于路由转发调度的各个算法,例如 cbq、tbf 等等。 这个目录下的文件大体上可以分为三个部分: 1) sch*.c:sch_api.c、sch_generic.c 和 sch_atm.c、sch_cbq.c、 sch_csz.c、sch_dsmark.c、sch_fifo.c、 sch_gred.c、sch_htb.c、sch_ingress.c、sch_prio.c、sch_red.c、sch_sfq.c、sch_tbf.c、sch_teql.c, 前 2 个提供一些通用的函数,后面几个是模块化的程序,以注册和注销一个结构体变量 作为模块的初始化和清除。6 L
11、inux 中,在 INET Socket 层及其以下层次之间数据包的传递是通过 struct sk_buff结构完成的。例如对于 sch_tbf.c,这个文件实现的是令牌桶算法,最后生成一个 struct Qdisc_ops 的结 构 变 量 tbf_qdisc_ops , 在 模 块 初 始 化 的 时 候 , 注 册 tbf_qdisc_ops , register_qdisc(&tbf_qdisc_ops),注册的过程其实就是加入一个链表的过程,sch_api.c 提 供这个注册的函数。以下是 sch_tbf.c 文件的一部分代码,其余的 sch*.c 的第二部分的文 件与之类似:str
12、uct Qdisc_ops tbf_qdisc_ops = NULL, NULL, tbf, sizeof(struct tbf_sched_data), tbf_enqueue, tbf_dequeue, tbf_requeue,tbf_drop, tbf_init, tbf_reset,tbf_destroy,tbf_change, tbf_dump, ;#ifdef MODULE int init_module(void) return register_qdisc(&tbf_qdisc_ops); void cleanup_module(void) unregister_qdisc(&
13、tbf_qdisc_ops); #endif sch*.c 的第二部分的文件定义了、,有 enqueue.2) cls*.*:cls_api.c 和 cls_fw.c、cls_route.c、cls_rsvp.c、cls_rsvp6.c、cls_tcindex.c、cls_u32.c, cls_rsvp.h。前者提供分类通用的函数,后面几个是模块化的东西,以注册和注销一个结 构体变量作为模块的初始化和清除。 3) estimator.c 和 police.c,提供一些通用的函数。关键数据结构 struct Qdisc_ops struct Qdisc_ops *next;struct Qdis
14、c_class_ops *cl_ops;char idIFNAMSIZ;int priv_size; int (*enqueue)(struct sk_buff *, struct Qdisc *);struct sk_buff* (*dequeue)(struct Qdisc *);int (*requeue)(struct sk_buff *, struct Qdisc *);int (*drop)(struct Qdisc *); int (*init)(struct Qdisc *, struct rtattr *arg); void (*reset)(struct Qdisc *);
15、 void (*destroy)(struct Qdisc *); int (*change)(struct Qdisc *, struct rtattr *arg);int (*dump)(struct Qdisc *, struct sk_buff *);4.3 iprouter2的代码结构iproute2 是一个用户空间的程序,它的功能是解释以 tc8开头的命令,如果解释成功,把 它们通过 AF_NETLINK 的 socket 传给 Linux 的内核空间。 iproute2 的代码主要有 include、ip、lib、misc、tc 目录组成,misc 的代码量很少,并且 作用不大,
16、此处略去。Include 是一个包含头文件的目录,这个目录下的头文件会被其他目 录下的*.c 文件所用,lib 目录定义了一些通用的函数,例如与向 linux 系统传递 tc 参数的方 法:例如 rtnl_talk9, rtnl_send10等等,此点在第 4 节中有详细的介绍。Ip 目录代码主要用于解 释路由的命令,使得流量的控制策略可以与路由挂钩。不过这不是本文想要详细讨论的。tc 目录的代码是 Tc 的最为主要的部分,解释了流量控制和整形的大部分命令。 tc 目录的代码分为四个部分,f_*.c、q_*.c、m_*.c、tc_*.c+tc*.h:1) f_*.c,解释各种分类器(filte
17、r),与 sched/cls_*.c 相对应。2)q_*.c,解释各种队列规范(qdisc).与 sched/sch_*.c 相对应。3)m_*.c,这部分就两个文件:m_estimator.c 和 m_police.c,分别对应于 sched/estimator.c 和 sched/police.c 。4)tc_*.c+tc.h,主控文件 tc.c,把解释任务分给 tc_qdisc.c、tc_filter.c、tc_class.c 中的函数。以下是 tc.c/main()中的代码:if (argc 1) if (matches(argv1, qdisc) = 0) return do_qdi
18、sc(argc-2, argv+2); if (matches(argv1, class) = 0) return do_class(argc-2, argv+2); if (matches(argv1, filter) = 0) return do_filter(argc-2, argv+2); if (matches(argv1, help) = 0) usage();fprintf(stderr, Object %s is unknown, try tc help.n, argv1); exit(-1); iproute2 提供给命令的详解可见HMM+02,附一提供常用的命令。4.4 S
19、ched 与 iproute2 的通信:AF_NETLINKSched 与 iproute2 的通信,是典型的 Linux 内核模块和用户空间的进程之间的通信,这 种通信一般由 Netlink Socket 来提供这种双向的通信连接。这种连接由标准的提供给用户进 程的 socket 和提供给内核模块的 API 组成,用户空间的接口简单的说就是创建一个 family 为 AF_NETLINK 的 socket,然后使用这个 socket 进行通信,自然,用户空间的进程除了 sock_fd = socket(AF_NETLINK ,SOCK_RAW, ); 是看不到这与其他的通信方式(例如 AF_
20、INET)有任何的不同; 内核空间维护一张 link_rtnetlink_table 表 rtnetlinks。 以下结合 iproute2 控制 Linux 的 TC 模块,通过一个例子分析控制通路,得到用户空间 发送、用户空间接收、内核发送、内核接收的一些视图。一个命令:tc qdisc add dev eth1 这个命令为某个网络接口 eth1 增加一个 qdisc。 命令首先在用户空间被 iproute2 分析: 1)分析 tc:main(int argc, char *argv)被调用,此函数在 tc/tc.c 中; 2)分析 tc qdisc:do_qdisc(argc-2, ar
21、gv+2);被调用,此函数在 tc/tc_qdisc.c 中; 3)分析 tc qdisc add: tc_qdisc_modify(RTM_NEWQDISC, NLM_F_EXCL|NLM_F_CREATE, argc-1, argv+1); 被调用,此函数在 tc/tc_qdisc.c 中,在这个函数中,将分析完这一行 tc 的命令,各种参数(例如 RTM_NEWQDISC) 被写到 netlink 包中,并且开始与核心通信。在用户空间中,这个顺序为 rtnl_open rtnl_talk rtnl_close,rtnl_open 的作用是打开一个 AF_NETLINK 的 socket,
22、rtnl_close 的作用是关闭打开的 AF_NETLINK 的 socket,int rtnl_talk(struct rtnl_handle *rtnl, struct nlmsghdr *n,pid_t peer, unsigned groups,struct nlmsghdr *answer, int (*junk)(struct sockaddr_nl *,struct nlmsghdr *n, void *), void *jarg),这个函数是 iproute2 与 linux 内核通信的一个库函数,是属于用户空间的函数。 用户空间通信前的准备:填充 netlink 包;然后把
23、 netlink 包发送到内核空间去。详见以下代 码。if (k0) addattr_l(&req.n, sizeof(req), TCA_KIND, k, strlen(k)+1);if (est.ewma_log) addattr_l(&req.n, sizeof(req), TCA_RATE, &est, sizeof(est); /* 通过这个函数,所有的参数都被填充进 netlink 的包中 */ if (rtnl_open(&rth, 0) 0) fprintf(stderr, Cannot open rtnetlinkn);exit(1); if (d0) int idx;ll_
24、init_map(&rth);if (idx = ll_name_to_index(d) = 0) fprintf(stderr, Cannot find device %sn, d); exit(1); req.t.tcm_ifindex = idx;if (rtnl_talk(&rth, &req.n, 0, 0, NULL, NULL, NULL) 0) /*在此之前,已经通过 rtnl_open(&rth, 0)打开一个 socket*/ exit(2); rtnl_close(&rth);(rtnl_talk(&rth, &req.n, 0, 0, NULL, NULL, NULL)
25、 nlmsg_len ;char buf8192; struct msghdr msg = (void*)&nladdr, sizeof(nladdr),&iov, 1,NULL,0,0,status = sendmsg(rtnl-fd, &msg, 0);iov.iov_base = buf; while (1) status = recvmsg(rtnl-fd, &msg, 0); 内核模块的初始化:在 net/sched/sch_api.c 文件中的 void _init pktsched_init (void)函数 中,初始化了 link_rtnetlink_table 表,link_
26、rtnetlink_table 是一张 struct rtnetlink_link 的表 struct rtnetlink_link int (*doit)(struct sk_buff *, struct nlmsghdr*, void *attr);int (*dumpit)(struct sk_buff *, struct netlink_callback *cb);struct rtnetlink_link 由函数指针 doit 和 dumpit 组成,这张表可以由需要执行的动作的宏定义 (例如:RTM_NEWQDISC,RTM_DELQDISC)来索引,以使得能通过这张表调动相应的
27、函数。内核模块从用户空间收到的就是这些索引和参数,以此调用注册在此表中的函数。 link_p = rtnetlink_linksPF_UNSPEC; /* Setup rtnetlink links. It is made here to avoid exporting large number of public symbols. */ if (link_p) link_pRTM_NEWQDISC-RTM_BASE.doit = tc_modify_qdisc; link_pRTM_DELQDISC-RTM_BASE.doit = tc_get_qdisc; link_pRTM_GETQDI
28、SC-RTM_BASE.doit = tc_get_qdisc; link_pRTM_GETQDISC-RTM_BASE.dumpit = tc_dump_qdisc; link_pRTM_NEWTCLASS-RTM_BASE.doit = tc_ctl_tclass; link_pRTM_DELTCLASS-RTM_BASE.doit = tc_ctl_tclass;link_pRTM_GETTCLASS-RTM_BASE.doit = tc_ctl_tclass; link_pRTM_GETTCLASS-RTM_BASE.dumpit = tc_dump_tclass; 下面具体分析一下这
29、个通信的过程: 用户空间: 用户空间发送 rtnl_talk() #iproute2/lib/libnetlink.c-sendmsg(rtnl-fd,&msg,0) #net/socket.c-sock_sendmsg(sock, &msg_sys, total_len) #net/socket.c-sock-ops-sendmsg(sock, msg, size, &scm) #net/socket.c,在这里,通过函数指针, 调用了 static int netlink_sendmsg(struct socket *sock, struct msghdr *msg, int len,st
30、ruct scm_cookie *scm) 这在 af_netlink.c 中定义。 netlink_unicast(sk, skb, dst_pid, msg-msg_flags&MSG_DONTWAIT);或者 netlink_broadcast(sk, skb, dst_pid, dst_groups, GFP_KERNEL);用户空间接收 rtnl_talk() #iproute2/lib/libnetlink.c-while status = recvmsg(); #net/socket.c . -sock_recvmsg(sock, &msg_sys, total_len, flags); #net/socket.c-sock-ops- recvmsg(sock, msg, size, flags, &scm); #net/socket.c 在这里,通过函数指 针调用了 static int netlink_recvmsg(struct socket *sock, struc
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1