Linux ARP协议源码解析.docx

1、Linux ARP协议源码解析Linux ARP协议源码解析arp_tbl是一个类型为structneigh_table的全局变量，它是一个ARP的缓存表，也称为邻居表。协议栈通过ARP协议获取到的网络上邻居主机的IP地址与MAC地址的对应关系都会保存在这个表中，以备下次与邻居通讯时使用，同时，ARP模块自身也会提供一套相应的机制来更新和维护这个邻居表。下面逐个分析arp_tbl中的重要成员数据与函数。 entry_size，key_len，kmem_cachep。 entry_size是一个入口的大小，也就是arp_tbl中一个邻居的大小，邻居用structneighbour结构体表示，该结

2、构体的最后一个成员是u8 primary_key0，用于存放IP地址，作为这个邻居的哈希主键。所以entry_size的大小就是sizeof(struct neighbour) + 4，因为是用IP地址作主键，所以key_len就是4。kmem_cachep是一个后备高速缓存，创建一个邻居需要的内存从这个后备高速缓存中去取。 hash_buckets，hash_mask，entries，hash。 hash_buckets是一个哈希数组，里面存放了arp_tbl当前维护的所有的邻居，hash_mask是哈希数组大小的掩码，其初始值为1，所以hash_buckets的初始大小为2(0到hash_

3、mask的空间范围)。entries是整个arp_tbl中邻居的数量，当entries大于hash_mask+1的时候，hash_buckets增长为原来的两部。成员hash是一个哈希函数指针，用于计算哈希值。 phash_buckets，PNEIGH_HASHMASK。 这是用于代理ARP的邻居哈希表，PNEIGH_HASHMASK固定为0xF,所以phash_buckets固定有16项，其它与hash_buckets相同。 id。 id作为这个邻居表的一个名称，是一个字符串信息，内核协议栈的arp_tbl的id是arp_cache。 gc_interval，gc_thresh1，gc_th

4、resh2，gc_thresh3。gc_thresh3是arp_tbl中允许拥有的邻居数量的上限，一旦超过这个上限，并且表中没有可以清理掉的垃圾邻居，那么就无法创建新的邻居，这个值缺省被置为1024。gc_thresh2是第二个阀值，如果表中的邻居数量超过这个阀值，并且在需要创建新的邻居时，发现已经超过5秒时间表没有被刷新过，则必须立即刷新arp_tbl表，进行强制垃圾回收，这个值缺省被置为512。gc_thresh1的用途暂时还没有发现，它缺省被置为128。gc_interval应该是常规的垃圾回收间隔时间，被缺省置为30秒，但目前在源代码中似乎没有看到它的应用。强制垃圾收集的工作即是把引用

5、计数为1，且状态中没有NUD_PERMANENT的邻居全部从arp_tbl表中删除。 gc_timer。这是一个常规垃圾回收的定时器，其定时处理函数是neigh_periodic_timer。该定时器超时后，处理函数处理hash_buckets表中的一项，下次超时后，再处理下一项，这里的垃圾回收比强制垃圾回收条件要宽松得多，如果邻居的状态为NUD_PERMANENT或NUD_IN_TIMER(该邻居正在解析中)，则不能回收。当邻居的引用计数为1时，并且邻居状态为NUD_FAILED(解析失败)或者该邻居距最近一次被使用时间已超过参数表中gc_staletime的值(缺省为60秒),则可以作为垃

6、圾回收。回收完毕后，要设置下一次进行回收的时间(gc_timer的超时时间)，下次回收时间为参数表中base_reachable_time的值(缺省设为30秒)的一半，再除以hash_buckets哈希表中的项数。也就是，基本上15秒左右会把整个arp_tbl缓存表进行一次垃圾回收。 proxy_timer，proxy_queue，proxy_redo。 proxy_timer是一个关于代理ARP的定时器，proxy_queue是一个待处理的代理ARP数据包的队列，每次定时器超时，处理函数neigh_proxy_process依次检查队列中每一个代理ARP数据包(struct sk_buff)

7、，对于超时，且满足相关条件的，调用proxy_redo进行处理。有关代理ARP，将专门分析讲述，这里暂时略过。 constructor。这是一个邻居的初始化函数指针，每次创建出一个邻居后，需要马上调用这个函数对新创建的邻居进行一些初始化操作。邻居创建完，已经被赋于一个IP地址(邻居结构体的primary_key成员)，该函数首先根据这个IP地址来确定其地址类型，然后为邻居选择相应的操作函数集(初始化邻居结构体的一些成员，在讲到邻居结构体内容时再进行分析)。 pconstructor，pdestructor。 这是代理ARP的邻居的构建和析构函数指针，在IPv4模块中，未提供这两个函数，所以它们

8、的指针值为空。 parms。 这是一个结构体struct neigh_parms的链表，系统中每个网络设备接口对应链表中一个节点，表示该设备接口上的邻居的一些传输参数。同时，链表中还有一个缺省的项。 last_rand，hash_rand这两个成员其实没有联系，hash_rand是用于邻居哈希表hash_buckets的一个随机数，last_rand用于记录一个时间，即上次为parms链表中每个节点生成reachable_time的时间，reachable_time是需要被定时刷新的。 stats。 记录arp_tbl被操作次数的一些统计数据。 结构体struct neigh_table是一个

9、哈希表，用于描述物理上互相连接的机器的信息。ARP缓存myarp_tbl就是这样的一个结构。在分析ARP相关的初始化之前，我们先来看一下这个结构体： truct neigh_table struct neigh_table *next; int family; int entry_size; int key_len; _u32 (*hash)(const void *pkey, const struct net_device *); int (*constructor)(struct neighbour *); int (*pconstructor)(struct pneigh_entry *

10、); void (*pdestructor)(struct pneigh_entry *); void (*proxy_redo)(struct sk_buff *skb); char *id; struct neigh_parms parms; /* HACK. gc_* shoul follow parms without a gap! */ int gc_interval; int gc_thresh1; int gc_thresh2; int gc_thresh3; unsigned long last_flush; struct timer_list gc_timer; struct

11、 timer_list proxy_timer; struct sk_buff_head proxy_queue; atomic_t entries; rwlock_t lock; unsigned long last_rand; kmem_cache_t *kmem_cachep; struct neigh_statistics *stats; struct neighbour *hash_buckets; unsigned int hash_mask; _u32 hash_rnd; unsigned int hash_chain_gc; struct pneigh_entry *phash

12、_buckets;#ifdef CONFIG_PROC_FS struct proc_dir_entry *pde;#endif ; entry_size是一个入口的长度，一个入口代表一个neighbour的信息,hash_buckets即为存放所有邻居的一个哈希数组，每一项对应一条neighbour链表。structneighbour用于代表一个neighbour，包含了其信息，下面是其重要的一些成员：dev代表与这个邻居相连的网络设备；nud_state代表邻居的状态（未完成，无法访问，过时，失败）；ha表示邻居的mac地址；hh是以太网包的头部缓存；arp_queue是等待这个邻居的硬件

13、地址的IP包队列；ops是对该neighbour节点操作的一套函数；primary_key是哈希表的主键，一般为IP地址。 key_len是哈希表主键的长度，一般IP地址长度为4。 几个函数分别为哈希函数，构造和析构函数。 parms是ARP缓存的一些参数，包括ARP包传输时间，重发时间，队列长度和代理队列长度等等。 ARP缓存有一个回收机制（garbagecollection），上面以gc_开头的参数用来设置回收的频率和阀值等等。 stats是一些关于邻居的统计信息。 ARP初始化的第一个步是初始化ARP缓存myarp_tbl，并把它加到全局链表neigh_tables的表头，其实，系统中所

14、有的neigh_table都放在这个表中。 ptype_base是一个有16项的哈希数组，每种协议包类型都注册在这个数组中。arp包，其类型是ETH_P_ARP，其接收函数是myarp_rcv。有了这个注册信息，当设备上收到一个网络包（packet）的时候，会分配一个sk_buff(skb)，将数据拷贝进这个缓冲区，然后调用netif_rx把skb放入等待队列（input_pkt_queue）中，并且产生一个软中断。当系统处理这个软中断的时候，会调用net_rx_action，它根据网络包的类型，调用相应的接收函数来处理。如果是ARP包，则调用myarp_rcv。 ARP缓存myarp_tbl

15、是用于描述物理上相互连接的机器的信息的一个哈希表，关于这个缓存，我们前面作过分析。现在我们来看看，当主机收到一个需要本地接收的ARP请求时，如何向ARP缓存中更新一个ARP信息。 当网络设备收到一个ARP数据包后，最终会调用到协议栈中的myarp_process处理函数，这个函数的处理会涉及到路由表的查询和更新。但我们现在的my_inet模块还没有真正完成路由表的初始化，所以略过其中很多细节，只关注ARP缓存的更新与查询。 myarp_process通过调用_neigh_lookup函数更新ARP缓存，下面是该函数的定义： static inline struct neighbour * _n

16、eigh_lookup(struct neigh_table *tbl, const void *pkey, struct net_device *dev, int creat) 参数tbl是ARP缓存哈希表，传入全局变量myarp_tbl。pkey是哈希主键，传入发送端ip地址，在我们的实验环境中，是通过172.16.48.1向172.16.48.11发送icmp回显请求包来触发myarp_process的执行，所以，pkey就是ip地址172.16.48.1。dev是接收到该数据包的网络接口。create表示在缓存中不存在该机器的信息时，是否需要创建一个，我们现在的目的是更新，所以选择是，

17、传入1。该函数首先调用neigh_lookup在ARP缓存中查找。neigh_lookup首先通过pkey,dev计算得到一个哈希值hash_val，再找到myarp_tbl中的一个链表myarp_tbl-hash_bucketshash_val，遍历该链表，如果能找到dev,pkey都相等的项，就是我们所要找的struct neighbour。在这里，还要更新myarp_tbl的成员stats中的一统计数据。 显然，第一次收到ARP请求包，我们是找不到ARP缓存信息的，所以neigh_lookup返回NULL，_neigh_lookup判断create值，如果不需要创建，就直接返回，如果需要

18、，则调用neigh_create进行缓存信息的创建。 neigh_create首先在内存中分配一个structneighbour结构体。myarp_tbl的成员entries记录了该ARP缓存中已经存在了多少条缓存信息，如果数量超过了gc_thresh3(1024)，或者数量超过了gc_thresh2(512)，并且距离上次缓存刷新时间还不到5秒，则需要先强制进行缓存垃圾回收，对于一些未使用的缓存信息进行清理。如果清理后，缓存数量还是超过gc_thresh3，则无法再进行创建，出错返回。对于新创建的neighbour，先给赋一些缺省值。 然后调用myarp_tbl的构造函数，对新创建的neig

19、hbour进一步初始化。具体的初始化步骤不再详述，我们可以从最后创建出来的neighbour的内容看到一些东西。 接下来，由于新增加了缓存项，需要对myarp_tbl的大小进行调整，如果有需要，需要扩大其容量。 最后，把新创建的neighbour添加到链表示， 新创建的neighbour的内容应该是这样子的： struct neighbour struct neighbour *next =原来的链表头; struct neigh_table *tbl =myarp_tbl; struct neigh_parms *parms =in_dev-arp_parms; struct net_dev

20、ice *dev =dev; unsigned long used =now; unsigned long confirmed =now- 60秒; unsigned long updated =now; _u8 flags; _u8 nud_state =NUD_NONE; _u8 type =RTN_LOCAL; _u8 dead =1; atomic_t probes; rwlock_t lock; unsigned char ha(MAX_ADDR_LEN+sizeof(unsignedlong)-1)&(sizeof(unsigned long)-1); /ha是mac地址，在后续的

21、操作会给它赋上值。 struct hh_cache *hh =NULL; atomic_t refcnt =1; int (*output)(struct sk_buff*skb) = this-ops-connected_output; struct sk_buff_head arp_queue; struct timer_list timer; timer.function = neigh_timer_handler; timer.data = this; struct neigh_ops *ops =&myarp_hh_ops; u8 primary_key0 =172.16.48.1（

22、分配内存时，本身就加了4的); ;在发送一个IP数据报时，当在确定数据报的输出路由时，需要为本次通讯绑定一个邻居，TCP/IP协议栈用结构体structneighbour表示一个邻居。绑定邻居首先调用的函数是arp_bind_neighbour，该函数调用_neigh_lookup_errno函数从ARP缓存表中以目的IP地址(网关IP或者同一子网内的对端IP地址)为哈希主键，寻找相应的邻居，如果找不到，则创建。 首先是调用neigh_lookup函数从arp_tbl的成员hash_buckets中寻找，如果找到的邻居的成员dev等于当前的网络设备接口，且primary_key等于当前的目的I

23、P地址，则即为需要的邻居，返回即可。 如果找不到，则需要通过调用neigh_create函数创建一个新的邻居。下面看一下表示邻居的结构体structneighbour的成员，以及创建时为这些成员初始化了什么样的值。 parms。 parms指向ARP缓存表arp_tbl的parms成员，包含了该邻居上的一些传输参数。 dev。 dev成员指向该邻居所在子网内的本机网络设备接口。 type。 该邻居的IP地址类型，这个值由FIB表根据邻居的IP地址来确定，比如类型RTN_UNICAST，RTN_LOCAL等。 ops, output。 ops是该邻居的一组操作函数集，包括输出函数output，直

24、接输出函数dev_queue_xmit，错误报告函数arp_error_report，arp解析函数solicit等。根据type的不同，操作函数集略有不同，这在arp_tbl的constructor函数中确定。output即为ops中的普通输出函数output，因为其比较常用，所以单独为其设置一个成员。 timer。 这是邻居的定时器，用于解析ARP，其超时函数是neigh_timer_handler。 arp_queue 这是一个struct sk_buff的队列，协议栈在发送一个IP数据包时，如果还未进行arp解析，则先把该IP数据包放入arp_queue，然后进行ARP解析。 下面重点

25、看一下struct neighbour的成员nud_state，它是邻居的当前状态，邻居在创建，解析的过程中，其状态经历了一系例的变迁过程。当一个邻居刚刚被创建，其状态是NUD_NONE，此时，邻居被创建出来，并根据其IP地址被加入到arp_tbl的哈希表hash_buckets中，但它还没有被解析，其成员ha(邻居的硬件地址)为空。直到向这个邻居发送IP数据报，并且发送流程到达网络层的最后一个发送函数ip_finish_output2时，调用邻居的output成员函数，一般这个函数是neigh_resolve_output(根据type的不同会略有不同)。它会先进行ARP解析，然后把IP数据

26、报发往正确的邻居。因为当前状态是NUD_NONE，neigh_resolve_output首先判断parms的成员mcast_probes加上app_probes的值，这两个参数表示ARP解析时尝试的次数，mcast_probes缺省值置为3，app_probes是0，如果它们的和为零，则不作ARP解析尝试，直接将状态置为NUD_FAILED。当前不为零，所以进行解析，首先置邻居的成员probes为parms的ucast_probes，缺省为3，这样，该邻居等于是已经尝试了3次了，另外还只能多3次(mcast_probes)，即该邻居的解析最多尝试3次，如果3次不成功，则失败，结束。然后将状态

27、置为NUD_INCOMPLETE，表示正在解析中，并把待解析的socket缓冲skb放入arp_queue队列中，然后启动邻居的定时器开始ARP解析。定时器处理函数neigh_timer_handler首先确定下次的超时时间(如果这次解析没有成功)为当前时间加上parms的成员retrans_time的值（缺省设置为1秒)。所以，ARP解析的发包超时时间是1秒，连续尝试3次。ARP解析是通过ops的成员函数solicit去做的，该成员函数指针指向的arp_solicit函数，arp_solicit会实际发送ARP请求包。如果arp_solicit发送ARP请求包，连续三次没有得到正确的回应，则

28、把nud_state置为NUD_FAILED，调用ops的成员函数error_report报告错误。并把skb从arp_queue队列中取出。error_report错误报告置dst的超时时间为当前时间，并删除skb，关于dst，跟FIB相关，涉及到FIB时再详细分析。 置为NUD_FAILED的邻居在下次进行常规垃圾回收时，被删除回收掉。 协议栈在发送一个IP数据报之前，需要发送ARP请求是为了解析IP数据报的目的IP地址对应的硬件地址。ARP协议可以承载多种硬件类型和多种协议，这里我们只关注以太网上的IP协议，那ARP请求的目的就是为了解析邻居的以太网MAC地址。 ARP请求/应答数据报总

29、共有28字节，其具体格式如下所示(在以太网,IP协议的情况下)： 字段含义：硬件类型 协议类型硬件地址长度 协议地址长度 op 字段长度：2 2 1 1 2 字段含义：发送端以太网地址发送端IP地址 目的以太网地址 目的IP地址 字段长度：6 4 6 4硬件类型，对于10Mbps以太网，其取值是ARPHRD_ETHER(值为1)，协议类型，对于IP协议来说，就是ETH_P_IP(0x0800),在上述条件限定下，硬件地址长度为6，协议地址长度为4，op的值为ARPOP_REQUEST(值为1，表示是ARP请求，或者ARPOP_REPLY(值为2，表示是ARP应答)。发送端以太网地址填发送接口的

30、MAC地址，发送端IP地址填源IP地址(关于源IP地址的选取下文会有详细分析)，目的以太网地址，因为当前是ARP请求，所以填入以太网广播地址0xFF:0xFF:0xFF:0xFF:0xFF:0xFF，目的IP地址填入IP数据报的目的地址。这里，发送端IP地址的选取是一个可配置的选项，文件/proc/sys/net/ipv4/conf/设备名/arp_announce记录的是它的配置值，这是一个整型数值，取值范围为0-2，0表示只要待发送IP数据报的源地址为本地地址，就取该地址为发送端IP地址，这也是缺省配置；1表示若待发送IP数据报的源地址为本地地址，并且该IP地址与目的IP地址在同一子网内，则取该地址为发送端IP地址，否则从所有的本地地址中取一个与目的IP地址在同一子网内的地址；2表示完全忽略IP数据报中的地址，直接从所有本地输出网络接口中选取一个最为合适的发送端IP地址。配置级别越高，我们能够获得ARP回应的机率也就越大。 构建好的ARP请求数据报通过函数dev_queue_xmit发送出去。 在分析接收和处理ARP的回应数据之前，先复习一下协议栈接收网络数据的一个基本流程，网卡驱动程序会创建一个skb，并填入接收到的数据，并把这个skb传给协议栈的第一个接收函数neti