流量透明化IPFIX技术解决方案.docx

1、流量透明化IPFIX技术解决方案流量透明化IPFIX技术解决方案 随着 IT、网络技术的迅猛发展和企业信息化程度的不断提高，各种网络应用越来越丰富，各种应用时时刻刻都在争夺有限的网络带宽，从而导致网络管理的难度不断增大。因此，如何保证网络的可用性和关键业务的畅通运行，对企业发展将起到至关重要的作用。企业需要有相应的技术手段，明确了解网络上各种应用的带宽占用情况，分析用户流量行为，以便合理的规划和分配网络带宽，有效地保障关键业务应用的正常运行。 锐捷网络的网络透明化解决方案正是在这种情况下推出的一种基于IPFIX技术的网络流量分析解决方案。通过了解和监控网络中的正常和非法流量，可以帮助用户建立网

2、络流量分布模型、监控IT业务的服务质量、把握网络流量的增长节奏。从而有效保障关键业务应用的正常运行。 1 方案背景 1.1 问题的提出 “无法被量化的将无法改进”。管理和优化网络首先要进行测量。随着 IT、网络技术的迅猛发展和企业信息化程度的不断提高，各种网络应用越来越丰富，各种应用时时刻刻都在争夺有限的网络带宽，从而导致网络管理的难度不断增大。因此，如何保证网络的可用性和关键业务的畅通运行，对用户业务发展将起到至关重要的作用。 随着网络的规模越来越大，IT服务的完善，网络管理者也会提出以下问题： 1. 当前的上网流量占用多大带宽？这些带宽主要谁在占用？这些占用是允许的吗？在 WWW 访问之外

3、，是不是有大量的 FTP 等下载？是允许的吗？ 2. DMZ 区的服务器有多少是内网用户在访问，有多少是外网用户在访问？如果是内网用户访问多（比如 DNS），是不是考虑将其迁移到服务器区？外网用户的访问有时间规律吗？ 3. 外联的服务器是提供特定用户访问吗？哪个访问流量最大？最大流量占用的用户是合法的吗？服务器是不是该扩容了？有非法用户访问这些服务器吗？ 4. 这些关键的业务服务器的带宽够用吗？是不是考虑一台服务器提供多个业务服务或者多台服务器提供一个业务服务？除了生产业务外， 这些服务器是不是还提供其它无关的业务， 导致影响性能？谁访问这些服务器更多一些？这些服务器在哪个时间段最繁忙？ 5.

4、 部门用户用于工作（访问业务服务器）的流量有多大？用于上网的流量有多大？谁更多地使用互联网？是必要的吗？谁占用的网络带宽最大？这些占用是必要的吗？哪个用户在非法扫描网络？是否有用户提供非法的下载（WWW/FTP）服务？1.2 问题的归纳 这些问题都是流量分析问题。归结起来，所有的流量问题大致包含： 1. 这些宝贵的网络带宽谁在占用？一定时间内，谁占用最多？ 2. 这些流量到底包含哪些内容？是数据库通讯，还是 ping，还是网页访问HTTP，还是 FTP 下载？ 3. 这些流量是生产业务产生的流量吗？是必要的吗？ 4. 这些流量中是否包含病毒流量？或者禁止使用的流量 （比如 ftp 下载） ？

5、如果把这些问题进一步分析，会发现，这其实涉及到两个问题： 1.）流量的分布问题：是指全网中，哪些点流量大，哪些点流量小？ 2.）流量的构成问题：对于特定的点，流量的组成是什么？由谁发起的？目的地在哪里？ 1.3 问题的解决 要解决这些流量问题，不是一件容易的事情，常规的方法有几种： 1.3.1 网管方式 网管方式通过启动 SNMP，来获取流量信息。但是，SNMP 只能获取流量的字节数，无法获取字节的构成，更无法获取流量的发起方。 该方法可以解决流量的分布问题，无法解决流量的构成问题。 该方式主要用于设备的管理，而不适用于精细的流量分析。 1.3.2 数据包监听方式 该方法是将关注的流量串联到或

6、者镜像到分析仪器（包括软件分析，比如sniffer），通过分析仪器来获取流量的构成和细节。该方法可以做到流量的精细化分析，做到 27 层的流量分析，但是，缺点也很明显，只有在部署分析仪器的地方进行流量分析， 如果做到全网多节点流量监控， 必须部署多个分析仪器，导致部署成本急剧上升。 该方式可以很好解决流量的构成问题，但几乎无法解决流量的分布问题。 该方式适用于对少量关键点的监控，常用于专业工程师的故障诊断，不适合大规模日常使用。 1.3.3 基于流（Flow）技术的方式 该方式是让网络设备在转发数据流量的同时，生成特定的流量信息，然后将流量信息发送到特定的分析模块，进而实现对流量的分析。 该方

7、式的优势是明显的，理想情况下，如果让网络中的每台网络设备均发出流量信息，那么就可以轻松解决流量的分布问题，同时解决流量的构成问题。缺点是各厂商提供的流分析技术都是私有技术无法通用。 也正是基于此，国际化流量监控标准技术IPFIX（IP Flow Information Export）应运而生。 1.3.4 解决方法的评估 网管方式无法进行流量构成分析，不再讨论。 对于数据包监听方式和流（Flow）技术的方式：由于分析仪器的昂贵，监听方式不适用于大规模部署，而且分析到 7 层应用后，容易使用户隐私受到侵犯； 而流（Flow）技术的分析方式功能均衡而强大，对流量的分析只到业务字节，不涉及应用级，无

8、隐私顾虑。如果以监控20个物理端口为例进行投资估算，监听方式在几十万甚至上百万人民币数量级，基于流（Flow）技术的流量分析方式成本大大降低。因此，流（Flow）技术方式更适合网络流量分析。 2 IPFIX技术介绍 2.1 IPFIX技术概述 基于流的技术被越来越广泛地用于刻画网络传输流，它在设置QoS策略、部署应用和进行容量规划上都有着巨大的价值。但是，网络管理员却缺少一种输出传输流的标准格式。 IPFIX全称为IP Flow Information Export，即IP数据流信息输出，它是由IETF公布的用于网络中的流信息测量的标准协议。该协议主要在于： 统一IP数据流的统计、输出标准，这

9、使得网络管理员很容易地提取和查看存储在这些网络设备中的重要流量统计信息。 输出格式具有较强的可扩展性，因此如果流量监控的要求发生改变，网络管理员也可通过修改相应配置来实现，不必升级网络设备软件或管理工具。 IPFIX定义的格式以Cisco Netflow Version 9数据输出格式作为基础，可使IP流量信息从一个输出器（Exporter）传送到收集器（Collector）。因为IPFIX是一种针对数据流特征分析、基于模板的格式输出的协议，因此具有很强的可扩展性，对于不同的需求都可以定义不同的数据格式。 为了较完整的输出数据，IPFIX缺省使用网络设备的七个关键域来表示每股网络流量： 源 I

10、P 地址 目的 IP 地址 TCP/UDP 源端口 TCP/UDP 目的端口 三层协议类型 服务类型（Type-of-service）字节 输入逻辑接口 如果不同的 IP 报文中所有的七个关键域都匹配，那么这些 IP 报文都将被视为属于同一股流量。通过记录网络中这些流量的特征，如流量持续时间、流量中报文平均长度等， 我们可以了解到当前网络的应用情况，并根据这些信息对网络进行优化，安全检测，流量计费。 IPFIX记录除了缺省的记录流信息，可以基于模板的格式随意选择。锐捷交换机IPFIX记录的流信息非常丰富，基本流输出如下信息（可随意调整选择）： 流开始时间 流结束时间 流的字节数 流的报文数 源

11、IP地址 目的IP地址 源端口号 目的端口号 入接口 出接口 协议类型 IP TOS TCP Flags 下一跳IP地址 下一跳BGP地址 源BGP AS Number 目的BGP AS Number 最小报文长度 最大报文长度 报文最小TTL 报文最大TTL 锐捷交换机IPFIX流信息有如下特点： 除了基本的统计信息外，还记录TCP Flags、最小报文长度、最大报文长度、最小TTL、最大TTL，通过这些信息可以对网络攻击和网络安全进行分析。 除了基本的流统计信息外，还记录下一跳IP地址、下一跳BGP地址、源BGP AS Number、目的BGP AS Number、出接口，通过这些信息可以

12、对网络故障和网络规划进行分析。 流的标识（关键字）不只上述规定的七个元素，还包括下一跳IP地址、下一跳BGP地址、源BGP AS Number、目的BGP AS Number、出接口，当流的7元素没有改变时，而是网络拓扑改变时（比如下一跳地址改变），那么也会作为一个新的流，这些信息有助于分析网络环境的改变、或者网络拓扑抖动等问题。 2.2 IPFIX技术价值 1. IPFIX统一了流量监控标准，通过使用单一的、一致的模型，简化了流输出架构。 随着IPFIX标准更广泛地为网络设备厂商采用，网络管理员不用再为支持多个流报告应用而操心，每个应用都有自己的流输出格式。IPFIX让他们可以使用一个符合这

13、项标准的流报告应用程序。此外，IPFIX的可扩展性使得网络管理员不必在传输流监测或报告需求发生变化时修改或升级设备配置。 2. IPFIX标准关注网络升级时的流输出可扩展性。 随着MPLS、IPv6和多播路由等网络技术的日益普及，管理员也需要更好地了解它们对网络环境的影响，这种可扩展性就变得越来越重要。为了确保这种可扩展性的轻松实现，IPFIX兼容设备将输出模板，这些模板详细说明那些为输出而配置的流“特征”。流的采集和报告应用程序可以被用来读取这些模板，以了解哪些“特征”被输出，因此网络管理员不需要调整应用程序配置。 3. IPFIX RFC定义了不同的流输出应用，包括基于使用的统计、传输流分

14、布、传输流工程、攻击/入侵检测和QoS监测。 例如，支持IPFIX的流报告应用程序通过读取服务类型字节流“特征”，可以显示每一个等级的QoS服务会消耗多少网络传输流。此外，流量报告应用还可以显示应用和用户如何根据服务类型策略分类。支持IPFIX攻击/入侵检测的应用将能够提供基准协议（Baseline）和地址数据来确定网络异常现象。 4. IPFIX描述对于流量输出至关重要的众多规则，包括时间戳、时间同步、流终止、数据包分段和多播流行为。 例如，传送多播应用流的IPFIX兼容设备应当输出反映每一个进入设备接口的流记录。此外，这类设备应当输出通过多播传送给同一台设备上所有输出接口每个数据包的流记录

15、。同使用多播输出行为一样，RFC中列出的其他规则使网络设备厂商可以更好地了解IPFIX标准的支持要求,以及它如何在已有的技术中实现集成。 3 网络透明化解决方案 3.1 解决方案组成 IPFIX是基于“流”的概念，一个流是指，来自相同的子接口，有相同的源和目的IP 地址，协议类型，相同的源和目的协议端口号，以及相同ToS的报文，通常为5元组。 IPFIX会记录这个流的统计信息，包括：时间戳，报文数，总的字节数。 网络透明化解决方案包括：流量采样设备（Exporter）、流量采集设备（Collector）、数据分析处理设备（Analyser），三个设备之间的关系如下图所示： 图：解决方案的组成

16、Export设备对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出给Collector设备。 Collector设备负责解析Export的数据报文，把统计数据收集到数据库中，可供Analyser进行解析。 Analyser设备从Collector中提取统计数据，进行后续处理，为各种业务提供依据,以图形界面的形式显示出来。 Exporter 提供IPFIX技术接口的网络设备（锐捷网络公司的路由器和交换机，交换机需要配置高性能的IPFIX 流量分析模块），负责对设备各个端口进出的网络报文进行流分类统计，然后封装成IPFIX报文输出。 Collector Collector设备可以采集

17、一个或多个Exporter设备输出的数据，对数据进行过滤和聚合，并将数据存储在数据库中供分析处理。 Analyser Analyser是一个网络流量的分析工具，对采集来的流量数据进行分析处理。为便于网络管理人员的操作，采用基于Web形式访问，提供直观的、图形化的管理界面，所有数据输出都直接在Web页面中显示。 3.2 Exporter设备功能 Exporter作为支持IPFIX流量分析技术的网络设备，首先需要打开网络设备的侦听端口，然后配置将IPFIX日志要发送到哪个IP的哪个端口（即Collector设备的监听端口）,也就是配置输出目的IP地址和目的端口。同时也要配置输出IPFIX报文的源地

18、址和输出模板相关参数。 这样，设备就会把IPFIX日志以UDP包的形式发往Collector设备，而Collector设备NTC则可从侦听端口源源不断的接收IPFIX日志。 3.3 Collector设备功能 IPFIX日志被Collector设备采集到之后，将会做聚合处理；流聚合模式，就是通过其定义的特定关键字段，对主模式的流进行重新的聚合产生新的流。系统为这些聚合模式保留一定的缓存，类似于主缓存，这里称作流聚合缓存。当一个流记录从主缓存出来后，它包含的流信息将用于对每个使能的流聚合缓存中相应的流聚合记录进行更新。这样可减少最终存入数据库的数据量，并提高了分析的效率。 同时，Collecto

19、r设备也会对存入数据库的数据作进一步的统计处理，以便快速产生各类分析报表。例如由于主模式流记录可能很多，所以锐捷网络另外提供了一种快速查看的模式，即top-talkers。这是一种将流记录按一定规则排序后，只显示排序前若干位的记录的模式，便于用户在大量的数据中抓住重点，提供快速的分析手段。 3.4 Analyzer设备功能 Analyzer设备对 Collector设备生成的所有数据进行分析，对数据进行二次聚合、统计分析，获取网络的深入可见性，即关于每个链路和基于可配置IP的部门/分部的大型主机、应用程序、DSCP、TCP标志和AS信息。基于IP地址的细粒度应用程序分类和识别。 分析的结果以非

20、常直观的图表、表格等形式展示给用户，通过这些分析结果，用户可以监控网络使用状况、应用使用状况、用户网络访问行为，通过深入分析特定的应用程序、用户、端口或通信网络，用户可准确识别峰值和爆发的资源，从而主动监控，做出明智的决定。 3.5 Analyzer设备报表 Analyzer预置了一组丰富的带宽报表，提供全面的带宽使用统计数据，帮助用户查看造成网络瓶颈的特定主机、应用或对话明细。除快速识别堵塞的链路以外，还可以查看不同时间段的带宽使用趋势，有助于用户在带宽规划和加强安全策略方面做出重要决定，从而有效利用带宽。 流量使用报表 查看一个接口的当前、平均和峰值流量使用情况。了解某个接口使用多少有效带

21、宽。 历史报表 查看带宽使用每日、每周、每月的流量报表。查看基于主机、应用和时间的使用趋势。 流量分析 查看不同时间段的应用、主机、对话排行，并获取详细信息。清楚呈现谁使用最多的带宽，做什么。 自定义报表 查看特定主机、应用或对话的带宽使用情况。利用该报表，用户可以关联信息，查看谁在什么时候使用带宽、用于什么应用、多长时间。 Subnet和基于IP范围的报表 查看通过特定subnet或IP范围的流量报表。每个网络或subnet的带宽使用，确定通过用户组的高峰时间和典型使用趋势。 接口报表 查看不同时间段每个接口的带宽使用汇总。获取高峰时间接口使用统计数据，便于解决网络瓶颈。 可解析的主机地址

22、所有流量报表，包括可解析的资源和目标IP地址，即时查看流入或流出网站或主机的带宽统计数据。 变量显示 查看流量图表，包括流量(Kb),流量速率(bps)，或链路利用百分比。 报表输出 输出并保存PDF文件的图表和报表。 3.6 业务功能展示 3.6.1 网络用户分区管理 设备分组：能够按区域区分流量，实现分区管理； IP分组：将流量源IP进行分组，可按组织架构进行流量区分，以掌握各部门的流量情况。 图：IP分组管理 3.6.2 应用流量分析 此类报表显示了每个应用的带宽使用情况，以便了解哪些应用占用最大带宽。还可以深入分析使用这些应用的源和目标。只需简单点击，这些详细信息即可呈现谁在使用带宽以

23、及为什么使用。然后就可以决定是否需要增加可用带宽或加强安全策略。 通过对流量的识别，统计网内流量的占比，知道各种业务流量的大小、变化趋势，以规划和优化网络。 所有流量报表，包括可解析的资源和目标IP地址，即时查看流入或流出网站或主机的带宽统计数据。能够实现对一个具体IP应用的深入分析，以便管理员了解IP流量异常时的流量分配，做出判断，给出相应的安全策略。 图：业务应用分析 图：具体IP应用的深入分析 3.6.3 流量目标地址统计 通过流量流向的TOP N统计，能够识别受欢迎的地址。同时能够识别这些地址的协议内容。 图：目的流入排行榜报表 图：具体一个目的IP的流入排行榜 3.6.4 带宽使用实

24、时统计 此类报表用来查看每个启用IPFIX的接口当前、平均和最高的带宽使用情况。利用这些带宽使用的统计数据，就可以立刻了解某个接口相关的主机、应用和会话占用了多少带宽。 图：带宽使用实时统计图：基于接口速度、接口利用率、IP组速度、IP组利用率进行排行 查看带宽使用每日、每周、每月的流量报表。查看基于主机、应用和时间的使用趋势。一天、一周、一月和一年内的带宽使用趋势，并决定是否需要升级带宽。 从网络总容量、速度、使用率、数据包四个维度去统计和分析趋势；根据几个指标的饱和度，可以考虑是否需要对网络进行扩容；同时预测负载峰值时间，采取有效措施保证网络不会过载。 图：内网流量趋势表 3.6.6 高效

25、便捷的流量管理 提供基于流量阈值的报警机制，用户可灵活的定制告警条件，预防网络流量异常；提供基于WEB的访问方式，管理员可以“随时、随地”的监控自己的网络。 图：流量管理配置报警表 4 网络透明化解决方案组网模式及应用 4.1 网络透明化解决方案组网模式 图：IPFIX在网络各层中的应用 利用IPFIX日志，网络透明化解决方案提供了一种网络监测、分析的方式，直接从支持IPFIX功能的路由器和交换机中收集流量信息，可以灵活启动不同层面（接入层、汇聚层、核心层）的网络设备进行IPFIX流量日志收集，并将收集的内容以IPFIX 格式的日志输出给Collector设备进行分析。 用户使用Analyse

26、r的分析功能， 可以做网络使用状况监控、 用户行为追踪、异常流量检测等，并且基于功能丰富的报表，用户可以做网络规划方面的决策。 4.2 网络透明化解决方案应用 IPFIX技术定义了一种路由器/交换机向管理系统输出流量数据的方法， 通过采集和分析流量数据，并将流量数据与管理控制台中的其他网络和应用性能指标建立关系，对网络运行状态进行管理。 IPFIX技术的IP网络流量数据报文中包含许多有价值的流量统计数据，这些流信息充分揭示了有关网络使用的问题 流量的分布问题；是指全网中，哪些点流量大，哪些点流量小？ 流量的构成问题；对于特定的点，流量的组成是什么？由谁发起的？目的地在哪里？ 利用网络透明化网流

27、分析系统对这些数据进行统计分析，就能从中提取出网络流量特征，从而为网络管理员提供一张丰富而详尽的网络利用视图。 网络优化 网络透明化解决方案，可以使网络管理员及时掌握网络负载状况，网内应用资源使用情况，对核心网络的重点链路进行统计，各类TOP应用百分比，使用各类应用的网内用户、服务器的流量趋势及统计值，迅速发现网络当前的使用状况和不同链路的使用率变化趋势，尽早发现网络结构的不合理，或是网络性能瓶颈，尽快作出网络优化方面的决断，最终实现网络的优化使用，为用户提供高品质的网络服务，并且避免了网络带宽和服务器瓶颈问题。 网络规划参考 利用IPFIX流日志以及网络透明化长期监控网络带宽而形成的各类趋势

28、报表， 如基于设备接口的长期流量入出趋势，长期流量入出趋势分析，各类应用百分比，有助于网络管理员跟踪和预测网络链路流量的增长，从而能有效的规划网络升级（例如，增加路由服务、端口或使用更高带宽的接口）。 网络流量异常监测 管理者都希望在网络性能突然下降的时候找到问题所在，并迅速解决问题。 利用网络透明化解决方案提供的某段时间内的流量、应用趋势分析，可非常直观的看到网络流量是否有突然增长或突然下降的现象，并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。根据最终分析结果，管理者可快速的解决掉网络异常问题，保证网络正常的运行！ 广域网流量监测 对于一个企业来说，WA

29、N带宽通常有限，如果WAN链路流量增大，通常企业的做法就是进行投资以升级WAN链路，但是如果企业能掌握WAN流量的特征，制定相应的策略（比如QoS和针对源或目的IP地址作流限制），就能使WAN带宽得到最合理最充分的使用，避免进行不必要的升级投资。 网络透明化解决方案所提供的分析结果能够使网络管理员洞察WAN链路的流量特征、承载的应用、用户使用状况，从而针对是否应投资升级带宽快速的作出响应！ 5 结束语 “无法被量化的将无法改进”。管理和优化网络首先要进行测量。 要进行网络整体流量分析，即实现流量的分布分析和构成分析，则基于流（Flow）技术是当前的最优选择，可以针对超大、大、中、小型不同规模的网络，实现全网流量的精细化监控，包括流量分布情况和流量构成情况。 而IPFIX作为目前标准化的一种网络流量监控标准，统一了流量监控标准，通过使用单一的、一致的模型，简化了流输出架构，它为高速网络用