H3C iMC 网络流量分析方案技术建议书.docx

1、H3C iMC 网络流量分析方案技术建议书H3C iMC 网络流量分析方案技术方案建议书杭州华三通信技术有限公司目 录一、 网络流量分析技术的现状与发展 4二、 网络流量分析的重要性分析 5三、 项目网络流量分析系统需求分析 63.1. 项目相关背景及需求信息 63.2. 项目网络拓扑结构及网络流量模型 6四、 H3C iMC 网络流量分析(NTA)解决方案介绍 64.1. NTA解决方案介绍 74.2. NTA逻辑组成 74.3. NTA报表功能 84.3.1. 预定义报表介绍 84.3.2. 七层应用分析报表（DIG采集方式支持） 114.3.3. 智能基线、自动告警 114.4. NTA

2、相关技术规范 12五、 项目NTA解决方案部署 125.1. 广域网流量监控方案 135.1.1. 广域网分支流量监控方案 135.1.1.1. 适用的网络环境： 135.1.1.2. 推荐使用的组件： 135.1.1.3. 应用组网图： 135.1.1.4. 可实现的功能： 145.1.2. 广域网分布式流量监控方案 145.1.2.1. 适用的网络环境： 145.1.2.2. 推荐使用的组件： 145.1.2.3. 应用组网图 145.1.2.4. 可实现的功能： 155.2. 局域网流量监控方案 165.2.1. 局域网Internet出口流量监控方案 165.2.1.1. 适用的网络环

3、境： 165.2.1.2. 推荐使用组件： 165.2.1.3. 应用组网图： 165.2.1.4. 可实现的功能： 165.2.2. 不支持NetStream设备组网方案 175.2.2.1. 适用的网络环境： 175.2.2.2. 推荐使用的组件： 175.2.2.3. 应用组网图 175.2.2.4. 可实现的功能： 18附：NTA特色流量分析功能介绍 18准确的主机识别 18数据库实时监控 19灵活的应用自定义 19流量分析任务管理 19附：NETSTREAM技术简介 19一、 网络流量分析技术的现状与发展随着网络的应用越来越广泛，规模越来越大，其承载的业务越来越丰富，了解网络承载的业

4、务，掌握网络流量特征，以便使网络带宽配置最优化，是当前网络面临的一大挑战；另一方面，网络蠕虫病毒、DoS/DDoS攻击等在网络中越来越流行，对网络正常业务的负面危害也越来越大，因此检测威胁网络安全的异常行为是当前网络面临的另一大挑战。 绝大多数企业的IT管理部门都还没有建设起一套能够完全满足上述管理需求的网络及业务流量和流向分析系统，大部分网管系统还只是采用一些通用型的网络链路使用率监视软件，如MRTG，利用SNMP协议对网络的重点链路和互联点进行简单的端口级流量监视和统计；或采用在网络中部分重点POP点加装RMON探针的方式，利用RMON I/II协议对网络中部分端口进行网络流量和上层业务流

5、量的监视和采集。但是上述两种被普遍采用的网络流量分析系统都有其显著的技术局限性：1) 利用SNMP协议能够对被监视的各个网络端口进出的数据包数和字节数进行采集，但不会对信息进行过滤，经常是收集上许多无用信息。不但包括网络层的客户业务流量信息，还包括链路层的数据帧包头，Hello数据包，出错后重新传送的数据包等流量信息。而且SNMP协议还无法区分网络层数据流量中各种不同类型客户业务在总流量中的分布状况，也无法对进出的流量进行流向分析。 2) 利用RMON协议对运营商网络进行流量和流向管理可以部分弥补SNMP协议的技术局限性，如可以对业务流量进行统计，但同时也暴露出新的技术局限性。首先，由于RMO

6、N协议需要对网络上传送的每个数据帧进行采集和分析，会消耗大量的CPU资源因而不可能由网络设备本身实现，需要额外购买和安装内置式或外置式的RMON探针。市场上现有的RMON探针处理能力也有限制，还不能支持监控端口速率超过1Gbps的网络端口。其次，因为RMON探针为硬件设备，价格较贵，所以不可能为每台网络设备都配备，且由于RMON探针，特别是内置式RMON探针，探针接入网络后部署变更困难，必然会造成出现异常事件时无法及时对特定的网络链路进行监控。最后，由于RMON探针采集到的管理数据是由分析每个数据包后得到的，数据量非常大且分散，协议缺乏内建的数据汇总机制，不易对数据进行高层次的流向分析。这些因

7、素都会阻碍利用RMON协议对大型网络进行流量和流向分析的有效性。 为克服现有网管系统对网络流量和流向分析功能的技术局限性，企业IT管理部门迫切需要寻找一种功能丰富，成熟稳定的新技术对现有管理系统中管理信息的采集和分析方式进行改造和升级。新的信息采集和分析技术还需要对企业的运行网络影响小，无需对网络拓扑进行改变就能平滑升级。而且新的信息采集和分析技术应该即可以对网络中各个链路的带宽使用率进行统计，也可以对每条链路上传输不同类型业务的流量和流向进行分析和统计。作为IT业界的网络解决方案提供商，H3C不但提供了性能卓越的网络设备，还配套研发了可以满足客户对网络流量和流向分析需求的NetStream技

8、术，NetStream技术是一种基于网络流信息的统计与发布技术，它可以对网络中的通信量和资源使用情况进行分类和统计，基于各种业务和应用进行分析。二、 网络流量分析的重要性随着网络规模的日渐增长，网络中承载的业务也越来越丰富。企业需要及时的了解到网络中承载的业务，及时的掌握网络流量特征，以便使网络带宽配置最优化，及时解决网络性能问题。目前企业在管理网络当中普遍遭遇到了如下的问题：1) 网络的可视性：网络利用率如何？什么样的程序正在网络中运行？主要用户有哪些？网络中是否产生异常流量？有没有长期的趋势数据作为网络带宽规划的参考？2) 应用的可视性：当前网内有哪些应用？分别产生了多少流量？网络中应用使

9、用的模式是什么？企业内部重要应用执行状况如何？3) 用户使用网络模式的可视性：哪些用户产生的流量最多？哪些服务器接收的流量最多？哪些会话产生了流量？分别使用了哪些应用？三、 项目网络流量分析系统需求分析此处对项目背景进行简单介绍，主要目的是分析网络流量分析的需求，建议内容包括：注：此处请项目人员根据具体的项目信息补充说明。三.1. 项目相关背景及需求信息三.2. 项目网络拓扑结构及网络流量模型四、 H3C iMC 网络流量分析(NTA)解决方案介绍H3C专注于IP产品与相关技术的研发、生产和销售，具备完善的产品技术、客户服务、渠道、认证培训体系，为您提供客户化、特性丰富、性价比高的网络产品与解

10、决方案。作为业界领先的网络设备与解决方案供应商，H3C提供包括网络管理、用户管理、业务管理等全面的管理解决方案：H3C智能管理中心（H3C Intelligent Management Center，以下简称H3C iMC）。H3C智能管理中心解决方案架构如下图所示：H3C iMC解决方案架构由上图可以看出H3C iMC管理系统由智能管理平台以及各个业务组件组成，管理平台提供网络管理的一些基础功能，比如故障管理、性能管理、资源和拓扑管理等，而业务组件提供了相应的业务管理功能；各个业务组件相对独立，并可以无缝的集成在管理平台中，使得整个系统具有很强的可扩展性和灵活性。四.1. NTA解决方案介绍

11、iMC 网络流量分析(Network Traffic Analyzer, NTA)解决方案可以帮助网络管理人员了解企业内部网络之运行状况，及时发现并解决网络中的性能瓶颈问题、网络异常现象，也能方便用户进行网络优化、网络设备投资、网络带宽优化等的参考，并方便网络管理员及时解决网络异常问题。四.2. NTA逻辑组成iMC NTA解决方案包括：网络设备、DIG日志采集器（可选）、iMC NTA网络流量分析组件，三部分之间的关系如下图所示：1）网络设备提供NetStream技术sFlow技术接口的网络设备，负责对设备各个端口进出的网络报文进行流分类统计，然后生成日志并发送到流量分析服务器。2）DIG日

12、志采集器适用于配合不支持NetStream技术sFlow技术的网络设备进行流量分析的组网环境，DIG日志采集器过滤和统计DIG日志报文，形成DIG日志输出。DIG采集器有以下两种方式对网络设备端口的数据报文进行采集：1、 从镜像端口采集对于支持端口镜像功能的交换机、路由器设备，可以将镜像端口直接同DIG日志探针组件的采集网卡相连，实现数据采集。此类采集方式，需要设置设备镜像端口，保证镜像端口和采集网卡的类型、带宽匹配。2、 分流器采集在设备不支持镜像端口的情况下，为了不影响设备性能，比较专业的采集方案是采用分流器，从设备端口接收网络数据报文。此方案通常应用于光纤链路。3、 iMC NTA网络流

13、量分析组件iMC NTA网络流量分析组件是本方案的核心，其根据不同应用对采集来的流量数据进行详细的分析处理。采用将分布式数据先集中再分析的方法，实现了精细统计粒度的同时高效的分析样本。为便于网络管理人员的操作，采用基于Web的直观的、图形化的管理界面。四.3. NTA报表功能四.3.1. 预定义报表介绍使用iMC NTA可以简化对企业网络中带宽使用的监控。用户借助NetStream数据了解谁、何时占用了多少带宽，使用多长时间，网络流量来自何地、流向何处。iMC NTA这些数据进行多角度的统计和分析，并生成各种直观的流量、带宽报表。以便用户快速诊断网络问题并解决带宽瓶颈，同时作为用户进行网络优化

14、、网络设备投资、网络带宽优化等的参考。iMC NTA提供了一系列预置的流量、带宽报表，所有报表均可以灵活定制过滤条件（包括应用类别、源IP、目的IP等），在预定义报表中按照定制的过滤条件显示特定应用的流量趋势或特定节点的流量明细信息。通过预置报表可以简单有效地分析网络流量。可以了解造成带宽瓶颈的某个特定主机、应用或会话的详细信息。这将便于快速了解当前哪些链路堵塞，并分析其原因。另外，不同时间段的使用趋势有助于用户在带宽投资或加强安全策略方面做出重要的决定，促进有效地使用带宽。总体流量趋势报表此类报表用于查看特定时间段内每个启用NetStream的接口指定时间段内的出、入流量、最大、最小和平均速

15、率、流量时间变化趋势及对应的流量明细信息。利用这些流量统计数据，任何时间段内通过特定接口的流量信息可以一览无余，短期（如当天）内的流量数据可作为发现异常流量的参考，长期（如一季度）流量趋势数据可以为您网络优化或升级规划提供依据。应用带宽占用趋势报表此类报表用于查看特定时间内启用NetStream接口的流入、流出方向上，各网络应用占用带宽的比例的变化趋势及应用统计概况。并进一步分析使用该应用进行通讯的流量最大的来源和目的地址列表。对系统不能识别的应用，以四层协议端口号的方式显示流量趋势信息，分别提供以端口、源IP、目的IP为分组依据的未知应用流量分布图，分别基于未知应用的端口、源IP、目的IP的

16、流量趋势变化图和未知应用流量详细信息列表，并提供把分布图中显示的未知应用定义为已知应用的快捷功能。利用报表统计数据可以了解哪些应用占用最大带宽。进一步分析使用这些应用的源和目的。只需简单点击，这些详细信息即可呈现谁在使用带宽、使用何种协议，帮助用户实时监控网络带宽的使用，为网络带宽优化、解决网络异常问题提供依据。流量最高节点报表包括“流量最高的来源节点报表”和“流量最高的目的节点报表”。此类报表用于查看特定时间内启用NetStream接口的流入、流出方向上，总流量TopN的网络节点及流量统计信息。进一步可分析特定节点的流量，如使用最多的应用和与之通信最多的节点。利用此类报表数据，可掌握哪些主机

17、消耗了大量带宽，并可以深入分析使用了哪些应用、访问了哪些目标。流量最高的会话报表此类报表用于查看特定时间内启用NetStream接口的流入、流出方向上，总流量TopN的网络节点间会话及流量统计信息。进一步可分析该会话的流量，如会话的流量趋势和双方节点使用最多的应用。此类报表数据，展示了耗尽大量带宽的特定主机，并可以此为依据深入分析通信的主机之间使用了哪些应用。流量最高的节点和会话报表将帮助管理员洞察网络链路的用户使用状况，制定相应的策略，使带宽得到最合理最充分的使用。支持周期报表提供网络流量周期性(每小时、每日、每周、每月)状态的综合报表，提供直观的网流状态展示。支持即时报表提供网络流量当前状

18、态（最近一小时）的综合报表，提供准实时的网络流量展示。四.3.2. 七层应用分析报表（DIG采集方式支持）iMC NTA支持按照特征码识别BT、Kazaa、DC通讯、eDonkey、Gnutella、QQ文字、MSN文字通讯、迅雷、AIM等十余种目前流行的P2P和即时通信应用，对识别的七层应用提供应用带宽占用趋势等预定义报表，具体可参见报表功能介绍部分，同时用户可以根据特征码自行定义关心的七层应用。四.3.3. 智能基线、自动告警基线的建立对于网络流量分析，尤其是异常流量的检测具有重要意义。基线描述了正常情况下链路的流量分布和变化规律。基线功能可以通过对一个指定时间周期内各项流量指标的定义(如

19、总体网络流量水平、流量波动、流量跳变等)，建立流量异常监测的基础模型，并可在运行中不断自我修正，完成与实际运行特征的吻合，从而提高对异常流量报警的准确性，帮助用户及时发现系统异常。NTA采用了独创的坏值剔除技术和高精度的基线构造算法，以周为单位整理历史流量信息，智能化自动生成流量基线，准确反映网络总体流量基准，动态衡量网络总体流量水平。同时以每天为更新周期，在午夜00：00重新自动计算生成新的基线模型，保证基线能够更加准确的贴近网络实际运行状况。基线的建立便于用户及时发现网络异常流量，NTA基于基线实时检测流量突变状态，并采用零均值化、二阶自回归模型AR(2)等高准确性的数学模型，在无序的流量

20、运行状态中准确分辨网络异常流量，流量发生异常偏离时自动告警。同时NTA依托iMC平台支持丰富的告警方式，通过声光、短信、邮件等多种方式通知管理员，及时发现网络中的异常流量。这样带来的好处是用户可以根据基线来判断网络是否正常。如：网络中有突发的Flood攻击时，网络可能并不会立即瘫痪，但是网络流量一定会发生异常，与正常情况下对应时刻基线差别会很大，这时通过基线及时检测异常流量，可以及时发现问题。四.4. NTA相关技术规范NTA通过接收网络设备的流量日志，处理分析形成流量分析报表，并以Web方式展现给用户。网络设备流量日志需遵循的技术规范如下：1. NetSteam技术：NetStream是H3

21、C公司基于“流”的概念，定义的一种用于路由器/交换机输出网络流量的统计数据方法，它可以回答有关IP流量的如下问题：谁在什么时间、在什么地方、使用何种协议、访问谁、具体的流量是多少等问题。2. sFlow技术：sFlow是由InMon、HP和Foundry Networks联合开发的一种网络监测技术，它采用数据流随机采样技术，可以适应超大网络流量（如大于10Gbps）环境下的流量分析，让用户详细、实时地分析网络传输流的性能、趋势和存在的问题。如果网络设备不支持上述技术，则可通过端口镜像的方式，配合H3C DIG日志采集软件实现流量采集和分析功能。五、 项目NTA解决方案部署请根据用户网络结构选择

22、相应方案五.1. 广域网流量监控方案五.1.1. 广域网分支流量监控方案五.1.1.1. 适用的网络环境：针对一些有众多分支机构的大企业，或者是全国性质的政府部门，往往都是一个总部，多个区域网络，通过租用运营商的E1、155M POS线路相连，构建了一个庞大的广域网结构。在这样的网络结构中，由于连接总部和区域网络的运营商的E1线路，因此费用是比较昂贵的；同时这些E1线路的带宽也不像局域网已经升级到千兆或万兆，还是只有2M的基础，最多也就是多个E1捆绑，达到几十MB而已。因此作为总部的网络管理部门，特别希望能了解当前在广域网中的应用流量使用情况，及时调整各种业务的带宽占用情况，以保障关键业务的正

23、常运行。五.1.1.2. 推荐使用的组件：H3C iMC智能管理平台、网络流量分析组件（NTA）。 五.1.1.3. 应用组网图：通过在总部的广域网路由器上增加NetStream单板，并启动对连接分支节点端口的NetStream统计功能，并在总部部署一套iMC NTA来分析和监视广域网中的应用流量。五.1.1.4. 可实现的功能：通过对总部广域网路由器的流量监控，可实现所有分支网络之间通信流量、分支和总部之间通信流量的整体监控。 广域网链路流量检测对于一个企业来说，WAN带宽通常是有限的，如果WAN链路上的流量增大，通常企业的做法就是进行投资以升级WAN链路，但是如果企业能掌握WAN流量的特征

24、，制定相应的策略（比如QoS和针对源或目的IP地址作流限制），就能使WAN带宽得到最合理最充分的使用，避免进行不必要的升级投资。iMC NTA通过流量、应用、会话、节点等几大类预定义报表，提供准实时的流量监控和详尽流量分析结果。帮助网络管理员洞察WAN链路的流量特征、承载的应用、用户使用状况，从而针对是否应投资升级带宽快速的作出快速响应。 网络优化同时通过iMC NTA可使网络管理员及时掌握网络负载状况，网内应用资源使用情况，尽早发现网络结构的不合理，或是网络性能瓶颈，尽快作出网络优化方面的决断，使网络带宽分配最优化，为用户提供高品质的网络服务，并且避免了网络带宽和服务器瓶颈问题。五.1.2.

25、 广域网分布式流量监控方案五.1.2.1. 适用的网络环境：有众多分支机构的大企业，或者是全国性质的政府部门，即一个总部，多个区域网络，通过租用运营商的E1、155M POS线路相连，构建一个庞大的广域网结构。五.1.2.2. 推荐使用的组件：H3C iMC智能管理平台、网络流量分析组件（NTA）。 五.1.2.3. 应用组网图各分支机构部署一套iMC NTA，实现分布式流量接收和分析处理，总部部署一套iMC NTA作为流量分析中心，实现统一的Web流量分析。通过多台网流服务器分布式安装建立大型园区网的区域化、层次化的流量分析管理系统，分散了大规模网络的流量分析压力。五.1.2.4. 可实现的

26、功能：本方案实现了大型网络层次化、结构化的分级流量监控分析解决方案： 分布式流量检测针对一个总部多个分支、跨广域网的大型园区网，提供了分布式流量检测能力：通过核心出口部署流量检测点，实现对企业各分支之间、分支到总部应用流量的统计分析；通过在各分支部署流量检测点实现各分支网络内部应用流量的监控。并以统一的Web界面展示全网总部和分支所有流量，实现层次化的分级流量监控解决方案。 广域网链路流量检测对于一个企业来说，WAN带宽通常是有限的，如果WAN链路上的流量增大，通常企业的做法就是进行投资以升级WAN链路，但是如果企业能掌握WAN流量的特征，制定相应的策略（比如QoS和针对源或目的IP地址作流限

27、制），就能使WAN带宽得到最合理最充分的使用，避免进行不必要的升级投资。iMC NTA通过流量、应用、会话、节点等几大类预定义报表，提供准实时的流量监控和详尽流量分析结果。帮助网络管理员洞察WAN链路的流量特征、承载的应用、用户使用状况，从而针对是否应投资升级带宽快速的作出快速响应。 网络优化同时通过iMC NTA可使网络管理员及时掌握网络负载状况，网内应用资源使用情况，尽早发现网络结构的不合理，或是网络性能瓶颈，尽快作出网络优化方面的决断，使网络带宽分配最优化，为用户提供高品质的网络服务，并且避免了网络带宽和服务器瓶颈问题五.2. 局域网流量监控方案五.2.1. 局域网Internet出口流

28、量监控方案五.2.1.1. 适用的网络环境：对于大多数的局域网络，都会连接到Internet网络中，通过对Internet出口流量的监控，不仅能分析各种应用占用出口带宽的情况，还能监视一些非工作需要的Internet访问，例如Web访问、聊天等，提高工作效率。五.2.1.2. 推荐使用组件：H3C iMC智能管理平台、网络流量分析组件（NTA）。五.2.1.3. 应用组网图：在广域网出口的路由器或者交换机上通过增加NetStream单板，并启动对连接Internet端口（通常是E1、百兆）的NetStream统计功能，并在网络中一套iMC NTA实现对广域网出口的应用的流量和个人IP地址的流量

29、进行分析和监视。五.2.1.4. 可实现的功能： 网络流量异常监测网络管理员都希望在网络性能突然下降的时候找到“真凶”所在，并迅速解决问题。利用NTA解决方案提供的某段时间内的流量、应用趋势分析，可非常直观的看到网络流量是否有突然增长或突然下降的现象，并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。并根据最终分析结果，网络管理员可快速的解决网络异常问题，保证网络正常的运行。 网络规划参考利用NetStream流日志以及NTA长期监控网络带宽而形成的各类趋势报表，有助于网络管理员跟踪和预测网络链路流量的增长，从而能有效的规划网络升级（例如，增加路由服务、端口或

30、使用更高带宽的接口）。五.2.2. 不支持NetStream设备组网方案五.2.2.1. 适用的网络环境：对于大多数的局域网络，都会连接到Internet网络中，通过对Internet出口流量的监控，不仅能分析各种应用占用出口带宽的情况，还能监视一些非工作需要的Internet访问，例如BT下载、聊天等，提高工作效率。但网络中的出口设备可能不支持NetStream技术，不能通过NetStream流日志实现对流量的监控分析。本方案通过DIG探针型日志采集器采集网络设备镜像端口或TAP分流器的原始流量，通过过滤聚合生成DIG日志，并发送iMC NTA监控分析网络应用流量，普遍适用于用户需要对Int

31、ernet出口带宽进行监控，但出口设备不支持NetStream技术的组网环境。五.2.2.2. 推荐使用的组件：H3C iMC智能管理平台、网络流量分析组件（NTA）、DIG探针型日志采集器。五.2.2.3. 应用组网图本方案通过在网络出口设备启用端口镜像功能或部署TAP分流器，同时部署DIG探针型采集器实现对网络出口的流量监控。五.2.2.4. 可实现的功能： 网络流量异常监测网络管理员都希望在网络性能突然下降的时候找到“真凶”所在，并迅速解决问题。利用NTA解决方案提供的某段时间内的流量、应用趋势分析，可非常直观的看到网络流量是否有突然增长或突然下降的现象，并进一步分析出是哪些用户产生了最多的流量、使用了哪些应用以至于网络运转出现性能问题。并根据最终分析结果，网络管理员可快速的解决网络异常问题，保证网络正常的运行！ 网络规划参考利用NetStream流日志以及NTA长期监控网络带宽而形成的各类趋势报表，有助于网络管理员跟踪和预测网络链路流量的增长，从而能有效的规划网络升级（例如，增加路由服务、端口或使用更高带宽的接口）。附：NTA特色流量分析功能介绍准确的主机识别对于系统预定义报表Top列表中出现的任何一个IP地址，都支持通过点击其相应的