吉林电调方案03第三部分 网络详细设计及实施方案.docx

1、吉林电调方案03第三部分 网络详细设计及实施方案第三部分 网络详细设计及实施方案 1自治系统划分根据吉林电力数通通信网的规划建议，吉林电力数据通信网设计为一个自治域，采用Privat-As的方式建立省内的AS，用EBGP协议实现和国家电力数据体系网互联和控制，对外显示为一个AS，对内则显示为多个AS。2 路由规划2.1 路由设计对一个大型网络来说，选择一个合适的路由协议是非常重要的。不恰当的选择有时对网络是致命的，路由协议对网络的稳定高效运行、网络在拓扑变化时的快速收敛、网络带宽的充分有效利用、网络在故障时的快速恢复、网络的灵活扩展都有很重要的影响；还有对于网络承载的业务的控制方面的复杂和灵活

2、方面具有很重要的影响。路由协议的功能主要是：路径选择；信息包的传输。路径的选择取决于metrics, metrics可包括可靠性、延迟、带宽、负载、MTU、通讯费用和业务数据流向控制等。不同的路由算法考虑部分或全部的因素，收敛时间和切换时间是不同的。下面，我们对吉林电力数据通信网络进行简单的分析，根据吉林电力数据通信网络特点选择合适的路由协议和合理的路由设计。2.2 吉林电力数据网网络特点吉林电力数据网网络具有非常多的特色，与路由协议和路由规划结合比较紧密，主要有如下几点：1、吉林电力数据通信网网络结构比较复杂2、吉林电力数据通信网网络规模庞大，网络节点众多在吉林电力数据网网络中，核心层有2个

3、节点，11个骨干节点，还有接入节点、城域网等。整个网络中的路由器的数量较大。 3、网络拓扑结构将根据电力数据网业务和带宽资源的变化调整。综合上述，吉林电力数据网网络规模较大，结构复杂，业务流程控制严格。针对吉林电力数据网网络特点，需要的路由协议是：适合大型网络，收敛时间快，路由策略丰富；并且是标准化容易扩展。2.3 路由协议介绍路由协议一般来说分为：内部网关路由协议和外部网关路由协议。其中内部网关路由协议又可以分为：距离矢量路由协议（RIP、IGRP和EIGRP）；链路状态路由协议（OSPF和IS-IS等）。外部网关路由协议主要指的是BGP路由协议。上面所讲的都是单播路由协议，与此对应的还有多

4、播路由协议。对于吉林电力数据网，我们要用的是单播路由协议。距离矢量路由协议主要特点是适合于小型网络，路由收敛较慢，可能会形成路由环路，链路带宽消耗较大等。EIGRP是Cisco私有的路由协议，对于距离矢量路由协议的一些特点有所改进。链路状态路由协议的主要特点是适合于大型网络，采用分层结构，隔离不同网络故障点，路由收敛快，不会形成路由环，链路带宽消耗较小；另外，配置稍微复杂。外部网关路由协议的路由策略特别丰富，易于控制业务和路由流程。另外，还有静态路由协议。静态路由协议仅适用于网络相对简单，网络流量可以预测的环境及拨号备份线路。下面简单对几个路由协议进行简单描述。2.3.1 IGP路由协议在IG

5、P路由协议的选择上，尽量不要采用扩展性差的（RIP）和厂家的私有路由协议（IGRP和EIGRP），尽量采用OSPF或IS-IS。对于OSPF和IS-IS的选择依据为：基本原理相同（基于链路状态算法），OSPF用于IP， IS-IS用于ISO的CLNP，也支持IP（“集成IS-IS”）；IS-IS结构严谨，OSPF更加灵活，OSPF协议是基于接口的，而IS-IS路由器只能属于一个Area，并且不支持NBMA网络；IS-IS占用网络资源相对较少，支持网络规模大于OSPF，在网络相当庞大时能体现出优势；一个IGP域运行的三层交换机及路由器的数量一般不会超过200台，因此从实际情况来看，运行OSPF和

6、IS-IS对IP城域网/承载网的建设不会有差异；对于网络的稳定性、可扩充性，两种协议都能很好地支持；在大型ISP上，IS-IS与OSPF二者均获得普遍应用；从MPLS草案及现实运行来看，如果要运行MPLS网络的话，OSPF经常被选用做内部IGP，当然IS-IS也有，但是MPLS草案中认为在MPLS环境中运行OSPF更合适；从目前很多厂商的设备来看，存在这样一个问题，不少厂商的中低端路由器及三层交换机不支持IS-IS，从这个角度讲OSPF比IS-IS有优势，所有的主流路由器及三层交换机都支持OSPF综合考虑，考虑到网络的扩展，我们建议使用OSPF更符合实际。OSPF（Open Shortest

7、Path First，即最短路径优先协议）是一种基于链路状态的内部动态路由协议。与所有链路状态路由协议相同，OSPF协议比距离向量路由协议具有更快的收敛速度，可以支持更大的网络，不易受到错误路由信息的影响，是一种适用范围大、功能完善的路由协议。OSPF路由协议还具有以下特点：通过引入区域的概念，OSPF协议建立分层的路由计算结构，减少了路由协议对CPU资源的消耗，也节省了路由信息传播所占用的网络带宽；支持无类别的路由表查找，支持变长子网掩码，并且通过支持超网，提高路由的可管理性；采用触发更新机制，路由收敛速度快；支持在数个费用相同的路径之间进行负载均衡，从而更加有效地利用网络资源；使用保留的组

8、播地址传递协议控制信息，减少对非OSPF网络设备的影响；支持路由信息的认证，提供更安全的路由机制；通过路由标记跟踪外部路由。目前OSPF的主要标准是RFC2328（版本2）。2.3.2 BGP路由协议BGP是一种自治系统间的动态路由发现协议，它的基本功能是在自治系统间自动交换无环路的路由信息。与OSPF和RIP等在自治区域内部运行的协议对应，BGP是一类EGP(Edge Gateway Protocol)协议，而OSPF和RIP等为IGP(Interior Gateway Protocol)协议。BGP是在EGP应用的基础上发展起来的。EGP在此以前已经作为自治区域间的路由发现协议，广泛应用于

9、NFSNET等主干网络上。但是，EGP被路由环路问题所困扰。BGP通过在路由信息中增加自治区域(AS)路径的属性，来构造自治区域的拓扑图，从而消除路由环路并实施用户配置的策略。同时，随着INTERNET的飞速发展，路由表的体积也迅速增加，自治区域间路由信息的交换量越来越大，都影响了网络的性能。BGP支持无类型的区域间路由CIDR(Classless Inter domain Routing)，可以有效的减少日益增大的路由表。BGP运行时刻分别与本自治区域外和区域内的BGP伙伴建立连接(使用Socket)。与区域内伙伴的连接称为IBGP(Internal BGP)连接，与自治区域外的BGP伙伴的

10、连接称为EBGP(External BGP)连接。本地的BGP协议对IBGP和EBGP伙伴使用不同的机制处理。建议吉林电力数据通信网和国家电力数据通信网之间运行BGP4协议。2.5 吉林电力数据网路由总方案对于大型网络设计路由，既要考虑路由协议本身，同时对设备的性能也必须考虑。在吉林电力数据通信骨干网中，有很多路由器，考虑到路由规模和它们对于路由的支持能力，建议吉林电力数据网采用分层设计思想，减少路由数量，隔离网络故障点。基于对于吉林电力数据网网络和路由协议分析，我们建议吉林数据网使用OSPF+BGP4的路由协议进行规划。这个组合非常适于大型网络的组网，也是当今网络规划中被广泛使用的设计方法。

11、吉林电力数据网路由规划总体方案：吉林骨干网（核心层、骨干层、接入层）：设为独立的自治系统AS，自治系统内部采用OSPF路由协议,考虑到网络规模及区域分布，可以采用分区域的方式，核心层2台路由器可以作为BackBone；AS边界路由器和国家电力数据通信网路由器之间采用IBGP路由协议；为降低IBGP连接数量，吉林省电力数据通信网核心路由器NE80可以作为RR（路由反射器）。地市网和城域网：设为独立的自治系统AS，自治系统内部采用OSPF路由协议。核心骨干网和国家电力数据通信网之运行EBGP协议；在AS边界路由器NE80上进行BGP的路由策略控制。2.6 吉林电力数据网OSPF方案全网采用OSPF

12、区域分层设计思想，核心层节点划分到BACKBONE，骨干节点按照区域分布及连接情况划分不同的Area，部分接入节点采用静态路由方式。每个地市分公司骨干节点和接入节点之间连接的链路划分到OSPF AREA 1AREA11，从业务的角度考虑，可以将AREA n设置为NSSA AREA，便于引入外部路由以及降低路由复杂度。在核心路由器，也就是ABR上，采用路由聚合的策略，减少Backbone的路由数量，同时也能尽量屏蔽由于边缘链路波动对BackBone的影响。NSSA简介NSSA是Not so stubby area的简写。在OSPF协议里面，考虑到路由规模和路由数量等，增加了stub区域的概念。对

13、于OSPF路由协议，一般区域可以引进外部路由和传递外部路由。Stub区域既不能引进外部路由，也不能传递外部路由（Type-5 LSA），只能有区域内路由和区域间路由。考虑到在网络边缘，需要引入外部路由，为此OSPF增加了NSSA概念。相对于Stub区域来说，NSSA可以自己引入外部，但是不会接收和传递别的区域引入的外部路由。NSSA扩展了Type-7 LSA（NSSA）。2.7 吉林电力数据网BGP方案以后随着吉林电力数据通信网络规模的最大，可以考虑采用BGP方案。省骨干网与地市网/城域网之间：采用EBGP路由协议，在ASBR路由器上进行BGP策略控制，以及路由发布策略，对于吉林电力数据网的不

14、同业务进行有效的控制。省骨干网ASBR路由器之间：采用iBGP路由协议，为降低IBGP连接的数量，以及进行路由策略控制，建议在骨干网设置路由反射器，如核心层节点路由器都可以作为RR，合理划分RR Client。核心层路由器之间建立FULL MESH IBGP连接。如下图所示： 2.8 MPLS VPN涉及到的路由设计由于吉林电力数据网需要开展MPLS VPN业务，因此我们需要考虑MPLS VPN的路由设计，主要包括以下方面：1、MP-iBGP核心及骨干路由器都作为MPLS VPN的PE节点，需要建立IBGP全连接，运行MBGP协议实现VPN路由及信息的传递。为了减少MP-iBGP连接的数量，建

15、议采用路由反射策略。路由反射器为核心层节点路由器，与2.6的BGP路由设计相似；反射客户机为骨干节点的路由器。采用路由反射策略后，IBGP连接数量大量减少，降低了管理难度，同时又便于业务扩展。2、PE和CE之间的路由设计华为公司的PE设备支持通过OSPF、RIP、EBGP、静态路由等方式与CE动态交换路由。3、VPN跨域的路由实现由于网络建设初期只有三个VPN，且省网、城域网业务还不成熟，建议采用较简单的跨域方式：VRF to VRF (详见VPN章节)。从VPN路由方面考虑，在需要跨域的ASBR之间配置静态路由并发布到其它PE节点。随着VPN业务的发展，可能需要和国家电力数据通信网连接，未来

16、可以采用动态的方式实现跨域VPN的衔接，如MP-EBGP、Multi-Hop EBGP方式。3可靠性设计3.1 吉林电力网络涉及到的高可靠技术从故障角度看，数据网络的高可靠技术包括不间断转发、链路保护、路径保护和流量管理的技术。这些技术能够解决不同程度的失效问题，其中不间断转发能够解决大部分的非配置失效问题，对于网络来说尤显重要。不间断转发由设备的冗余备份、在线升级和不间断路由组成，它们分别对设备的硬件故障、升级过程和路由故障进行容错。链路保护是从链路失效角度对业务的保护，保证关键链路的有效性。路径保护是从网络层次上，针对节点失效后的快速网络自愈技术。对于IP网络，流量分布是不均衡的，特别是突

17、发流量会引起网络的拥塞，导致业务的中断，流量管理的引入能够使网络流量均衡，提高网络的利用率，进而对控制网络拥塞情况的发生。3.2 备份技术高可靠性的支持必须是完备的，系统的。既要对硬件部件(如电源，主控板、交换网及存储设备等)的备份，也需要对数据和系统的中间状态信息备份。硬件的备份技术是由硬件逻辑或者底层软件控制的，系统需要实时检测硬件的状态，如果发现异常，则启动倒换过程，将备用硬件升级为主用，而原主用部件相应的转换为备用，同时尝试对硬件部件复位，并给系统发出告警。对数据和系统状态的备份也需要相应的硬件配合，通过部件冗余备份实现来增强设备的可靠性，如对路由器的主控板进行冗余备份，备用板与主用板

18、之间并不进行运行状态和与运行数据的同步。路由器启动时，主用板和备用板都要进行程序加载，并且开始相关模块的初始化，主用板正常执行启动过程，开始软件运行，备用板并不完成所有的初始化（包括配置文件的执行），而是在完成之前的最后一步暂时阻塞，保持等待运行的状态；一旦主用板出现故障，备用板重新启动所有的业务板并完成最后的初始化，接替主用板工作。这种备份方式称为冷备份。冷备份节省了加载以及启动的时间、备用板配置恢复时间，减少了故障恢复时间，从而增加系统可靠性。不过在这种备份方式下，1）由于主备之间不进行任何数据的备份，需要进行数据的搜集或恢复处理，需要花费一定的时间，2) 一些协议连接需要重新协商处理，如

19、路由协议建立邻居、路由聚合需要花费一定的时间; 3)可能会导致业务板的重新启动，需要花费一定的时间。所有这些，都可能导致业务的短时间中断，但是，即使是瞬间的网络中断，也可能给用户造成巨大的损失，对银行，证券这种敏感用户尤其如此。为了将网络中断时间减少至最短时间，甚至做到业务不中断，需要对系统运行时的动态数据或进程状态进行备份，这时备用板处于一个特殊的运行态，只接收和储存由主用板发送来的数据和状态，当主用板发生故障时，系统平滑的切换到备用板，切换过程对网络用户透明，业务不会因为网络的切换而中断。我们称这种备份方式为热备份。当系统的备用板启动之后，主用板和备用板之间的状态差异可以非常大，这时需要将

20、主用系统的数据批量的备份到备用板上，这个过程就是批量备份。当批量备份结束后，随着系统的运行，主用系统的数据会发生变化，这些变化需要定时的备份到备用系统中，这个过程称作定时备份。一旦主用系统出现故障，备用系统和主用系统的角色需要交换，将备用系统升格未主用系统的过程称作主备倒换。备用系统升级为主用系统后，一些状态信息没有从原主用系统得到，或数据失效，新的主用系统需要与接口板对硬件状态、链路层状态和配置数据上确认这些数据，这个确认过程是数据平滑。热备份保证主备系统板之间的数据和状态始终一致，因而，业务板也感觉不到系统板发生倒换，再加上协议状态的一致，因此可以保证业务不会丢失。华为的VRP(Virsa

21、tile Routing Platform)在高端路由器/交换机的各个业务板上保存FIB表（转发表），报文转发不需要系统板的参与。主备倒换发生时，业务板不发生变化，允许保文继续转发，从而保证业务不损失。3.3 补丁技术补丁技术主要目的是修正已经发现并解决的BUG，防止相同的问题在不同的网络上发生。在两种补丁技术中，冷补丁的软件升级技术是传统数据通信产品的主要方式，热补丁技术则是现有电信网络设备的常用方式，冷补丁技术能够不中断业务的转发，但对设备的正常运行有一定影响；热补丁的执行过程中业务处理流程可以正常进行，对设备没有任何影响，华为的路由器设备能够执行这两种补丁方式。冷补丁技术的主要原理是使用

22、更新的软件版本替换有问题的版本，在这个过程中，如果是在无备份的机制下，会中断转发业务；在有备份板的情况下，打补丁操作需要在备板中进行，通过手动倒换操作，能实现无业务损失的升级工作，但在接口处理板上的补丁操作会影响业务的正常运行。热补丁技术需要有操作系统和相应的编译工具的支持，它的原理是将所需要升级的那部分代码编译后形成一个补丁文件，在打补丁过程中，将这个补丁文件加载到系统的补丁区域，并修改原有软件的Bug 区域，将新的特性跳转到补丁区域执行，整个过程不需要中断业务，可以在主用板执行，因此业务没有丝毫损失。另外热补丁技术并没有修改原有软件，因此在需要时可以回退，这也为补丁的更新提供了更便利的条件

23、。3.4 不间断路由路由器中的有多种路由协议，它们保存了大量的数据和中间状态信息，数据量可以达到上百兆的大小，因此对这些数据的备份是很困难的。为了解决路由的备份问题，业界提出了三种方法：镜象、备份和平滑重启。应用不间断路由技术后，设备的路由控制器发生问题后，设备中的备用控制器自然切换为主用，替代执行路由的处理，而这个过程对路由器的转发平面是透明的，转发平面可以继续转发报文，做到不中断转发。镜象的方法是一个通用的方法，主用控制器与备用控制器的硬件、软件、数据甚至内存都完全一致，唯一不同是主用控制器能够向外发送控制信息，而备用控制器只用来接收外界消息。镜象有两种方法，一种是硬件镜象，另外一种是软件

24、镜象，硬件镜象就是由硬件同步主用和备用部件，使它们一致，软件镜象通过一套镜象协议保证这种效果。由于主用和备用的部件完全一致，当主用部件发生故障时，镜象用的备用部件也极易产生同样的问题。为了避免这一问题，就产生了备份的方式，主用和备用控制器只备份关键数据和信息，这样就避免主用和备用部件的完全一致，因而可以防止部分问题的重复发生。但是备份的方式也有它的缺点，就是主用和备用控制器的切换会导致邻接设备路由状态的更新，引起网络的路由震荡，平滑重启解决了这个问题。平滑重启通过在全网中支持路由平滑重启特性，在故障设备和正常设备间建立相互的信任机制，当设备路由故障时，需要进行路由控制器的重启前，将重启请求发送

25、给邻接设备，邻接设备收到这个请求后，不会更新其路由表，而等待故障设备重启完成，在这个过程中由于转发平面能够继续工作，因此，网络中的报文转发不会受到这个设备路由控制器重启的影响。平滑重启解决了路由备份的问题，但是它的路由恢复时间随着路由数据的大小而线性增长，在路由恢复过程中的路由更新有可能造成网络的路由循环和路由黑洞，另外由于平滑重启还没有完成其协议的标准化，因此还需要一段时间，各个厂家间的平滑重启特性才能互通。相比来说，备份的前景比较好，一方面它的机制简单，可以使用热备份特性支持，简化了实现的难度；另一方面它能够做到本地备份，不需要与邻接设备间的大量路由数据的通信，因而可以在关键设备上独立支持

26、这个特性。对于备份方式的路由更新问题，可以通过调整协议参数，或备份TCP连接的方式，使邻接设备感觉不到本机故障，抑制了路由更新。进一步的研究表明，某种方式的平滑重启与备份结合后，将会弥补两种特性的缺点，能够得到更完善的不间断路由机制。华为公司的不间断路由设计就是利用热备份方式进行的。3.5 链路保护技术故障保护主要用于在网络发生故障情况下，实施快速保护动作，保护网络的流量和基本的转发能力。由于不同的故障保护技术的反应速度不一样，保护的范围和网络不一样，因此在规划一个高可靠网络中，应该综合考虑各种可应用的技术和设备，从而达到故障尽快恢复故障，多层次的保护目的。针对数据网络业务的特点，我们可以根据

27、数据网络的特点将保护级别划分为三段：50毫秒级别，秒级级别，秒级以上级别（根据网络规模和网络拓朴，从数秒到数十秒）。在数据网络上，由于是基于报文机制，报文的转发对实时连接不敏感，并且在应用端报文收发有一定的冗错能力，一般50毫秒以下的故障不会对业务有任何影响，用户基本感觉不到网络的故障；一般秒级和秒级以上的网络故障，会影响实时业务，例如IP电话，随着网络应用的增多，比如某一区域的网络设备故障，已有的冗余备份机制或快速重路由机制不能有效控制故障的发生的情况下，网络应该能够在有限的时间内隔离出现故障的网络，减少故障的影响区域或建立迂回的路由，防止故障的扩展，此阶段主要是对路由的处理技术。秒级以上的

28、故障将会丢弃故障期间的转发报文，对于基于连接的传送，丢弃报文会影响连接的窗口的滑动；故障期间它对业务的实时性和网络的QOS有较大影响。由于数据网络应用的超时时间普遍是在秒级以上，因此秒级以上的故障不会中断一般业务的连接，业务在故障恢复后会自动恢复，例如MP3或RealPlay格式的话音、图像，网络故障后会延长数据的缓存时间，但不会影响声音和图像的播放，但是也应该注意，有一些关键业务对数据丢失相当敏感，秒级数据的丢失会引起相关网络的服务能力显著下降，应该尽可能的避免这些业务在没有50毫秒级别保护的网络上传送。为了能够在各种故障保护机制中建立协同的机制，需要在控制层面和规划中，合理的确定各种保护机

29、制的动作条件，以达到理想的分段保护能力。另外，在秒级故障上，还有VRRP，它们主要是针对局域网设定的缺省网关自动切换机制。从保护基理上分，一些保护机制是基于检测链路故障，而发生动作的，这些保护机制称之为链路保护技术；另外一些故障是通过分析到目的地的路由发生问题，而做出反应，这类技术是路径保护技术，将在下一节详细介绍。在吉林电力数据网络设计中，可以考虑采用TRUNK、MP、APS等技术来进行链路保护。链路捆绑技术包括IP TRUNK和Multi-PPP技术，它们分别用于POS接口和E1接口，一方面可以利用TRUNK的捆绑扩大连接的带宽，另一方面由于TRUNK的捆绑，它们也可以用于快速的冗余备份。

30、IP TRUNK用于将相同类型的POS接口捆绑成一个逻辑接口，这个逻辑接口在路由表中只有一项，其下一跳是这个逻辑接口，当报文需要经这个逻辑接口转发时，路由表信息指示这个接口是逻辑接口，转发部件会使用报文头信息在TRUNK表中解析下一跳的物理出接口，因此当TRUNK中的部分链路故障时，只需要更新TRUNK表，而不影响需要更新秒级收敛的路由表，大大提高了故障恢复的能力。在故障恢复时，它使用了类似IP快速重路由的机制，通过处理接口上检测到的事件，更新TRUNK数据表，来完成倒换。它的倒换速度与IP快速重路由在一个级别上，都是50毫秒级别。3.6 路径保护技术在IP网络中，为了均衡网络负载，为一个目的

31、地址配置多个下一跳的负载分担 (Load Balancing)技术已经在路由器中开始应用。多个下一跳可通过运行某些支持等值路由的路由协议获得（如OSPF），也可以由路由器通过其它策略来配置（如通过配置静态路由）。在报文转发过程中，如果查找到的转发表项中含有多个下一跳，则可通过某种策略(如使用Round Robin 方式或对报文地址进行HASH使每条流对应一个固定的下一跳)决定使用那个下一跳进行报文转发。 为一个目的地址配置多个下一跳还可以增强网络的可靠性，当一个下一跳失效时，可以继续使用另一个下一跳进行报文转发，即所谓的重路由技术(Reroute)。现有重路由技术的缺陷在于：下一跳失效的消息是

32、通过路由收敛的过程得到的，当路由器的某一端口失效时，必须要等待一个较长的路由收敛过程才能将以此端口为出端口的路由下一跳从转发表中删除掉。在这段时间内报文仍然会选择这些路由下一跳转发，而不能及时的重路由到其它可能的负载分担项上（即转发表中其它的下一跳）。此缺陷造成重路由生效时间较长，重路由生效过程中的丢包率较高。华为公司IP快速重路由技术：为了使重路由功能快速生效，减少重路由过程中的丢包，华为对IP重路由技术进行了优化，由于有良好的体系结构，这一过程相当简单，也就是根据接口底层的检测和用户的配置加快路由表更新相应的数据。这一机制的使用效果非常明显，将重路由过程中的丢包率由5.9%减少到0.027%，使重路由的时间由秒级减少到毫秒级，丢包减少99%以上。采用MPLS流量工程可以支持MPLS快速重新路由。MPLS快速重新路由是一种对需要备份的LSP的每隔一跳建立局部备份路由进行备份的一种机制。由于MPLS快速重新路由在发现链路或路由器故障以后，是通过硬件直接进行切换的，可以做到从链路故障到快速重新路由切换成功的延时小于50ms！在没有SDH环路备份的链路上，MPLS