双活或多活数据中心网络建设方案.docx

双活或多活数据中心网络建设方案.docx

《双活或多活数据中心网络建设方案.docx》由会员分享，可在线阅读，更多相关《双活或多活数据中心网络建设方案.docx（94页珍藏版）》请在冰豆网上搜索。

双活或多活数据中心网络建设方案

数据中心

网络建设方案

第一章数据中心现状分析

云计算数据中心相比较传统数据中心对网络的要求有以下变化：

1、Server-Server流量成为主流，而且要求二层流量为主。

2、站点内部物理服务器和虚拟机数量增大，导致二层拓扑变大。

3、扩容、灾备和VM迁移要求数据中心多站点间大二层互通。

4、数据中心多站点的选路问题受大二层互通影响更加复杂。

5、iSCSI/FCoE是数据中心以网络为核心演进的需求，也是不可或缺的一部分。

第二章数据中心网络技术分析

2.1路由与交换

数据中心网络方面，关注的重点是数据中心内部服务器前后端网络，对于广泛意义上的数据中心，如园区网、广域网和接入网等内容，不做过多扩散。

数据中心的网络以交换以太网为主，只有传统意义的汇聚层往上才是IP的天下。

数据中心的以太网络会逐步扩大，IP转发的层次也会被越推越高。

数据中心网络从设计伊始，主要着眼点就是转发性能，因此基于CPU/NP转发的路由器自然会被基于ASIC转发的三层交换机所淘汰。

传统的Ethernet交换技术中，只有MAC一张表要维护，地址学习靠广播，没有什么太复杂的网络变化需要关注，所以速率可以很快。

而在IP路由转发时，路由表、FIB表、ARP表一个都不能少，效率自然也低了很多。

云计算数据中心对转发带宽的需求更是永无止境，因此会以部署核心-接入二层网络结构为主。

层次越多，故障点越多、延迟越高、转发瓶颈也会越多。

目前在一些ISP（InternetServiceProvider）的二层结构大型数据中心里，由于传统的STP需要阻塞链路浪费带宽，而新的二层多路径L2MP技术还不够成熟，因此会采用全三层IP转发来暂时作为过渡技术，如接入层与核心层之间跑OSPF动态路由协议的方式。

这样做的缺点显而易见，组网复杂，路由计算繁多，以后势必会被EthernetL2MP技术所取代。

新的二层多路径技术，不管是TRILL还是SPB都引入了二层ISIS控制平面协议来作为转发路径计算依据，这样虽然可以避免当前以太网单路径转发和广播环路的问题，但毕竟是增加了控制平面拓扑选路计算的工作，能否使其依然如以往Ethernet般高效还有待观察。

MPLS就是一个的前车之鉴，本想着帮IP提高转发效率，没想到却在VPN路由隔离方面获得真正应用。

2.2EOR与TOR

数据中心网络设备就是交换机，而交换机就分为机箱式与机架式两种。

当前云计算以大量X86架构服务器替代小型机和大型机，导致单独机架Rack上的服务器数量增多。

受工程布线的困扰，在大型数据中心内EOR（EndOfRow）结构已经逐步被TOR（TopOfRack）结构所取代。

机架式交换机作为数据中心服务器第一接入设备的地位变得愈发不可动摇。

而为了确保大量机架式设备的接入，汇聚和核心层次的设备首要解决的问题就是高密度接口数量，由此机箱式交换机也就占据了数据中心转发核心的位置。

综合来说，一般情况下数据中心以大型机箱式设备为核心，机架式设备为各个机柜的接入

2.3网络虚拟化

云计算就是计算虚拟化，而存储虚拟化已经在SAN上实现得很好了，剩下网络虚拟化了。

云计算环境中，所有的服务资源都成为了一个对外的虚拟资源，那么网络不管是从路径提供还是管理维护的角度来说，都得跟着把一堆的机框盒子进行多虚一统一规划。

而云计算一虚多的时候，物理服务器都变成了很多的VM，网络层面则需要对一虚多对通路建立和管理更精细化。

2.3.1网络多虚一技术

网络多虚一技术。

最早的网络多虚一技术代表是交换机集群Cluster技术，多以盒式小交换机为主，较为古老，当前数据中心里面已经很少见了。

而新的技术则主要分为两个方向，控制平面虚拟化与数据平面虚拟化。

控制平面虚拟化

顾名思义，控制平面虚拟化是将所有设备的控制平面合而为一，只有一个主体去处理整个虚拟交换机的协议处理，表项同步等工作。

从结构上来说，控制平面虚拟化又可以分为纵向与横向虚拟化两种方向。

纵向虚拟化指不同层次设备之间通过虚拟化合多为一，相当于将下游交换机设备作为上游设备的接口扩展而存在，虚拟化后的交换机控制平面和转发平面都在上游设备上，下游设备只有一些简单的同步处理特性，报文转发也都需要上送到上游设备进行。

可以理解为集中式转发的虚拟交换机横向虚拟化多是将同一层次上的同类型交换机设备虚拟合一，，控制平面工作如纵向一般，都由一个主体去完成，但转发平面上所有的机框和盒子都可以对流量进行本地转发和处理，是典型分布式转发结构的虚拟交换机。

控制平面虚拟化从一定意义上来说是真正的虚拟交换机，能够同时解决统一管理与接口扩展的需求。

但是有一个很严重的问题制约了其技术的发展。

服务器多虚一技术目前无法做到所有资源的灵活虚拟调配，而只能基于主机级别当多机运行时，协调者的角色（等同于框式交换机的主控板控制平面）对同一应用来说，只能主备，无法做到负载均衡。

网络设备虚拟化也同样如此，以框式设备举例，不管以后能够支持多少台设备虚拟合一，只要不能解决上述问题，从控制平面处理整个虚拟交换机运行的物理控制节点主控板都只能有一块为主，其他都是备份角色（类似于服务器多虚一中的HACluster结构）。

总而言之，虚拟交换机支持的物理节点规模永远会受限于此控制节点的处理能力。

数据平面虚拟化

数据平面的虚拟化，目前主要是TRILL和SPB，他们都是用L2ISIS作为控制协议在所有设备上进行拓扑路径计算，转发的时候会对原始报文进行外层封装，以不同的目的Tag在TRILL/SPB区域内部进行转发。

对外界来说，可以认为TRILL/SPB区域网络就是一个大的虚拟交换机，Ethernet报文从入口进去后，完整的从出口吐出来，内部的转发过程对外是不可见且无意义的。

这种数据平面虚拟化多合一已经是广泛意义上的多虚一了，此方式在二层Ethernet转发时可以有效的扩展规模范围，作为网络节点的N虚一来说，控制平面虚拟化目前N还在个位到十位数上晃悠，数据平面虚拟化的N已经可以轻松达到百位的范畴。

但其缺点也很明显，引入了控制协议报文处理，增加了网络的复杂度，同时由于转发时对数据报文多了外层头的封包解包动作，降低了Ethernet

的转发效率。

从数据中心当前发展来看，规模扩充是首位的，带宽增长也是不可动摇的，因此在网络多虚一方面，控制平面多虚一的各种技术除非能够突破控制层多机协调工作的技术枷锁，否则只有在中小型数据中心里面应用，后期真正的大型云计算数据中心势必是属于TRILL/SPB此类数据平面多虚一技术的天地。

2.3.2网络一虚多技术

网络一虚多技术，已经根源久远，从Ethernet的VLAN到IP的VPN都是已经成熟技术，FC里面则有对应的VSAN技术。

此类技术特点就是给转发报文里面多插入一个Tag，供不同设备统一进行识别，然后对报文进行分类转发。

代表如只能手工配置的VLANID和可以自协商的MPLSLabel。

传统技术都是基于转发层面的，虽然在管理上也可以根据VPN进行区分，但是CPU/转发芯片/内存这些基础部件都是只能共享的。

目前最新的一虚多技术是类似ExtremeNetworks在交换机系统中实现的VirtualRouter，和VM一样可以建立多个虚拟交换机并将物理资源独立分配，目前的实现是最多可建立64个VR，其中有一个用做管理。

2.4VM互访技术（VEPA）

随着虚拟化技术的成熟和x86CPU性能的发展，越来越多的数据中心开始向虚拟化转型。

虚拟化架构能够在以下几方面对传统数据中心进行优化：

提高物理服务器CPU利用率；

提高数据中心能耗效率；

提高数据中心高可用性；

加快业务的部署速度

正是由于这些不可替代的优点，虚拟化技术正成为数据中心未来发展的方向。

然而一个问题的解决，往往伴随着另一些问题的诞生，数据网络便是其中之一。

随着越来越多的服务器被改造成虚拟化平台，数据中心内部的物理网口越来越少，以往十台数据库系统就需要十个以太网口，而现在，这十个系统可能是驻留在一台物理服务器内的十个虚拟机，共享一条上联网线。

这种模式显然是不合适的，多个虚拟机收发的数据全部挤在一个出口上，单个操作系统和网络端口之间不再是一一对应的关系，从网管人员的角度来说，原来针对端口的策略都无法部署，增加了管理的复杂程度。

其次，目前的主流虚拟平台上，都没有独立网管界面，一旦出现问题网管人员与服务器维护人员又要陷入无止尽的扯皮中。

当初虚拟化技术推行的一大障碍就是责任界定不清晰，现在这个问题再次阻碍了虚拟化的进一步普及。

接入层的概念不再仅仅针对物理端口，而是延伸到服务器内部，为不同虚拟机之间的流量交换提供服务，将虚拟机同网络端口重新关联起来。

做为X86平台虚拟化的领导厂商，VMWare早已经在其vsphere平台内置了虚拟交换机vswitch，甚至更进一步，实现了分布式虚拟交互机VDS（vnetworkdistributedswitch），为一个数据中心内提供一个统一的网络接入平台，当虚拟机发生vmotion时，所有端口上的策略都将随着虚拟机移动。

虚拟以太网端口汇聚器（VEPA）是最新IEEE802.1Qbg标准化工作的一个组成部分，其设计目标是降低与高度虚拟化部署有关的复杂性。

如果我们研究一下使用虚拟交换机的传统方法就会发现，它与VEPA方法存在很大的不同，VEPA使用户可以深入了解虚拟化及联网中的各项部署挑战和需要考虑的因素。

当您的物理主机上的监视程序上有多台虚拟机（每台虚拟机都包含一套操作系统和多种应用）时，这些虚拟机在相互通信和与外部世界通信时都要使用虚拟交换机。

事实上，虚拟交换机是一种第2层交换机，通常以软件的形式在监视程序内运行。

每种监视程序通常都有一个内建的虚拟交换机。

不同的监视程序所含的虚拟交换机在能力方面也是千差万别的。

当虚拟交换机从联网领域转移到服务器领域时，就有必要针对虚拟环境对传统的基于网络的工具和解决方案进行重新测试、重新定性和重新部署。

从某些方面来说，这种变化会对虚拟化的快速扩展和普及造成阻碍。

例如，传统的网络和服务器运营团队是截然分开的，每个团队都有自己的流程、工具和控制范围。

由于虚拟交换机的原因，联网进入了服务器的范畴，因此像供应虚拟机这样的简单任务也需要这些团队之间开展额外的协调工作，从而确保虚拟交换机的配置与物理网络配置保持一致。

由于缺乏网络中虚拟机之间流量的可视性，因此涉及到虚拟机之间通信的故障查找和监视也变成了一项极具挑战性的工作。

而且随着虚拟机数量的增长，单个服务器中的虚拟机目前已经达到8至12台，并且会在不久的将来达到32至64台，因此，保护虚拟机彼此不受干扰，以及不受外界威胁的侵害都变成了一项需要认真考虑的问题。

从防火墙到IDS/IPS，基于网络的传统设备和工具都需要针对这些高度虚拟化的环境重新开发、重新认证和重新部署，从而确保虚拟机之间通过虚拟交换机的通信能够满足法规一致性和安全方面的要求。

由于在虚拟交换机方面缺乏标准，因此会增加涉及不同监视技术的培训、互用性和管理开销，进入使这些挑战变得更加复杂。

事实上，物理服务器正在变成一种全面的网络环境，拥有自身的互用性、部署、认证和测试要求。

有趣的是，这种趋势与虚拟化最基本的优势之一是背道而驰的，即虚拟化能够将服务器中过剩的容量以更高的效率来运行各类应用。

目前，这种“服务器中的网络”很有可能演变成这些过剩容量的消费方，将CPU和内存资源吞噬殆尽。

VEPA的方法

为应用这些挑战，各方已经提出了多种不同的解决方案，其中就包括VEPA。

VEPA是一种虚拟交换机替代产品；它不仅进入了标准化进程，而且成为业界众多厂商的一致选择。

事实上，VEPA会将服务器上虚拟机生成的所有流量转移到外部的网络交换机上。

外部网络交换机接下来会为同一台物理服务器上的虚拟机和基础设施的其它部分提供连接。

实现这一功能的方法是将一种新型转发模式融入物理交换机中，使流量能够从来时的端口“