数据中心网络的规划设计与实施.docx

1、数据中心网络的规划设计与实施厦门银行翔安数据中心网络的规划、设计与实施摘 要 本项目主要是为厦门银行翔安数据中心提供一个数据中心网络解决方案。厦门银行即将在翔安建立新的数据中心，该数据中心分为业务区、数据生产和备份区、办公区和广域网区。数据中心内部通过VPN技术与龙岩分行以及福州分行互联互通。 本项目从网络连通性、安全性和稳定性等方面出发，设计出一个安全性高、稳定性强和扩展性好的数据中心网络解决方案，来适应厦门银行不断扩大的业务规模。新的数据中心投入使用后，将与虎园数据中心形成双活数据中心，减轻虎园数据中心的负担，为下一步两地三中心的建设提供基础。关键词：数据中心;安全可靠性;负载均衡; IP

2、Sec VPNPlanning, Design and Implementation of Xiamen Bank Xiangan Data Center NetworkAbstract This project is mainly to provide a data center network solution for Xiamen Bank Xiangan Data Center. Xiamen Bank is about to establish a new data center in Xiangan. The data center is divided into business

3、 area, data production and backup area, office area and WAN area. Data center is interconnected with Longyan Branch and Fuzhou Branch through VPN technology.From the aspects of network connectivity, security and stability, this project designs a data center network solution with high security, stabi

4、lity and scalability to adapt to the expanding business scale of Xiamen Bank. After the new data center put into use, it will form a dual-active data center with the Huyuan data center to reduce the burden on the Huyuan data center and to provide the foundation for next construction of three centers

5、 in the two places.Keywords：Data Center; Security Reliability; Load Balance; IPSec VPN引言随着社会和科技的快速发展，人类社会进入多元的信息化时代，其中网络扮演着一个重要的角色。网络是信息传递的载体，极大地推动了人类社会的发展1。计算机网络起源于ARPA网，它的传输速度慢的让人难以接受，随着ARPA网的“年事已老”，它也慢慢的被其他的网络取代，退出了历史的舞台。在此之后，计算机网络经历了NSF网阶段，这一阶段计算机网络主要用于科学研究，再后来，NSF网逐渐被若干个商用的因特网替代，计算机网络正式进入商用时代。在

6、计算机网络的商用时代下，它极大地冲击了传统行业，尤其是金融行业，对人类社会的生产和生活产生巨大的影响。 在此背景下，网络与银行业务深度融合，形成互联网金融运营模式2。网络银行的出现，极大的方便了我们的生活，人们不必去柜台办理业务，只需要在银行提供的APP上轻轻的点击一下，无论你在家中，还是在旅途中，都能和银行实时相连，便捷地处理自己的业务，这就是网络给我们带来的便捷之处。 银行是国家的金融机构，对国家的经济发展起到重要作用，为此，在规划网络的时候，应把安全性摆在第一位，来抵御计算机病毒和网络黑客的入侵3。银行业务对数据的实时性要求高，当网络架构中的一台核心层设备因损坏而不能正常使用时，如果此时

7、没有其他的备用设备，那么整个网络系统将停止对外提供服务。因此，我们应该重视和加强银行网络的安全性和稳定性，通过防火墙技术、认证技术和入侵检测技术等对进出银行网络的流量进行实时监测和阻断，通过建立完善的灾备系统让银行业务能够24小时不间断运行。 本项目重点从网络连通性、安全性和稳定性等方面出发，为厦门银行翔安数据中心提供一个安全性高，稳定性强和扩展性好的数据中心网络解决方案。新的数据中心投入使用后，将于虎园数据中心形成双活数据中心，为下一步两地三中心的建设提供基础。1 概述1.1 项目的背景介绍随着国家进一步深化金融供给侧改革，金融行业正朝着高质量方向发展。各个银行企业通过新建数据中心的方式来为

8、客户提供优质的金融服务，同时提高抗风险能力，为银行企业的发展奠定更加坚实的基础。厦门银行成立于1996年11月30日，是经中国人民银行批准、具有独立法人资格的股份制商业银行，全行现有50个经营网点，已在重庆和福建省内福州、泉州、漳州、南平、莆田、三明等地市设立分行。根据监管要求，厦门银行将在翔安建立新的数据中心，新中心投产后，将与虎园中心形成双活数据中心，为下一步两地三中心的建设提供基础。1.2 项目的需求分析1.2.1 网络设备需求分析近几年来，随着厦门银行的快速发展，银行的各项业务、各项服务均需要稳定、快速的网络来支撑。为此，新建立的翔安数据中心需要配备安全可靠、能够承担起银行网络业务流量

9、的设备。厦门银行翔安数据中心部署了包括路由交换、无线、安全在内的多种类型设备，在设备选型的时候，应该综合考虑，在设备充分满足技术需求和配置需求的情况下，选择性价比最高的类型4。1.2.2 安全性和稳定性需求分析网络银行这一新兴事物给人们的生活带来方便的同时，也存在一定的安全问题。我们生活在互联网时代，无论是企业还是个人都需要接入互联网，银行网络互联网的互联，使得网络银行容易受到非法入侵和恶意攻击，加上目前网络秩序较为混乱，各式各样的黑客攻击事件层出不穷，对个人和社会。因此，我们要重视网络安全问题，采用合理的安全架构，综合运用各种安全技术，如VPN技术、认证签名技术和入侵检测技术等，来预防网络安

10、全问题造成的经济损失和信用影响5。银行作为金融服务行业，要24小时不间断地为客户提供服务，一旦发生故障，将会带来不可估量的损失。为此，在网络链路方面，网络设备在进行物理互连时需要配置冗余链路；在网络设备方面，应配备一台备用设备，当主设备不能工作的时候，业务能不间断地切换到备用设备上；在容灾方面，最好有异地容灾机制，当一处数据中心遭遇停电或自然灾害等突发状况时，业务能在异地不间断地运行。1.2.3 可扩展性需求分析 金融行业在现代经济中处于核心位置，国家要得到发展，就必须大力发展金融业。作为金融机构之一的银行，在不远的将来一定会扩大自己的各项业务。为此，在开始规划网络的时候，必须把可扩展性考虑进

11、去。网络的可扩展性到底需要多高并不是凭空想象的，而是要根据厦门银行最近几年的发展情况和对未来发展的定性的估算，来合理地进行网络拓扑结构的规划、IP地址的规划和设备的采购等。1.3 项目的总体目标 在网络架构设计中必须贯彻面向信息业务网络系统，安全可靠，注重实效的指导思想，确保网络建设既切合实际，满足使用要求，又适度超前，具有一定的前瞻性。保证网络的安全和稳定可靠，在成本可以接受的条件下，从网络架构、设计方案、设备选型、厂商的技术服务与维护响应能力，备件供应能力等方面综合考虑，使得网络出现故障的可能性尽可能少，影响尽可能小。在确保系统安全和稳定可靠的基础上力求先进性和成熟性，达到系统安全和先进性

12、相辅相成、稳定可靠和成熟性相得益彰。2 相关技术介绍2.1 二层交换技术2.1.1 VLAN技术VLAN(Virtual Local Area Network)技术即虚拟局域网技术，它是由IEEE协会专门制定的基于802.1Q协议标准的网络技术，与传统的网络技术相比，它在网络安全、简化网络管理和数据传递等方面具有很大的优势6。传统以太网是一种基于CSMA/CD(Carrier Sense Multiple Access with Collision Detection)协议的共享网络，当以太网中的主机数目较多时，会引起网络冲突、网络性能下降甚至网络瘫痪现象。虽然通过交换机可以隔离冲突域，解决冲

13、突问题，但它不能隔离广播域，网络性能下降的现象仍有可能发生。VLAN技术可以很好地解决上述问题，它的基本原理是将一个大的局域网从逻辑上划分成许多个小的虚拟局域网，每个虚拟局域网之间相互独立，互不影响，不仅隔离了冲突域，同时还隔离了广播域，由此广播风暴被限制在自己的VLAN内，不会对其他的VLAN造成影响。图2-1 VLAN示意图 如图2-1所示，广播报文被限制在VLAN2和VLAN3内，减少广播流量的同时也减少了广播风暴的规模。VLAN2和VLAN3内的主机可以直接进行通信，VLAN2和VLAN3之间的主机可以通过配置VLAN间路由的方式实现通信。VLAN帧是在以太网数据帧的基础上附加四个字段

14、组成的，分别为Type字段、PRI字段、CFI字段和VID字段，附加的VLAN信息总长度为4个字节，如图2-2所示：图2-2 VLAN帧格式 VLAN的划分方式有三种：基于端口、基于MAC地址和基于子网，其中使用最广泛的是基于端口的划分方式，这种方式部署简单，方便维护。基于MAC地址的划分方式将终端的MAC地址与vlan进行绑定，不关注终端用的物理位置，提高了终端用户的安全性。基于子网的划分方式根据网段来划分VLAN，减少了网络管理员配置VLAN的工作量7。 本项目中所有的交换机都运用了VLAN技术，使用的是基于端口划分的VLAN类型和基于VLANIF虚拟接口的VLAN间路由技术，使得同一VL

15、AN内的主机和不同VLAN间的主机可以互相通信，该方式配置比较简单和灵活，管理方便。2.1.2 MSTP多生成树协议 在一个对可靠性要求比较高的网络中，对设备进行冗余备份是提高可靠性的有效途径之一，一般的做法是在设备之间连接两条以上的物理线路，其中一条作为主链路，其他的链路作为备份，殊不知这种做法很容易造成整个网络出现二层环路问题。环路不但会引起广播风暴，将网络资源消耗殆尽，造成网络瘫痪；而且环路会引起交换机MAC地址表抖动问题，使得交换机的MAC地址表被频繁刷新，造成通信故障；环路还会引发重复帧拷贝问题，会极大浪费设备性能及网络带宽等资源8。为解决上述问题，可以采用数据链路层的STP(Spa

16、nning Tree Protocol)协议，该协议是根据IEEE 802.1D 标准建立的，运行该协议的网络设备通过相互交换BPDU(Bridge Protocol Data Unit)报文来发现网络中的环路，BPDU报文由12个字段组成，长度为35个字节，如图2-3所示：图2-3 BPDU报文格式通过STP算法，整个网络先根据网桥ID选出一台设备作为根网桥，接着非根桥根据自己到根桥的路径开销选出根端口，每个网段上再选出一个指定端口，除此之外，剩下的端口将成为阻塞端口，此时阻塞端口不能发送数据，只能接收数据，如果其他的设备发生故障，阻塞端口将不再被阻塞，开始发送数据。最后，二层环形网络结构通

17、过STP算法改造为树形网络结构，从而防止报文在环形网络中不断循环，避免设备由于重复接收相同的报文造成处理能力下降。 多生成树协议MSTP是IEEE 802.1s中定义的生成树协议，是对STP协议的改进，通过生成多个生成树，在解决二层环路的基础上实现网络的冗余和对业务流量进行负载均衡。 本项目中业务区和办公区交换机以及核心交换机上都开启了STP协议，并将STP协议的模式设置为MSTP，通过配置业务区VLAN的主根为Core1，备根为Core2，办公区VLAN的主根为Core2，备根为Core1，使得业务区的流量主走Core1，办公区的流量主走Core2，当其中一台交换机宕机后，业务区和办公区的流

18、量能顺利切换到另外一台交换机上。2.1.3 VRRP技术 随着网络的快速普及和网络的便捷性，人们越来越依赖通过网络进行办公和学习，在这样的情况下，用户对网络的可靠性提出了更高的要求。VRRP协议全称为虚拟路由冗余协议(Virtual Router Redundancy Protocol)，它的作用主要是解决网络设备单点失效问题，从而提高网络的可靠性和稳定性9。VRRP协议具有容错的功能，可以实现下一跳网关设备的备份，一般来说，用户只通过一台网关设备与外部网络进行通信，如图2-4所示：图2-4 局域网默认网关示意图当交换机A发生故障无法正常工作时，用户此时无法与外部网络进行通信。对上面的网络进行

19、改造，新增一台网关设备交换机B，并在交换机A和交换机B上配置VRRP协议，这样两台网关设备会被虚拟为一台网关设备，VRRP协议会在这些设备中自动选举出一台设备作为主设备，当主设备发生故障时，VRRP协议能够重新选举出一台新的主设备，从而保证通信不间断，如图2-5所示：图2-5 VRRP主备示意图主机A和主机B通过虚拟网关地址10.1.1.1与外网进行通信，当Master交换机A发生故障时，通过VRRP的选举机制，Backup交换机B会成为新的主设备，执行转发数据的任务。 VRRP协议还提供负载分担的功能，如果局域网中的所有用户都通过一台网关设备与外部网络进行通信，由于设备的负载过高可能导致通信

20、失败。通过VRRP协议，配置多个VRRP备份组，每个备份组由一个主交换机和若干个备份交换机组成，并且每个备份组的主交换机各不相同，通过将不同VLAN下的主机加入不同的备份组，实现了数据的分流，同时也实现了网关的冗余。 本项目在业务区、办公区以及核心层交换机上部署VRRP加MSTP架构，配置Core1成为业务区的主设备，Core2成为办公区的主设备，当其中一台设备宕机后，业务区和办公区的流量能切换到另一台设备上，提高网络的可靠性。2.2 OSPF路由技术OSPF是Open Shortest Path First(开放式最短路径由优先)的简称，是由IETF(Internet Engineering

21、 Task Force)的IGP(Interior Gateway Protocol)工作小组提出的，是一种基于SPF(Shortest Path First)算法的路由协议10。 OSPF是一种链路状态路由协议，它不同于RIP(Routing Information Protocol)路由协议使用跳数作为度量值，而是使用更加合理的接口带宽来衡量路径的开销，并且支持区域的划分，所以OSPF协议的使用范围十分广泛。当网络拓扑结构发生变化时，OSPF协议能够快速收敛，在较短的时间内将新的路由信息传递到整个区域，并且配置OSPF协议的设备每隔30秒向自己的邻居发送Hello报文，以此来维护邻居关系。

22、OSPF协议使用SPF算法，根据路由中的链路状态信息，生成最短路径，因此避免了路由环路的产生11。目前OSPF协议有两个版本，V2和V3，V2版本适用于IPV4环境，V3版本扩展支持IPV6。2.2.1 OSPF报文类型和LSA类型 OSPF协议共有五种报文类型，分别为：Hello报文：每隔30秒发送一次，用来发现邻居并与其建立相邻关系。DBD(Database Description)报文：描述本地LSDB(Link State Database)的摘要信息。LSR(Link State Request)报文：向自己的邻居请求特定的LSA。LSU(Link State Update)报文：发

23、送所请求的LSA。LSAck(Link State Acknowledge)报文：对收到的LSA进行确认。LSA报文在OSPF协议中扮演着重要角色，它记录了所有链路的邻居和接口等信息，把所有的LSA信息聚集起来，经过SPF算法，就能形成整个网络的路由信息12。LSA报文的头部信息如图2-6所示：图2-6 LSA报文格式 OSPF协议中常见的LSA有六种类型，如表2-1所示：表2-1 LSA类型LSA类型始发路由器描述内容Link IDRouter LSA每台路由器路由器直连链路的状态信息始发路由器的Router-IDNetwork LSA MA网络中的DR本区域内的网络信息DR接口上的IP地址

24、Net Summary LSAABROSPF的区域间路由目标网络的地址ASBR Summary LSAABR通告ASBR的位置ASBR的Router-IDAS external LSAASBROSPF区域外的路由外部网络的网络号NSSA external LSANSSA中的ASBR去往AS外部的路由外部网络的网络号2.2.2 OSPF协议的工作流程 OSPF协议的工作流程如下：运行OSPF协议的每台路由器学习直连链路的路由信息。每台路由器向自己的邻居发送Hello报文，建立邻居关系。每台路由器创建直连链路的LSA，LSA中记录了相关的路由器信息，包括邻居路由器的Router-ID、链路类型和接

25、口带宽等。每台路由器将创建的LSA发送给自己的邻居路由器，邻居路由器先将LSA保存在本地，然后再将LSA发送给自己的邻居，最终，区域内的路由器都收到了所有的LSA信息。每台路由器根据本地的LSA信息，通过SPF算法，计算到达每个网络的最短路径并构建自己的路由表。 本项目中三层交换机、路由器以及防火墙上采用OSPF协议，OSPF协议采用全网单一AREA 0的扁平化设计，所有的设备均处于OSPF Area 0中，防火墙上配置了正确的域间安全策略，OSPF协议的报文没有被防火墙阻塞，使得整个翔安数据中心可以动态更新路由信息。2.3 其他技术 2.3.1 DHCP技术DHCP(Dynamic Host

26、 Configuration Protocol)是动态主机配置协议的简称，是一种对内部主机IP地址进行动态分配和管理的协议13。DHCP基于客户端服务器模式，它的服务端口是UDP67和UDP68。在小型网络中，可以采用人工的方式为每个终端手动配置IP地址，但对于大、中型网络来说，这种做法很不现实，不但容易导致IP地址出现冲突和错误等问题，而且会增加网络管理员的负担，DHCP协议通过自动分配地址，可以很好地解决上述问题，因此，在大、中型网络配置DHCP是非常高效且便捷的。当DHCP客户端与DHCP服务器不在同一网段时，则需要通过DHCP中继来转发报文，进而获取到地址。DHCP的工作流程是： 发现

27、阶段：DHCP客户端通过广播发送DHCP Discovery报文来寻找DHCP服务器。所有收到DHCP Discovery报文的DHCP服务器都会发送回应报文，DHCP客户端据此可知网络中DHCP服务器的位置。提供阶段：收到DHCP Discovery的DHCP服务器通过广播的方式向DHCP客户端发送一个DHCP Offer报文，其中包含一个可租用的IP地址和客户端的MAC地址。选择阶段：当DHCP客户端收到多台服务器发送的DHCP Offer报文时，DHCP客户端只接收第一个到达的DHCP Offer报文，然后以广播的方式发送DHCP Request报文给服务器，表示它将使用服务器提供的IP

28、地址。确认阶段：DHCP服务器收到DHCP Request报文后，会以广播的方式发送DHCP Ack报文，其中包含了掩码、网关、DNS等信息，以确定地址分配成功。 本项目中翔安数据中心内网配备一台路由器作为DHCP Server，内网的主机通过DHCP中继的方式获取IP地址；两个分行则是将DHCP服务配置在三层交换机上，通过基于接口的方式使得分行的主机可以自动获取IP地址。2.3.2 WLAN技术 WLAN(Wireless Local Area Network)是无线局域网的简称，是一种基于802.11系列标准，利用高频信号作为传输介质的一种网络。随着通信技术和网络技术的不断发展，无线局域网

29、技术得到了快速的发展，WLAN技术作为一个先进的数据传输技术，将无线通信技术和计算机网络技术有效地结合在一起，它不受线缆铺设的限制，可以根据需要便捷地进行移动，具有可实现移动办公、成本低、扩展性好、容易架设和维护容易等优点14。 WLAN网络组网架构主要分为胖AP(Access Point)架构和廋AP架构：胖AP(Fat AP)架构：胖AP是可以实现独立管理功能的无线AP。胖AP架构下，需要对每台AP单独进行配置，管理和维护比较困难；不支持无线用户的二、三层无缝漫游功能；对WIFI安全的支持能力很差15。瘦AP(FIT AP)架构：在该架构下，通过AC(Access Controller)集

30、中管理和控制多个AP，如图2-7所示：图2-7 瘦AP架构通过这种方式，只需要在AC上进行配置即可，方便管理和维护；当需要扩容的时候，可以灵活增加AP接入点，扩展性良好；数据通过隧道进行转发，具有良好的安全性。802.11客户端加入无线网络的步骤如下：探测：客户端在多个通道上发送探测请求来搜索网络。认证：客户端通过认证机制连接无限网络。连接：确定安全和速率选项，建立无线客户端和AP间的数据链路。 本项目中采用瘦AP架构，AP由AC统一配置和管理，AC采用直接转发的模式，即用户的数据报文达到AP后，不经过CAPWAP隧道封装而是直接转发到上层网络，报文的转发效率高，AC受到的压力小。2.3.3

31、IPSec VPN技术 IPSec(IP Security)是IETF正在完善的安全标准，它把密码学和隧道封装技术等安全技术结合到一起，通过对数据的检查来保证数据传输的稳定性和私密性，为端到端IP报文交互提供高质量的安全机制，受到了众多厂商的关注和支持16。 当分布在不同地域的企业或者个人通过Internet进行通信时，由于物理位置不同，它们相互通信的数据需要穿过Internet上的不安全网络，通信数据有被监听或篡改的风险。IPSec VPN(Virtual Private Network)是利用IPSec隧道建立起来的网络层VPN，它是一个标准的第三层安全协议，能够在总部和分支机构这两个不同

32、的物理位置上建立一条逻辑上的安全通信隧道，如图2-8所示：图2-8 IPSec VPN架构 IPSec VPN体系主要由AH(Authentication Header)协议、ESP(Encapsulating Security Payload)协议和IKE(Internet Key Exchange)协议组成，如图2-9所示：图2-9 IPSec VPN体系结构 IPSec协议的封装模式有两种：传输模式：IPSec协议会在IP报文的头部插入IPSec报头信息， IP报文头部中的协议字段和首部校验和字段会发生变化。隧道模式：在隧道模式下，IPSec协议会重新封装IP报文，在新IP头和原IP头之间插入IPSec报头信息。因为原IP头被隐藏起来，所以该模式下安全性更高