商业银行数据中心网络建设方案.docx

1、商业银行数据中心网络建设方案商业银行数据中心网络建设方案1、数据中心建设分析1.1 背景当前，国内四大国有商业银行、城市商业银行、邮政储蓄银行、农村信用社、证券等金融机构都在进行数据大集中之后的IT建设，而数据中心和灾备中心的建设是其中建设的重点。在这轮如火如荼的建设热潮中，主流的数据中心建设模型为“两地三中心”或“同城/异地双中心”。这两种模型一方面可以保证银行业务的可靠性、安全性、扩展性，另一方面可以对区域性自然灾害（地震、海啸等极端天气）或电力、火灾等突发性风险进行很好的防御，提高对风险、故障的抵御能力，并确保故障、灾害带来的数据、业务的损失降到最低，还可以在故障、灾害发生后数据、业务能

2、够在最快的时间内迅速恢复。城市商业银行由于业务辐射范围集中，通常是建设标准的“同城异地双中心”。即通过新建灾难备份中心，实现对现有总行数据中心的备份，并逐步将主要生产业务和相关的IT软硬件环境迁移到新建中心，现有总行数据中心过渡为未来的灾备中心，通过这种循序渐进、稳扎稳打的方式，使得IT建设的发展呈现螺旋式上升的姿态。目标是建设一个专业的、先进的、模块化设计、可扩展的的数据中心IT基础设施架构，使得IT建设成为银行发展的重要承载平台和推动剂。在银行的数据中心与IT建设中，将根据自身现状，参考国内外大型商业银行的成功案例和最佳实践，最终建成数据集中存放、集中处理、面向客户、面向业务交易、面向管理

3、的，先进高效、安全稳定、易扩充、易维护的智能化综合业务网络系统。1.2 建设重点基于银行的网络现状和前期的分析，银行的数据中心和整个IT建设是一个长期投入、逐步细化深入的过程，从整体框架、内部结构优化、骨干网络升级、安全防护、运行管理等几个方面入手，进行重点投入：1、数据中心建设：依照国家和行业的相关标准与法律法规，借鉴国内外同行业经验，从银行的自身现状出发，完善数据中心，以应用级灾备为当前目标。在数据中心部署业务与服务器系统，实现对现有中心的数据、业务备份，确保现有中心故障情况下实现业务承接；并将主要生产业务逐步迁移到数据中心，实现生产中心与灾备中心的角色转变。此外，建立完备的灾难备份与恢复

4、计划、灾备演练与恢复机制，将灾难备份与IT建设提升到新的高度。2、新建数据中心优化：参考国内外同行业的组网模型，按照标准化、模块化、结构的原则进行生产中心的升级，改变现状生产中心过于扁平化、安全性低的现状，可以将生产中心规划为：核心交换区、DB服务器区、生产前置区、运行管理区、互联网接入区、广域网接入区、第三方接入区、测试区等功能模块。在各分区边界部署防火墙，确保访问的安全，实现生产中心的高性能、高安全、高扩展和易管理。2、数据中心网络系统设计原则银行数据中心网络系统设计将模块化的、分层的、分级的现代数据中心设计理念，构建一个满足可扩展性、灵活性和高可用性方面需求的网络基础架构，实现对银行各业

5、务系统提供统一的基础设施服务支持的目标。具体设计原则如下：2.1可靠性和可用性数据中心基础设施架构中应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个基础设施系统运行稳定、可靠。当今，关键业务应用的可用性与性能要求对于银行交易来说，比任何时候都更为重要。如果客户与员工不能访问关键性应用，业务将遭受无法挽回的利润损失，并使生产力下降甚至是市场份额丢失。系统的可用性指业务应用系统每天能有多少小时，每周有多少天，每年有多少周可以为用户提供服务，以及这些应用在发生故障时可以多快恢复工作的时间。在中，应保证所有应用每天24小时，每周7天，每年52周的可用性是非常重要的。数据中

6、心的设施架构设计必须能够满足和达到这个目标。2.2可扩展性可扩展性是指当将来应用系统的业务量增加时，基础设施架构能够扩展以适应更多用户、交易与更多数据处理的能力。可扩展性应该通过尽可能扩展已有的系统来实现，而不是必须替换已有系统。可扩展性通过硬件、软件与应用等方面提供。2.3灵活性架构必须能够满足新的服务需求，而不需要对架构进行完全重新设计或进行超出正常维护时间之外的重大修改。获得灵活性的方法是依靠模块化的设计架构。2.4高性能“性能”指的是为所有应用最终用户提供要求的响应时间的能力。项目群基础设施架构要具备高性能，能够为用户提供可接受的响应时间。通常，诸如响应时间等性能特征应该根据真实的业务

7、需求而设定。3、数据中心分区设计思想基于城市商业银行业务系统的需求，以及网络建设的基本原则，本案采用分区模块化设计思想构建数据中心网络。3.1 区域划分采用模块化的分区设计方法，将数据中心划分为以下若干各功能区域。3.2分区设计的优点数据中心的各种业务系统根据其访问特征和功能特点被部署到不同的区域中，模块化分区设计的优点如下：扩展性好，每个分区按照需求可以独立的进行扩展。安全架构也是可以扩展的，每个分区都赋予特定的优先权，网络的重要区域都可以被定位。未来对新应用的部署更容易。每个分区可以再就网络进行分层、分级规划，由此使得网络结构更清晰、更易扩展、问题和故障定位更容易.。4、数据中心架构设计4

8、.1设计概述数据中心整体结构数据中心主要需要建立IP网络和存储网络。在IP网络中，按业务功能和安全需要分为不同的网络区域，各个网络区域有独立的网络设备（如交换机、防火墙等）连接相应的主机、服务器、pc机等设备，每个网络区域的汇聚/接入交换机再连接到IP网的核心交换机上；每个网络区域内部可以根据需要再分为不同的控制区域。IP网络主要分为以下网络区域：核心交换区、运维管理区、互联网区、测试区网、生产前置区、DB服务器区、广域网接入区、第三方介入区，如图：核心交换区：为生产网络的各功能子区提供核心路由交换。生产前置区：部署银行生产服务和生产小机。DB服务器区：连接各种业务前置机专用区域互联网区：提供

9、各种互联网服务。测试区：提供各种业务开发测试服务。广域网接入区：部署下联各省市分行、台州支行、分理处的骨干网路由器。第三方接入区：通过专线连接监管单位、合作伙伴，为第三方机构提供外联服务。运行管理区：部署网络和系统管理及维护的业务系统。4.1.1 VLAN规划在模块化网络架构中可以看到，数据中心首先是被划分为网络分区，然后基于每个应用对各自架构的QOS需求，再进一步将网络分区划分为逻辑组。为了完成以上阐述的模块化架构，需要在网络的第2层创建VLAN。在不同分区之间互联点和分区内部上行连接点上，都需要创建VLAN。4.1.2 路由设计在数据内部，交换核心区域和其他功能区域的汇聚交换机之间运行OS

10、PF骨干区域AREA 0，其他区域内部分别运行OSPF和静态路由。4.2核心交换区设计4.2.1 具体设计在数据中心中，核心交换区连接了其他不同的分区。它也作为数据中心连接灾备中心和广域网络的连接点。核心区在数据中心架构中的作用是，尽可能快速地在网络之间实现数据传输的路由和数据交换。核心区主要部署两台高端交换机S12508交换机连接其他功能分区，提供10G和GE链路的双归属连接。两台核心交换器之间采取Trunk链路连接，启用IRF技术，将两条核心交换机虚拟成一台。核心区交换机连接到所有其他区的边缘设备，有两类连接连接到核心，一类是来自核心生产业务（比如生产核心区, 前置机区）的连接，对该类应用

11、提供高速访问服务，采用万兆接口这两个区域的汇聚交换机。另一类是其它业务。每个区汇聚交换机/接入交换机都上行连接到Core-SW1和Core-SW2。每个区交换机将使用单独的VLAN，VLAN跨越两个交换机，上行链接到核心。4.2.2 VLAN划分与每个子区域的互联接口可划分为同一VLAN，将核心交换区域与各子域的互联链路进行链路聚合。如下图所示：4.2.3 路由规划在2台Core-SW1和Core-SW2核心交换机和各区域的汇聚交换机连接端口上运行OSPF动态路由协议，所属的区域为Area 0,这样各个网络分区系统都可以通过核心区域知道整个网络系统的路由。采用IRF技术后，可以大大简化网络中的

12、路由设置，减少需要的互联路由网段，其中，除网银与中间业务外联区外，其它区域的汇聚/接入交换机与核心之间的互联链路都进行聚合，生产核心区和前置机区在各自区域的核心/接入交换机上启用三层功能，采用OSPF和核心交换区之间进行互通；4.3生产前置区规划4.3.1拓扑生产核心区用于连接核心的生产业务系统的小机、服务器等生产主机；在该区域采用三层架构，采用全千兆智能接入交换机S5120EI系列交换机提供小机及服务器的光口、电口接入，每个接入交换机采用双千兆光口分别上行到生产核心区的两条汇聚交换机S7503E交换机上，两条S7503E交换机互相之间采用双万兆链路聚合捆绑，启用IRF功能，将两台汇聚交换机虚

13、拟成一台交换机，每个S7503E各出一个万兆接口上联到数据中心核心交换机S12508上，上行的两条万兆链路启用链路捆绑功能，聚合成一条20G的物理链路。4.3.2 VLAN规划上联到核心交换区的VLAN采用链路聚合，合并为一个VLAN,在分区内部根据不同级别的应用再进一步分配。VLAN分配主要考虑互联VLAN和主机。4.3.3 路由规划汇聚层交换机与核心交换机间运行OSPF路由协议。在设备间运行OSPF时，建议将汇聚层75的相关接口划分在一个OSPFSTUB区域中，以免数据中心中收到过多的LSA。各个功能区与核心区通讯路径要保证双向一致性和确定性。在任何链路状况下，通讯双方的往返路径均相同，并

14、且可预知。生产核心区外连核心区的2条链路的进行链路捆绑，在路由计算上，只有一条路径，但是该路径包含2个万兆端口，提供物理层面的冗余。4.4 广域网接入区规划（分行接入）广域网接入区主要连接与各省市分行，市内各区县支行，分理处等的上联网络设备，该区使用两台SR6608核心路由器作为广域网的接入设备，每个SR6608配置48个广域接口。4.5.1 路由规划广域网接入区与整个数据中心采用统一的策略和部署方案，在核心区作为OSPF骨干区的前提下，广域网接入区内部路由协议采用OSPF，在区域内路由详细规划上，建议如下：广域网路由器与核心交换机互联的端口，划分为OSPF骨干域0域广域网路由器下联接口，按照

15、原有的路由规划，划分为1、2、3、4和10、20、30、40等几个路由子域。路由器到核心交换机上的链路采用Trunk链路进行连接。4.6 QoS设计4.6.1 QoS设计原则银行网络整网QoS设计遵循以下的原则：正常情况下QOS是通过带宽来保证的。换句话说，即在网络带宽足够高的情况下，不需要QOS机制。当带宽利用率达到60可考虑扩容；网络设备的容量不能成为瓶颈；网络/链路故障或网络拥塞情况下QOS策略生效；任何时候都优先保证实时业务。4.6.2 QoS服务模型选择为了更有效的利用带宽，使关键业务得到无阻塞的应用，网络需要进行QoS方案的设计实施，首先需要考虑选择合适的技术框架，也即服务模型。服

16、务模型指的是一组端到端的QoS功能，目前有以下三种QoS服务模型：1.Best-Effort service尽力服务2.Integrated service（Intserv）综合服务3.Differentiated service（Diffserv）区分服务 Best-Effort service：尽力服务是最简单的服务模型。应用程序可以在任何时候，发出任意数量的报文，而且不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。Integrated service：Intserv是一个综合服务模型，它可以满足多种QoS需求。这种服务模型在发送报文

17、前，需要向网络申请特定的服务。这个请求是通过信令（signal）来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。Differentiated service：Diffserv即区别服务模型，它可以满足不同的QoS需求。与Integrated service不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为每个流维护状态，它根据每个报文指定的QoS，来提供特定的服务。可以用不同的方法来指定报文

18、的QoS，如IP包的优先级位（IP Precedence)、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。这三种服务模型中，只有Intserv与Diffserv这两种能提供多服务的QoS保障。从技术上看，Intserv需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性能的设备，另外，还需要全网设备都能提供一致的技术才能实现QoS。而Diffserv则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建网络时，需要对网络中的路由器设置相应的规则。对于XX集团广域网的QoS，我们建议采用Diffserv方式

19、进行部署。4.6.3 QoS规划CCITT最初给出定义：QoS是一个综合指标，用于衡量使用一个服务满意程度。QoS性能特点是用户可见的，使用用户可理解的语言表示为一组参数，如传输延迟、延迟抖动、安全性、可靠性等。银行网络中主要包括核心生产、非核心生产、办公、监控流量等业务应用，因此需要对现有业务系统进行分类，才能更好地保障业务的开展。业务分类和标记针对银行的要求，对其主要的流量进行划分和标记，具体如下：业务类型业务特征IP PrecedenceIP DSCP网络控制协议（hello、SLA）适用于网络维护与管理报文的可靠传输，要求低丢包率756（CS7）监控流量对时延、抖动较敏感；带宽需求高；

20、需要可预计的时延和丢包率534(AF41)核心生产适合重要数据业务,低丢包、高优先级324(AF31)非核心生产适合普通数据业务，低丢包、19(AF11)办公业务尽力而为（Best effort）转发00流量监管和整形在完成区分业务应用类型后，需要对整个广域网进行流量的监管和整形，对于银行广域网络来说，出口带宽是有限的，而入口带宽总是大于出口带宽，需要对入口和出口进行限制和整形，以保障关键流量的顺利转发。队列管理在Diffserv体系的队列管理中，同样按照不同的边界范围采用不同的队列管理技术。广域网一般采用路由器组网，目前路由器主要支持的队列管理技术包括PQ、CQ、WFQ、CBQ/LLQ，由于

21、PQ、CQ、WFQ的种种问题，目前通常采用CBQ/LLQ做为骨干层的队列管理机制。CBWFQLLQ，有一个低时延队列 - LLQ，用来支撑EF类业务，被绝对优先发送（优先级低于RTP实时队列）；另外有63个BQ，用来支撑AF类业务，可以保证每一个队列的带宽及可控的时延；还有一个FIFO/WFQ，对应BE业务，使用接口剩余带宽进行发送。但是请注意，由于涉及到复杂的流分类，对于高速接口（GE以上）启用CBQLLQ特性系统资源存在一定的开销。另外如果边缘层与骨干层的接入采用低速的链路接入，因此也必须考虑相应的队列管理技术。如果接入带宽=2M，则需采用骨干层一样的调度技术，即CBQ/LLQ。如果接入带

22、宽2M，则需要考虑采用链路有效机制。可采用LFI（链路的分段及交叉）技术避免大报文长期占用链路带宽，采用LFI以后，数据报文（非RTP实时队列和LLQ中的报文）在发送前被分片、逐一发送，而此时如果有语音报文到达则被优先发送，从而保证了语音等实时业务的时延与抖动。另外还可以采用CRTP（IP /UDP/ RTP报文头压缩）技术，以提高链路的利用率。拥塞避免建议采用WRED加权丢弃技术，实现拥塞避免。WRED(Weighted early random detection)提供了对拥塞的控制，它不是等待缓冲区填满然后出现尾部丢弃，而是不停地监控缓冲的深度，并可以根据IP header中的IP Pr

23、ecedence有选择地早期丢弃一些级别较低的TCP连接的包，保证关键数据的传送，并避免当缓冲满溢时丢弃大量的数据包。主要特点：一、WRED利用活动队列管理，解决尾部删除的缺点；二、WRED主要在TCP为主的IP网络中使用，因为UDP通信流不像TCP一样具有对分组删除具有响应能力；三、WRED把非IP通信流看成优先级为0，最低优先级，因此，非IP通信流放在一个丢弃桶中，比IP通信更容易删除，这在大多数重要通信流（非）IP通信流时可能遇到问题，但是这现象在DCN网络中通常不会出现。部署实现在站点的路由器上配置QoS策略，首先启用ACL识别核心生产流（如：源地址+目的地址），打上优先级DSCP标记

24、AF31；再启用CBQ（基于类的队列），将其引入CBQ的中优先级队列，由CBQ进行队列调度，抢占低优先级的带宽，优先转发报文。数据中心实现方法：在出口路由器上启用ACL识别核心流（如：源地址+目的地址），打上优先级DSCP标记AF31；并启用CBWFQ和PQ，将ERP放入到PQ的中优先队列中，优先转发。4.7 ARP攻击防御4.7.1 ARP攻击原理近来， ARP攻击问题日渐突出。严重者甚至造成大面积网络不能正常访问外网，用户深受其害。H3C公司根据ARP攻击的特点，给出了有效的防ARP攻击解决方案。要解决ARP攻击问题，首先必须了解ARP欺骗攻击的类型和原理，以便于更好的防范和避免ARP攻击

25、的带来的危害。ARP协议是用来提供一台主机通过广播一个ARP请求来获取相同网段中另外一台主机或者网关的MAC的协议。以相同网段中的两台主机A、B来举例，其ARP协议运行的主要交互机制如下：如果A需要向B发起通信，A首先会在自己的ARP缓存表项中查看有无B的ARP表项。如果没有，则进行下面的步骤：A在局域网上广播一个ARP请求，查询B的IP地址所对应的MAC地址;本局域网上的所有主机都会收到该ARP请求;所有收到ARP请求的主机都学习A所对应的ARP表项;如果B收到该请求，则发送一个ARP应答给A,告知A自己的MAC地址;主机A收到B的ARP应答后,会在自己的 ARP缓存中写入主机B的ARP表项

26、.如上所述，利用ARP协议，可以实现相同网段内的主机之间正常通信或者通过网关与外网进行通信。但由于ARP协议是基于网络中的所有主机或者网关都为可信任的前提制定。导致在ARP协议中没有认证的机制，从而导致针对ARP协议的欺骗攻击非常容易。4.7.2 ARP攻击的类型目前ARP攻击中有如下三种类型。我们根据影响范围和出现频率分别介绍如下： 网关仿冒ARP病毒通过发送错误的网关MAC对应关系给其他受害者，导致其他终端用户不能正常访问网关。这种攻击形式在校园网中非常常见。见下图： 网关仿冒攻击示意图如上图所示，攻击者发送伪造的网关ARP报文，欺骗同网段内的其它主机。从而网络中主机访问网关的流量，被重定

27、向到一个错误的MAC地址，导致该用户无法正常访问外网。欺骗网关攻击者发送错误的终端用户的IPMAC的对应关系给网关，导致网关无法和合法终端用户正常通信。这种攻击在校园网中也有发生，但概率和“网关仿冒”攻击类型相比，相对较少。见下图：欺骗网关攻击示意图如上图，攻击者伪造虚假的ARP报文，欺骗网关相同网段内的某一合法用户的MAC地址已经更新。网关发给该用户的所有数据全部重定向到一个错误的MAC地址，导致该用户无法正常访问外网。欺骗终端用户这种攻击类型，攻击者发送错误的终端用户/服务器的IPMAC的对应关系给受害的终端用户，导致同网段内两个终端用户之间无法正常通信。这种攻击在校园网中也有发生，但概率

28、和“网关仿冒”攻击类型相比，相对较少。见下图：欺骗终端攻击示意图如上图，攻击者伪造虚假的ARP报文，欺骗相同网段内的其他主机该网段内某一合法用户的MAC地址已经更新。导致该网段内其他主机发给该用户的所有数据全部重定向到一个错误的MAC地址，导致该用户无法正常访问外网。ARP泛洪攻击这种攻击类型，攻击者伪造大量不同ARP报文在同网段内进行广播，导致网关ARP表项被占满，合法用户的ARP表项无法正常学习，导致合法用户无法正常访问外网。主要是一种对局域网资源消耗的攻击手段。这种攻击在校园网中也有发生，但概率和上述三类欺骗性ARP攻击类型相比，相对较少。如下图：ARP泛洪攻击示意图4.7.3 ARP攻

29、击解决方案通过对上述的ARP攻击类型的介绍。我们可以很容易发现当前ARP攻击防御的关键所在：如何获取到合法用户和网关的IP-MAC对应关系，并如何利用该对应关系对ARP报文进行检查，过滤掉非法ARP报文。H3C公司有两条思路来解决这一关键问题，即认证模式和DHCP监控模式。分别对用户认证的过程和IP地址申请过程的监控，获取到合法用户的IP-MAC对应关系，从而解决不同环境下的ARP防攻击问题。认证模式通过增强用户的认证机制来获取上线用户的IP-MAC对应关系，并且利用认证的手段来确认当前用户的合法性。从而有效的解决难以获取合法用户的IP-MAC对应关系的问题。同时通过事先在认证服务器上配置网关

30、的IP-MAC对应关系的方式来集中管理网络中存在的网关的IP-MAC信息。当合法用户上线时，可以利用上述的两个关键信息对网络中存在的虚假ARP报文以过滤或者绑定合法的ARP信息，从而有效的防御ARP欺骗行为。H3C的防御手段充分的考虑了方案实施的适应性要求，对虚假ARP报文加以过滤或者绑定合法ARP信息的功能可以根据网络的条件分开使用。具体模式如下图所示：认证模式示意图认证模式之终端防护在用户进行802.1X认证的过程中，通过CAMS服务器下发预定的网关IP-MAC映射到iNode客户端，iNode客户端在用户PC上针对所有网卡查找匹配的网关，并将匹配网关的IP-MAC映射关系在PC上形成静态

31、ARP绑定，从而有效防止针对主机的网关仿冒ARP攻击。如下所示图：认证模式之终端防护示意图H3C iNode客户端，通过同CAMS服务器配合，由管理员在CAMS上设置正确的网关IP、MAC对应列表，并传送至客户端，客户端无论当前ARP缓存是何种状态，均按照CAMS系统下发的IP、MAC列表更新本地的ARP缓存，并周期性更新，保证用户主机网关MAC地址的正确性，从而保证用户主机报文发往正确的设备。详细处理流程如下：CAMS服务器上，由管理员预先设置正确的网关IP-MAC映射列表；待iNode客户端的认证请求成功通过，CAMS服务器通过Radius报文将预设的网关IP-MAC列表下发到客户PC的接入交换机上，再由接入交换机透传给客户PC上的iNode客户端。iNode客户端收到CAMS服务器下发的网关IP-MAC映射列表后，在客户PC上针对所有网卡查找匹配的网关（客户PC存在多个网卡的情况下，iNode只匹配每个网卡的default gateway），然后依据CAMS服务器下发的网关映射列表将匹配网关的IP-MAC映射在客户PC上形成静态ARP表项并更新本地ARP缓存，从而保证客户PC的数据报文发往正确的网关设备；为防止用户再次上线过程中网关ARP信息被篡改，iNode客户端会根据CAMS服务器下发的正确的网关