数据中心网络架构设计.docx
《数据中心网络架构设计.docx》由会员分享，可在线阅读，更多相关《数据中心网络架构设计.docx（23页珍藏版）》请在冰豆网上搜索。
数据中心网络架构设计
数据中心网络架构设计
目录
1建设背景4
2项目目标4
3需求分析4
3.1业务需求分析4
3.2其他需求5
3.3网络架构支持新技术发展趋势的考虑6
4网络详细设计目标和需求描述6
4.1网络整体架构设计6
4.2网络架构设计需求7
5网络架构详细设计8
5.1总体网络架构设计8
5.2数据中心网络架构设计9
5.3广域网架构设计11
5.3.1数据中心互连核心骨干网架构11
5.3.2数据中心和同城灾备中心互连11
5.3.3数据中心和异地灾备中心互连12
5.3.4广域网链路容灾设计13
5.3.5分支机构广域网架构15
5.3.6数据分流策略16
5.4数据中心网络核心架构设计16
5.4.1数据中心业务区架构设计17
5.4.2网银区架构设计18
5.4.3外联区架构设计20
5.4.4办公互联网区架构设计22
5.4.5运维管理区架构设计24
5.4.6托管区架构设计27
1建设背景
为了更好地为业务发展服务，提供高效、安全和稳定的生产环境，并能够快速、灵活地响应新环境下的金融业务的开展，需要对数据中心进行重新规划和建设。
2项目目标
本次网络规划主要在考虑银行三到五年内的业务发展需求，总体目标是按照“两地三中心”的业务发展指导建设一个能适应未来业务发展的高性能、高扩展性及智能化的网络基础架构，以支持业务长期、安全、稳定、快速发展。
3需求分析
3.1业务需求分析
目前主要业务分为生产和OA两大类；生产业务包括核心及相关外围业务，OA是核心业务之外的业务，主要是办公网业务、业务管控系统、视频监控系统等非核心业务。
生产业务和OA业务部署在数据中心局域网不同的功能区域，物理隔离。
由于未来业务环境的变化，主要的业务需求包括：
业务变化的需求–新产品和服务的快速投产对网络的灵活响应、快速的部署响应及支持能力都有新的和更高的要求，并需要降低对现有应用带来冲击。
业务快速发展带来的大量数据和用户–要求具有高扩展性网络架构，灵活支持不同类型的数据，同时需要平衡功能和成本，以求能够在成本有效的前提下，满足突发业务的传输与用户访问的需求
特殊应用对网络的要求–特殊应用如多媒体应用、集中提回、证券基金、CallCenter等，或对网络延迟、传输能力等有要求，必须予以考虑，以保证网络服务质量。
网络安全机制–需要进行网络安全的风险分析，网络安全需要同时考虑网络能够灵活和动态的支持业务的开展，平衡网络安全和业务需要的功能
网络管理体系–整体网络管理体系必须要能够基于业务的要求，有效地加强网络管控、管理和审计能力，提升保证网络服务指标和总体运行效率，达到可视、可管和可控
3.2其他需求
对金融行业来说，客户是生存的基础，随着国际及国内金融行业竞争的加剧，目前国际金融行业已经形成了以“客户”为中心、以“服务”为导向的发展模式，在这一模式下，金融行业通过对内部资源进行更加全面的整合，为客户提供更为精细的服务，从而为客户带来更佳的业务体验。
因此如何整合内部资源，特别是如何利用信息科技的手段使银行已经到来的激烈竞争中立于不败，已经是一个迫在眉睫的任务。
按照“服务中心”的理念对银行整体IT基础架构进行重新规划布局实际上是从整个发展理念上对IT基础架构未来的建设规划指明方向，并根据不同的功能需求以提供“服务”的视角来整合内部IT资源，从而为未来“综合化”的业务发展、“专业化”的服务能力打下坚实的基础。
根据“服务中心”的理念，银行未来整体IT基础架构将由多个服务中心以及为这些服务中心提供传输和接入服务的核心网络构成，这些服务中心包括数据中心、灾备中心、开发中心、呼叫中心等等，根据其业务功能和服务领域的不同为银行的所有业务部门提供其所需的业务和IT服务。
这种多服务中心的架构能够灵活地为不同需求单位提供所需的业务和IT服务，包括后台业务处理、网络接入、数据处理及交换等，并且能够根据未来银行业务的发展而进行动态的调整。
这种多服务中心的架构需要银行未来新一代网络架构具备以下能力提供支持：
Ø灵活的接入要求–未来服务中心作为银行所有业务部门的共享资源，能够提供灵活的接入方式，为所需要的成员单位提供可靠的、灵活调整性强的接入要求，并且能够根据所提供服务的不同，提供不同的接入方式与能力，如数据中心与呼叫中心，由于其业务需求不同，其要求的接入方式与能力也将有所不同。
Ø高可用的架构–服务中心将是银行业务处理、信息处理、数据交换极其重要的部分，如数据中心、灾备中心等，这些服务中心作为银行整个架构中的重要节点，需要具备高可用的架构才能保证为业务发展提供连续的、有质量保证的服务。
需要强调的是，不仅需要考虑在服务中心内部的高可用架构，更应该从整体业务的高可用性进行规划。
Ø满足业务对性能的需求–未来服务中心将承载银行所有业务的运行，并且根据服务中心功能的不同，对性能的需求也不同，如集中提回等对实时性要求较高的业务，视频会议、呼叫中心等对网络带宽要求较高的应用等，必须根据服务中心功能和所提供服务的不同，进行不同的性能考虑和规划。
Ø动态的IT资源调度和配置–多服务中心非常重要的一个需求就是能够适时为不断增加的业务提供所需要的服务，这就要求未来的架构具备对IT资源进行动态的调度和配置的能力，从而降低未来业务发展的成本，以及总体的IT运营成本，提高IT对业务发展的支持能力。
3.3网络架构支持新技术发展趋势的考虑
网络架构规划必须考虑新技术的发展趋势，近年新技术的讨论主要是着重在虚拟化、云计算和动态架构等。
这些新技术的引进，对IT管理带来极大的压力，在新技术的引进时，必须首先需要建设配套的管理机制，技术的实施在能达到预期的效果过。
但对企业而言，网络规划对新技术的考虑必须基于业务的需求，网络的前瞻性应着重于网络灵活、动态及成本有效地支持业务的力度，而不完全以新技术的引进为衡量的唯一因素。
虚拟化–打破传统的资源独享的概念，在物理资源中创造许多虚拟资源，基于用户提出的请求，部署用户需要的资源，达到资源共享，减低总体IT设备成本。
4网络详细设计目标和需求描述
4.1网络整体架构设计
根据对新业务环境和IT整体策略的理解，考虑新技术发展趋势，新一代整体网络架构将是面向服务的网络架构，支持平等的多服务中心，提供一种有效和创新的服务交付模式，将共享资源分离出来，以提高它们的可移植性，并能够充分利用更加优化的系统和网络资源以提高效率、适应业务环境的变化，并降低整体成本。
整体规划体现以下重要的特点：
Ø整合共享而安全独立的网络架构，满足综合化业务环境并安全合规
一个整合统一的网络环境支持整个银行业务部门。
“整合”为综合化业务，融合产品和融合渠道的开展提供了统一的通信服务平台。
同时，网络通过虚拟化及安全技术为各部门提供网络的独立性，满足各部门安全合规性要求。
Ø建设核心网，适应多服务中心环境，并快速响应业务环境的变化
通过核心网的建设，提供一个更灵活有弹性的网络架构，支持多服务中心的环境，并快速响应业务环境的变化。
核心网改变传统多星型的架构，利用新的组网技术，支持任意的拓扑结构，按需分配带宽资源和服务等级，从而使整体网络架构更具灵活性和弹性。
4.2网络架构设计需求
网络架构详细设计需求：
Ø提供两地三中心架构设计
Ø优化网络功能分区和网络核心架构，并提供各功能组件的详细设计，满足以下需求:
Ø设计数据中心核心交换区，构建一个SOA结构的易扩展，高可用的数据中心核心
Ø根据安全分区，业务关键程度，应用耦合度等因素，优化服务器在网络功能区的部署。
Ø用户接入需求:
满足广域网用户，数据中心本地用户接入，远程用户接入，外联用户接入，运维管理用户接入等用户接入的要求。
Ø运维管理需求：
设计运维管理区，提供运维管理用服务器，运维管理用户，带内带外网络的接入。
Ø内部用户上网需求：
为用户上网提供互联网接入，以及防DDOS，入侵防御，防病毒，上网行为审计等安全服务。
Ø数据中心间网络需求：
设计数据中心间网络，满足主用数据中心、灾备中心和异地数据中心存储数据复制和备份的要求，以及灾备切换，灾备演练，网络多点接入需要的网络环境。
Ø提供NAS/备份网络的设计，满足基于IP技术的存储网络服务的需求。
Ø提供带外管理网络架构设计，满足主机和网络设备带外操作和管理的要求。
网络安全设计需求:
Ø规划符合行业规范的安全区
Ø区别应用的安全等级，区分不同的用户组和访问特征，进行有效的访问安全控制
Ø设备安全：
优化设备的安全服务，提升设备本身的安全
网络管理设计需求：
Ø配置管理：
实现配置变更标准化，加强配置审计，从而提高操作维护效率，降低人工操作失误，提升网络整体可用性
Ø性能和用量管理:
提升网络对性能的预防性管理能力，提升对资源的合理分配和预测能力，提供网络和应用服务水平
5网络架构详细设计
5.1总体网络架构设计
根据整体的网络规划，需要建设三个数据中心，形成同城主备、异地灾备数据中心的“两地三中心”模式。
图1两地三中心规划
主用数据中心在正常情况下支持银行所有的IT业务和应用，部署所有IT系统和数据，是所有分支机构和外联单位的汇聚中心。
同城双活数据中心部署与主用数据中心相同的业务系统，与主用数据中心构成镜像双活。
在主中心发生灾难的情况下，业务切换到双活数据中心，承载所有IT业务和应用。
异地灾备数据中心部署部分关键业务系统，同时提供主用数据中心的所有数据业务的备份。
5.2数据中心网络架构设计
根据网络需求功能性需求，网络整体架构需要满足应用接入服务、用户接入服务、IP存储服务和管理服务；各功能组件通过网络服务总线连接成一个统一的架构。
图2数据中心网络架构
Ø应用服务：
为全行所有业务和管理服务器提供接入服务，安全服务，负载均衡服务等，结合应用的关键程度、业务特性、及应用之间的耦合度，应用服务器模块可细分为各类服务器接入区域。
Ø用户接入服务：
根据不同类型和不同访问方式的用户，提供用户接入，安全等服务；
Ø存储服务：
满足新数据中心存储规划，需要满足IP和FC需要的存储网络和备份网络；
Ø核心区：
搭建网络服务总线，将所有网络功能模块连接成一个统一架构；
Ø管理服务：
满足日常操作运维需要的运维人员接入，运维服务器接入，带外带内网络接入，运维管理服务将在多中心运行；
Ø数据中心互联：
满足多中心环境下，数据中心间网络通信、存储复制及备份的需求。
结合网络安全分区要求、系统架构特征、应用关键程度分类、应用耦合度及运维保障的需求，对主用数据中心和同城双活数据中心的网络分区设计如下：
图3数据中心内部模块架构
业务区：
提供银行的核心应用及支持柜面存取款业务功能的应用系统，各种实时和非实时交易类业务，管理信息系统，办公类及基础服务类应用，可以根据业务需求细分。
外联区：
与第三方外联网络进行互联的区域，包括与外联单位信息交互的前置服务器及必要的安全、网络设备
运维管理区：
运维管理类应用及运维管理终端，部署在运维管理服务器区；运维管理区包括带外管理网络，满足服务器、网络设备的各类带外运维管理需求。
业务互联网区：
为来自Internet的业务访问提供服务的应用
办公互联网区：
为内部员工或应用提供对外Internet访问或接入服务
托管区：
其它业务实体提供托管服务应用
园区网：
负责接入园区网（大楼局域网）的各类用户
广域网区：
银行的各级机构的广域网接入区域，包括数据中心之间的互联网络
核心交换区：
数据中心的服务总线，负责对各个组件区域的流量进行高速转发
5.3广域网架构设计
广域网架构中包括数据中心间核心骨干网络连接以及分支行广域网连接架构。
广域网架构的设计在满足未来对网络的需求基础上，考虑兼容现有的广域架构，避免对现有广域网络进行较大的改动。
5.3.1数据中心互连核心骨干网架构
数据中心间互联骨干网络除承载数据中心间正常的系统运维通信外，还需要考虑存储、备份网络连接，以及双中心运行及中心互备模式下对核心骨干网的需求。
5.3.2数据中心和同城灾备中心互连
根据数据中心互联网络需求，互联线路既需要支持IP三层，二层以太网通信，又需要支持FC光纤通信，使用DWDM技术的裸光纤线路能满足现有需求。
对于同城双活数据中心采用光纤直连方式。
由于银行的网络规模较小，二层广播尚不会造成巨大问题，因此可以直接通过光纤直连方式将各个业务区对应连接，即可实现业务区之间的二层连接。
为了保证冗余性，在主用数据中心与同城灾备中心采用两条裸光纤进行互联，两数据中心各部署两台DWDM设备提供裸光纤接入。
对于异地灾备数据中心，则采用租用运营商IP线路的方式连接。
主数据中心与同城灾备中心的逻辑通道主要有三种类型：
ØFC通道：
提供两数据中心存储复制和备份。
Ø三层以太网通道：
提供两数据中心之间的三层互通，满足数据中心骨干网的建立。
Ø二层以太网通道：
提供两数据中心各对应网络功能区域之间的二层互通，满足单系统切换的需求。
图4数据中心互联拓扑
5.3.3数据中心和异地灾备中心互连
异地数据中心的二层连接传统上采用VPLS技术，但是目前EVPN已经开始替代VPLS来实现数据中心的二层连接。
EVPN是一种“将MAC地址封装在IP包里”的技术，支持2层VLAN在任何传输链路上的扩展。
传输链路可以是基于包交换的、基于标签交换的或者任何支持IP数据包的其他类型的协议。
通过使用MAC进行路由的原则，EVPN提供了基于2层链路的覆盖链接，同时保证了两个互联的2层域是隔离的，也就是保证了两个互联的数据中心2层域独立从而确保了故障域的有效隔离、灵活自如的扩展和负责均衡。
EVPN的核心工作原理是通过控制协议来通告MAC地址的可达信息（而不是通过数据平面学习）并且使用IP封装的包交换技术处理并转发2层流量（而非使用电路交换）。
这些是EVPN区别于其他传统的2层VPN技术的重要特征。
传统的2层VPN技术不但严重限制了2层VPN网络的扩展，同时，由于缺少控制平面的管控也制约的LAN在不同数据中心之间的延伸。
EVPN采用控制协议定义了MAC地址和经过网络核心可达的下一跳IP地址之间的映射关系。
EVPN就像是通过MAC进行路由一样：
目的地址是MAC地址、下一跳是IP地址，业务流量被封装进了IP包，这样业务流量就可以流过IP核心网络，通过MAC路由而到达下一跳。
因此，介于源主机MAC地址和目的主机MAC地址之间的流量通过覆盖封装就转变成了相关边界设备之间IP源地址和IP目的地址的IP流量。
这些数据采用封装处理的方式进行传输而不是通过隧道的方式进行传输，这是因为封装是可以动态变化的。
由于这些业务流量借助IP转发，因此EVPN在IP核心网里就变得十分高效，不但可以优化负载均衡流量、复制组播流量，而且还能够快速地实现故障恢复。
数据转发表里的MAC地址与下一跳IP地址之间的映射关系由控制协议通告，故而消除了未知的单播数据包必须穿越数据中心间互联链路的要求。
控制协议具有可扩展性，除了必要的具体MAC地址信息外，还包括VLAN、站点ID和关联IP地址。
这些丰富的信息，如果仅靠数据泛洪学习方式其中大部分是无法获得的，但是对于实现多宿主、负载均衡、抑制环路、本地FHRP及本地ARP转发等EVPN必备功能来说，却是至关重要的信息。
EVPN主要的优点体现在以下几点：
•支持All-Active多宿主链路连接
•支持L2和L3相结合
•通过MP-BGP学习MAC
•支持自动发现链路
•灵活的数据层面（IP/MPLS）
•有效控制BUM
图5异地数据中心互联拓扑
5.3.4广域网链路容灾设计
广域网双活的技术建议采用智能DNS技术，通过DNS重定向（GSLB）在多个数据中心之间实现负载分担，要求应用采用域名方式进行访问，可以实现数据中心双活健康路由注入（RHI），这是一种路由机制，它允许两个数据中心使用同一个IP地址。
这意味着同一个IP地址（主机路径）被发布为不同的metric。
上游路由器可以同时看到两条路径，并将metric更好的路径插入到其路由表中。
适用于通过IP访问的应用，实现应用的灾备。
每个数据中心分别部署一对GTM设备（本身HA，提供高可用性），在服务器区域部署动态广域网优化设备（WOM）。
GTM设备提供DNS服务，在回复DNS请求时，将服务器IP返回给LDNS（用户使用的DNS服务器，一般由运营商提供）。
多台GTM设备之间建立可信连接，同步数据和各个数据中心状态。
对于应用内部，两个数据中心都有WEB、APP系统，都将独立地处理流量，当访问应用层业务或核心数据（如：
数据库信息）时，双数据中心需要通过内部网络进行数据交换，采用WOM（广域网优化设备）加速数据层面的复制和同步。
图5数据中心广域网双活拓扑
无论是GTM可以通过ping包、检测端口、查看网页内容、交互式探测甚至自定义脚本的方式对物理服务器状态进行检查。
GTM会针对本数据中心内的服务器状态进行检测，并将结果同步给广域网上的其它GTM，从而在一定程度上减少由重复健康检测给服务器和广域网带宽造成的压力。
两个数据中心的GTM都可以对外提供DNS知能解析的功能，当收到一个从LDNS发来的域名解析请求时，GTM会根据各种规则（如运营商IP列表、动态探测包测试、几个GTM之间共同维护的LDNS状态库）来判断从哪个链路、哪个中心回复用户的请求会最快，然后选择那个链路/中心所在的IP地址回复给用户，达到智能选路的效果。
当对某套应用中某台服务器的健康检查失败时，会对其标记为down，而不把后续的任何流量再分配到该服务器上。
如果某套应用中在第一数据中心的服务器都不可用时，GTM会通过DNS回应方式把客户的请求导向第二数据中心，对于其它无影响的应用可以根据用户要求继续保留在第一数据中心处理。
于是，就可以实现基于应用的数据中心切换。
多个数据中心，从技术上来说，其实并不区别，都可以提供应用服务，只是根据承载流量能力方面人为的分为主中心或备中心。
在F5的解决方案中，通过DNS智能解析方式根据用户实际需求把流量导向各个数据中心，实现了多活数据中心共同承载业务流量的架构。
5.3.5分支机构广域网架构
分支行广域网是提供玉溪地区同城分支行，和异地分支行与数据中心，及灾备中心的广域网连接。
目前部署的同城广域网链路主要是MSTP链路，异地主要是SDH链路，建议未来维持现有的链路选型。
图6分支机构拓扑
在主用和同城双活数据中心均部署广域网汇聚路由器和玉溪汇聚路由器。
广域网汇聚路由器通过DWDM设备连接，构成主用和同城双活数据中心之间的骨干网。
玉溪本地的分支机构直接上连到玉溪汇聚路由器。
各异地分支机构的链路经异地分行汇聚后，上连到主用和同城双活广域网汇聚路由器。
在上联时，可以选择上联路由器和汇聚路由器分离的方式，也可以根据实际情况选择上联路由器和汇聚路由器复用的方式。
在汇聚的网点较多时，建议采用分离模式。
5.3.6数据分流策略
为了提高带宽利用率，并满足业务数据流的可用性和带宽需求，建议对于分支行的冗余广域网链路，根据不同的应用进行数据分流。
在分支行的两条广域网链路上，将业务与其他应用进行数据分流，保证在正常情况下，业务流量使用连接主数据中心的主链路，其他流量使用连接灾备中心的冗余链路。
由于数据中心的业务，办公等应用系统无法根据IP地址进行明确区分；而在分支行和网点，业务终端和办公终端是采用隔离的方式，所以根据分支行的客户端IP地址段，作为数据分流的区分条件。
根据分支行不同应用客户端的IP地址段不同，分别在分支行广域网路由器及数据中心广域网路由器上通过对动态路由协议的控制，实现不同应用在冗余广域网链路上的数据分流。
另外根据动态路由协议自身的特性，两条链路可以相互提供备份。
同时需要在分支行上联数据中心两条链路上的两端都运用QoS技术，保证在只有一条链路可用时，优先满足业务流量的带宽需求。
5.4数据中心网络核心架构设计
网络核心区由两台交换机组成，负责数据中心各区域之间数据交互流量的高速转发。
采用冗余的核心交换机，构造数据中心网络核心，连接各业务区，实现各区域之间的高速数据交互。
数据中心核心交换机与各区域的区域核心交换机之间通过不同板卡的端口进行互联，实现高速冗余传输。
网络核心不运行诸如ACL、QoS等消耗内存与CPU的协议，也不作为服务器的接入设备。
为了改善核心区域的可管理性，同时提高可靠性，建议核心区域的两台交换机运行虚拟化协议，将两台核心交换机虚拟化成一台。
从而连接到两台核心交换机的链路都可以启用链路聚合，实现负载分担方式运行。
图7数据中心核心交换区拓扑
5.4.1数据中心业务区架构设计
业务服务器区提供业务系统和办公系统相关服务器的集中接入区。
业务服务器区从逻辑架构采用一层方式设计，提高网络的转发效率，并且改善网络的可维护和可管理性。
另一方面，由于业务服务器区域需要考虑分布式部署TOR交换机，因此需要将TOR交换机和核心交换机虚拟化成一台，在逻辑上形成一层架构。
核心层与业务区域之间串联防火墙，提供区域内部与外部相互访问的安全控制。
防火墙采用主备的路由模式部署，Inside口与区域交换机集群三层互联，Outside口与核心交换机三层互联。
两台防火墙构成集群，如单一设备管理。
区域交换机集群与数据中心核心进行三层的交叉互联，运行动态路由协议。
图8数据中心业务区拓扑
5.4.2网银区架构设计
网银区为主要为网上银行业务的Web应用提供互联网接入和安全控制，以及与数据中心内部服务器的数据交互。
未来也可以按照需要增加其他互联网业务。
网银区整体可分为三个层次：
数据中心接入—DMZ—互联网接入，两层之间分别通过防火墙进行隔离。
图9数据中心网银区逻辑拓扑
Internet接入：
提供业务互联网DMZ区服务器的Internet接入和安全控制，并为Internet用户提供Web服务。
内网核心区：
提供业务互联网区的DMZ与数据中心内部的数据交互和安全控制。
DMZ：
提供网银和相关电子商务服务器的接入，服务器到内网和外网的连接和安全控制。
图10数据中心网银区物理拓扑
DMZ所有服务器的网关位于本地负载均衡设备。
区域核心交换机采用集群模式部署，与内部防火墙三层互联，与外网防火墙二层互联。
防火墙均采用主备的路由模式，主备设备之间使用HA接口相互同步配置和会话状态信息。
在互联网出口防火墙上开启IPS和防病毒许可。
区域核心交换机与数据中心核心交换机采用交叉的三层全互联，运行动态路由协议。
本地负载均衡设备旁挂在区域核心交换机，全部采用二层互联，一条作为Inside接口，提供DMZ区域内部服务器的负载均衡，同时作为区域汇聚交换机默认路由的网关。
另外一条链路作为Outside接口，作为互联网链路进入业务互联区DMZ的网关。
区域汇聚交换机与Internet出口防火墙采用二层的VLAN互联，并将所有VLAN透传到连接本地负载均衡设备的Trunk接口上，本地负载均衡的默认路由指向外网防火墙的Inside接口，为DMZ服务器到Internet的访问提供多出口间的负载均衡。
外网防火墙作为数据中心Internet接入点，Outside接口使用ISP的公网地址，Inside接口与本地负载均衡设备进行三层互联，并提供数据中心内部地址到Internet的地址转换。
广域网负载均衡旁路在Internet线路的接入交换机上，使用每个ISP对应的公网地址，为Internet用户到业务互联网区内部的访问提供多条链路间负载均衡。
5.4.3外联区架构设计
外联
升级会员 