数据中心网络架构设计.docx

1、数据中心网络架构设计数据中心网络架构设计2019年7月1建设背景为了更好地为业务发展服务，提供高效、安全和稳定的生产环境，并能够快速、灵活地响应新环境下的公司业务的开展，需要对数据中心进行规划和建设。本次网络规划主要在考虑和谐健康保险股份有限公司三到五年内的业务发展需求，总体目标是按照“双中心”的业务发展指导建设一个能适应未来业务发展的高性能、高扩展性及智能化的网络基础架构，以支持业务长期、安全、稳定、快速发展。 2项目目标网络建设应按照“双中心”建设需求，对数据中心内部根据功能类型进行分区块建设，并重点考虑核心业务、关键业务、网管运维之间的业务高速转发、业务安全隔离等需求。当前建设方案重点考

2、虑的分区需要有：DMZ区、运维区、服务器区、外联区、核心交换区、广域网互联等分区。3需求分析3.1业务需求分析目前主要业务分为生产和OA两大类；生产业务包括核心及相关外围业务，OA是核心业务之外的业务，主要是办公网业务、业务管控系统、视频监控系统等非核心业务。生产业务和OA业务部署在数据中心局域网不同的功能区域，物理隔离。由于未来业务环境的变化，主要的业务需求包括：业务变化的需求 新产品和服务的快速投产对网络的灵活响应、快速的部署响应及支持能力都有新的和更高的要求，并需要降低对现有应用带来冲击。业务快速发展带来的大量数据和用户 要求具有高扩展性网络架构，灵活支持不同类型的数据，同时需要平衡功能

3、和成本，以求能够在成本有效的前提下，满足突发业务的传输与用户访问的需求特殊应用对网络的要求 特殊应用如多媒体应用、Call Center等对网络延迟、传输能力等有要求，必须予以考虑，以保证网络服务质量。网络安全机制 需要进行网络安全的风险分析，网络安全需要同时考虑网络能够灵活和动态的支持业务的开展，平衡网络安全和业务需要的功能网络管理体系 整体网络管理体系必须要能够基于业务的要求，有效地加强网络管控、管理和审计能力，提升保证网络服务指标和总体运行效率，达到可视、可管和可控3.2其他需求对保险行业来说，客户是生存的基础，随着国际及国内保险行业竞争的加剧，目前国际保险行业已经形成了以“客户”为中心

4、、以“服务”为导向的发展模式，在这一模式下，保险行业通过对内部资源进行更加全面的整合，为客户提供更为精细的服务，从而为客户带来更佳的业务体验。因此如何整合内部资源，特别是如何利用信息科技的手段使和谐健康保险股份有限公司已经到来的激烈竞争中立于不败，已经是一个迫在眉睫的任务。按照“服务中心”的理念对和谐健康保险股份有限公司整体IT基础架构进行重新规划布局实际上是从整个发展理念上对IT基础架构未来的建设规划指明方向，并根据不同的功能需求以提供“服务”的视角来整合内部IT资源，从而为未来“综合化”的业务发展、“专业化”的服务能力打下坚实的基础。根据“服务中心”的理念，和谐健康保险股份有限公司未来整体

5、IT基础架构将由多个服务中心以及为这些服务中心提供传输和接入服务的核心网络构成，这些服务中心包括数据中心、灾备中心、开发中心、呼叫中心等等，根据其业务功能和服务领域的不同为和谐健康保险股份有限公司的所有业务部门提供其所需的业务和IT服务。这种多服务中心的架构能够灵活地为不同需求单位提供所需的业务和IT服务，包括后台业务处理、网络接入、数据处理及交换等，并且能够根据未来和谐健康保险股份有限公司业务的发展而进行动态的调整。这种多服务中心的架构需要和谐健康保险股份有限公司未来新一代网络架构具备以下能力提供支持：灵活的接入要求 未来服务中心作为和谐健康保险股份有限公司所有业务部门的共享资源，能够提供灵

6、活的接入方式，为所需要的成员单位提供可靠的、灵活调整性强的接入要求，并且能够根据所提供服务的不同，提供不同的接入方式与能力，如数据中心与呼叫中心，由于其业务需求不同，其要求的接入方式与能力也将有所不同。高可用的架构 服务中心将是和谐健康保险股份有限公司业务处理、信息处理、数据交换极其重要的部分，如数据中心、灾备中心等，这些服务中心作为和谐健康保险股份有限公司整个架构中的重要节点，需要具备高可用的架构才能保证为业务发展提供连续的、有质量保证的服务。需要强调的是，不仅需要考虑在服务中心内部的高可用架构，更应该从整体业务的高可用性进行规划。 满足业务对性能的需求 未来服务中心将承载和谐健康保险股份有

7、限公司所有业务的运行，并且根据服务中心功能的不同，对性能的需求也不同，如集中提回等对实时性要求较高的业务，视频会议、呼叫中心等对网络带宽要求较高的应用等，必须根据服务中心功能和所提供服务的不同，进行不同的性能考虑和规划。动态的IT资源调度和配置 多服务中心非常重要的一个需求就是能够适时为不断增加的业务提供所需要的服务，这就要求未来的架构具备对IT资源进行动态的调度和配置的能力，从而降低未来业务发展的成本，以及总体的IT运营成本，提高IT对业务发展的支持能力。3.3网络架构支持新技术发展趋势的考虑网络架构规划必须考虑新技术的发展趋势，近年新技术的讨论主要是着重在虚拟化、云计算和动态架构等。这些新

8、技术的引进，对IT管理带来极大的压力，在新技术的引进时，必须首先需要建设配套的管理机制，技术的实施在能达到预期的效果过。但对企业而言，网络规划对新技术的考虑必须基于业务的需求，网络的前瞻性应着重于网络灵活、动态及成本有效地支持业务的力度，而不完全以新技术的引进为衡量的唯一因素。虚拟化 打破传统的资源独享的概念，在物理资源中创造许多虚拟资源，基于用户提出的请求，部署用户需要的资源，达到资源共享，减低总体IT设备成本。4网络详细设计目标和需求描述4.1网络整体架构设计根据对新业务环境和IT整体策略的理解，考虑新技术发展趋势，新一代整体网络架构将是面向服务的网络架构，支持平等的多服务中心，提供一种有

9、效和创新的服务交付模式，将共享资源分离出来，以提高它们的可移植性，并能够充分利用更加优化的系统和网络资源以提高效率、适应业务环境的变化，并降低整体成本。整体规划体现以下重要的特点：整合共享而安全独立的网络架构，满足综合化业务环境并安全合规一个整合统一的网络环境支持整个保险业务部门。“整合”为综合化业务，融合产品和融合渠道的开展提供了统一的通信服务平台。同时，网络通过虚拟化及安全技术为各部门提供网络的独立性，满足各部门安全合规性要求。建设核心网，适应多服务中心环境，并快速响应业务环境的变化通过核心网的建设，提供一个更灵活有弹性的网络架构，支持多服务中心的环境，并快速响应业务环境的变化。核心网改变

10、传统多星型的架构，利用新的组网技术，支持任意的拓扑结构，按需分配带宽资源和服务等级，从而使整体网络架构更具灵活性和弹性。4.2网络架构设计需求网络架构详细设计需求：提供“双中心”架构设计优化网络功能分区和网络核心架构，并提供各功能组件的详细设计，满足以下需求: 设计数据中心核心交换区， 构建一个SOA结构的易扩展，高可用的数据中心核心根据安全分区，业务关键程度，应用耦合度等因素，优化服务器在网络功能区的部署。用户接入需求: 满足广域网用户，数据中心本地用户接入，远程用户接入，外联用户接入，运维管理用户接入等用户接入的要求。运维管理需求：设计运维管理区， 提供运维管理用服务器， 运维管理用户，

11、带内带外网络的接入。内部用户上网需求：为用户上网提供互联网接入，以及防DDOS， 入侵防御，防病毒，上网行为审计等安全服务。数据中心间网络需求：设计数据中心间网络，满足主用数据中心、灾备中心和异地数据中心存储数据复制和备份的要求，以及灾备切换，灾备演练，网络多点接入需要的网络环境。提供NAS/备份网络的设计，满足基于IP技术的存储网络服务的需求。提供带外管理网络架构设计，满足主机和网络设备带外操作和管理的要求。网络安全设计需求: 规划符合行业规范的安全区区别应用的安全等级，区分不同的用户组和访问特征，进行有效的访问安全控制设备安全：优化设备的安全服务， 提升设备本身的安全网络管理设计需求：配置

12、管理：实现配置变更标准化， 加强配置审计， 从而提高操作维护效率，降低人工操作失误，提升网络整体可用性性能和用量管理:提升网络对性能的预防性管理能力， 提升对资源的合理分配和预测能力， 提供网络和应用服务水平5网络架构详细设计5.1总体网络架构设计根据整体的网络规划，需要建设两个数据中心，形成同城主备数据中心的“双中心”模式。图 1 “双中心”规划主用数据中心在正常情况下支持和谐健康保险股份有限公司所有的IT业务和应用，部署所有IT系统和数据，是所有分支机构和外联单位的汇聚中心。灾备数据中心部署与主用数据中心相同的业务系统，与主用数据中心构成镜像双活。在主中心发生灾难的情况下，业务切换到双活数

13、据中心，承载所有IT业务和应用。异地灾备数据中心部署部分关键业务系统，同时提供主用数据中心的所有数据业务的备份。5.2数据中心网络架构设计根据网络需求功能性需求，网络整体架构需要满足应用接入服务、用户接入服务、IP存储服务和管理服务；各功能组件通过网络服务总线连接成一个统一的架构。图 2 数据中心网络架构应用服务：为全行所有业务和管理服务器提供接入服务，安全服务，负载均衡服务等，结合应用的关键程度、业务特性、及应用之间的耦合度，应用服务器模块可细分为各类服务器接入区域。用户接入服务：根据不同类型和不同访问方式的用户，提供用户接入，安全等服务；存储服务：满足新数据中心存储规划，需要满足IP和FC

14、需要的存储网络和备份网络；核心区：搭建网络服务总线，将所有网络功能模块连接成一个统一架构；管理服务：满足日常操作运维需要的运维人员接入，运维服务器接入，带外带内网络接入，运维管理服务将在多中心运行；数据中心互联：满足多中心环境下，数据中心间网络通信、存储复制及备份的需求。5.3广域网架构设计广域网架构中包括数据中心间核心骨干网络连接以及分支行广域网连接架构。广域网架构的设计在满足未来对网络的需求基础上，考虑兼容现有的广域架构，避免对现有广域网络进行较大的改动。5.3.1数据中心互连核心骨干网架构数据中心间互联骨干网络除承载数据中心间正常的系统运维通信外，还需要考虑存储、备份网络连接，以及双中心

15、运行及中心互备模式下对核心骨干网的需求。5.3.2数据中心和同城灾备中心互连根据数据中心互联网络需求，互联线路既需要支持IP三层，二层以太网通信，又需要支持FC光纤通信，使用DWDM技术的裸光纤线路能满足现有需求。对于灾备数据中心采用光纤直连方式。由于和谐健康保险股份有限公司的网络规模较小，二层广播尚不会造成巨大问题，因此可以直接通过光纤直连方式将各个业务区对应连接，即可实现业务区之间的二层连接。为了保证冗余性，在主用数据中心与同城灾备中心采用两条裸光纤进行互联，两数据中心各部署两台DWDM设备提供裸光纤接入。主数据中心与同城灾备中心的逻辑通道主要有三种类型：FC通道：提供两数据中心存储复制和

16、备份。三层以太网通道：提供两数据中心之间的三层互通，满足数据中心骨干网的建立。二层以太网通道：提供两数据中心各对应网络功能区域之间的二层互通，满足单系统切换的需求。5.3.3广域网链路容灾设计广域网双活的技术建议采用智能DNS技术，通过DNS重定向(GSLB)在多个数据中心之间实现负载分担，要求应用采用域名方式进行访问，可以实现数据中心双活健康路由注入(RHI)，这是一种路由机制，它允许两个数据中心使用同一个IP地址。这意味着同一个IP地址(主机路径)被发布为不同的metric。上游路由器可以同时看到两条路径，并将metric更好的路径插入到其路由表中。适用于通过IP访问的应用，实现应用的灾备

17、。每个数据中心分别部署一对GTM设备(本身HA，提供高可用性)，在服务器区域部署动态广域网优化设备（WOM）。GTM设备提供DNS服务，在回复DNS请求时，将服务器IP返回给LDNS(用户使用的DNS服务器，一般由运营商提供)。多台GTM设备之间建立可信连接，同步数据和各个数据中心状态。对于应用内部，两个数据中心都有WEB、APP系统，都将独立地处理流量，当访问应用层业务或核心数据（如：数据库信息）时，双数据中心需要通过内部网络进行数据交换，采用WOM（广域网优化设备）加速数据层面的复制和同步。图 5 数据中心广域网双活拓扑无论是GTM可以通过ping包、检测端口、查看网页内容、交互式探测甚至

18、自定义脚本的方式对物理服务器状态进行检查。GTM会针对本数据中心内的服务器状态进行检测，并将结果同步给广域网上的其它GTM，从而在一定程度上减少由重复健康检测给服务器和广域网带宽造成的压力。两个数据中心的GTM都可以对外提供DNS知能解析的功能，当收到一个从LDNS发来的域名解析请求时，GTM会根据各种规则(如运营商IP列表、动态探测包测试、几个GTM之间共同维护的LDNS状态库)来判断从哪个链路、哪个中心回复用户的请求会最快，然后选择那个链路/中心所在的IP地址回复给用户，达到智能选路的效果。当对某套应用中某台服务器的健康检查失败时，会对其标记为down，而不把后续的任何流量再分配到该服务器

19、上。如果某套应用中在第一数据中心的服务器都不可用时，GTM会通过DNS回应方式把客户的请求导向第二数据中心，对于其它无影响的应用可以根据用户要求继续保留在第一数据中心处理。于是，就可以实现基于应用的数据中心切换。多个数据中心，从技术上来说，其实并不区别，都可以提供应用服务，只是根据承载流量能力方面人为的分为主中心或备中心。在F5的解决方案中，通过DNS智能解析方式根据用户实际需求把流量导向各个数据中心，实现了多活数据中心共同承载业务流量的架构。5.3.4数据分流策略为了提高带宽利用率，并满足业务数据流的可用性和带宽需求，建议对于分支行的冗余广域网链路，根据不同的应用进行数据分流。在分支行的两条

20、广域网链路上，将业务与其他应用进行数据分流，保证在正常情况下，业务流量使用连接主数据中心的主链路，其他流量使用连接灾备中心的冗余链路。由于数据中心的业务，办公等应用系统无法根据IP地址进行明确区分；而在分支行和网点，业务终端和办公终端是采用隔离的方式，所以根据分支行的客户端IP地址段，作为数据分流的区分条件。根据分支行不同应用客户端的IP地址段不同，分别在分支行广域网路由器及数据中心广域网路由器上通过对动态路由协议的控制，实现不同应用在冗余广域网链路上的数据分流。另外根据动态路由协议自身的特性，两条链路可以相互提供备份。同时需要在分支行上联数据中心两条链路上的两端都运用QoS技术，保证在只有一

21、条链路可用时，优先满足业务流量的带宽需求。5.4数据中心网络核心架构设计网络核心区由两台交换机组成，负责数据中心各区域之间数据交互流量的高速转发。采用冗余的核心交换机，构造数据中心网络核心，连接各业务区，实现各区域之间的高速数据交互。数据中心核心交换机与各区域的区域核心交换机之间通过不同板卡的端口进行互联，实现高速冗余传输。网络核心不运行诸如ACL、QoS等消耗内存与CPU的协议，也不作为服务器的接入设备。为了改善核心区域的可管理性，同时提高可靠性，建议核心区域的两台交换机运行虚拟化协议，将两台核心交换机虚拟化成一台。从而连接到两台核心交换机的链路都可以启用链路聚合，实现负载分担方式运行。图

22、7 数据中心核心交换区拓扑5.4.1数据中心业务区架构设计业务服务器区提供业务系统和办公系统相关服务器的集中接入区。业务服务器区从逻辑架构采用一层方式设计，提高网络的转发效率，并且改善网络的可维护和可管理性。另一方面，由于业务服务器区域需要考虑分布式部署TOR交换机，因此需要将TOR交换机和核心交换机虚拟化成一台，在逻辑上形成一层架构。核心层与业务区域之间串联防火墙，提供区域内部与外部相互访问的安全控制。防火墙采用主备的路由模式部署，Inside口与区域交换机集群三层互联，Outside口与核心交换机三层互联。两台防火墙构成集群，如单一设备管理。区域交换机集群与数据中心核心进行三层的交叉互联，

23、运行动态路由协议。图 8 数据中心业务区拓扑5.4.2WEB区架构设计DMZ区为主要为网上保险业务的Web应用提供互联网接入和安全控制，以及与数据中心内部服务器的数据交互。未来也可以按照需要增加其他互联网业务。DMZ区整体可分为三个层次：数据中心接入DMZ互联网接入，两层之间分别通过防火墙进行隔离。图 9 数据中心DMZ区逻辑拓扑Internet接入：提供业务互联网DMZ区服务器的Internet接入和安全控制，并为Internet用户提供Web服务。内网核心区：提供业务互联网区的DMZ与数据中心内部的数据交互和安全控制。DMZ：提供WEB和相关电子商务服务器的接入，服务器到内网和外网的连接和

24、安全控制。图 10 数据中心DMZ区物理拓扑DMZ所有服务器的网关位于本地负载均衡设备。区域核心交换机采用集群模式部署，与内部防火墙三层互联，与外网防火墙二层互联。防火墙均采用主备的路由模式，主备设备之间使用HA接口相互同步配置和会话状态信息。在互联网出口防火墙上开启IPS和防病毒许可。区域核心交换机与数据中心核心交换机采用交叉的三层全互联，运行动态路由协议。本地负载均衡设备旁挂在区域核心交换机，全部采用二层互联，一条作为Inside接口，提供DMZ区域内部服务器的负载均衡，同时作为区域汇聚交换机默认路由的网关。另外一条链路作为Outside接口，作为互联网链路进入业务互联区DMZ的网关。区域

25、汇聚交换机与Internet出口防火墙采用二层的VLAN互联，并将所有VLAN透传到连接本地负载均衡设备的Trunk接口上，本地负载均衡的默认路由指向外网防火墙的Inside接口，为DMZ服务器到Internet的访问提供多出口间的负载均衡。外网防火墙作为数据中心Internet接入点，Outside接口使用ISP的公网地址，Inside接口与本地负载均衡设备进行三层互联，并提供数据中心内部地址到Internet的地址转换。广域网负载均衡旁路在Internet线路的接入交换机上，使用每个ISP对应的公网地址，为Internet用户到业务互联网区内部的访问提供多条链路间负载均衡。5.4.3外联区

26、架构设计外联区提供数据中心到合作伙伴单位的线路接入，数据交互及安全控制。外联区与DMZ区域类似，逻辑上也分为三层：数据中心接入DMZ外联接入，两层之间分别通过防火墙进行隔离。图 11 数据中心外联区逻辑拓扑数据中心接入：提供外联区的DMZ服务器与数据中心内部的数据交互和安全控制。DMZ：提供外联相关应用的前置服务器接入，及服务器分别到数据中心内部和外联单位的连接和安全控制。外联接入：提供外联单位的线路接入，并提供外联区DMZ服务器与外联单位服务器的数据交互。在进行外联时，需要考虑进行地址转换，主要是基于安全需要和避免地址冲突的原因考虑，以下三种情况需要进行地址转换：数据中心从内到外访问：a)外

27、联单位主动分配IP地址，在防火墙上转成对方提供的IP。数据中心从内到外访问：b)外联单位提供的IP地址与数据中心内部地址冲突，在外联路由器上转成行内规划的外联地址。c)外联单位需要直接访问数据中心业务区服务器，需要在外联区防火墙，将外联单位的源地址转换成规划好的内部地址对于外联单位需要同时接入到数据中心和灾备中心的情况下，需要将两中心的外联交换机进行二层或三层互联，并运行动态路由协议，提供外联单位冗余线路的动态切换。对于外联单位需要同时接入到数据中心和灾备中心的情况下，需要将两中心的外联交换机进行二层或三层互联，并运行动态路由协议，提供外联单位冗余线路的动态切换。5.4.4办公互联网区架构设计

28、办公互联网区提供灾备中心所在园区的办公用户互联网接入，以及为员工在通过互联网到内网的VPN接入。区域整体可分为三个层次：数据中心接入DMZInternet接入，两层之间分别通过防火墙进行隔离。图 14 数据中心办公互联网区逻辑拓扑据中心接入：提供办公互联网区的DMZ与数据中心内部的数据交互和安全控制。DMZ：提供上网代理服务器，网页过滤服务器，邮件前置服务器，邮件过滤服务器，VPN网关等办公上网前置服务器的接入，及服务器分别到内网和外网的连接和安全控制。Internet接入：提供园区和分支行办公用户，及办公互联网DMZ区服务器的Internet访问和安全控制，并为员工提供VPN接入。外部的防火

29、墙设备启用UTM功能，提供防病毒、IPS、垃圾邮件过滤等功能。两套防火墙均采用主备集群的路由模式，主备设备之间使用HA接口相互同步配置和会话状态信息。DMZ所有服务器的网关位于区域汇聚交换机。两台区域汇聚交换机启用虚拟化功能，双机虚拟成单台，与内部防火墙三层互联。区域核心交换机与数据中心核心交换机采用交叉的三层全互联，运行动态路由协议。区域汇聚交换机与外部防火墙三层互联，外部防火墙作为区域汇聚交换机默认路由的下一条网关。在外部防火墙和链路负载均衡之间串联上网优化网关作为行为管理和审计设备，提供数据中心访问Internet的数据安全，信息记录及带宽管理。上网行为管理设备作为二层设备部署，在故障或

30、断电时，提供自动Bypass功能。图 15 数据中心办公互联网区物理拓扑5.4.5运维管理区架构设计运维管理区提供数据中心运维管理类服务器，ECC终端接入，及服务器和网络设备的带外管理接入。其中带外管理网同时作为服务器NAS和备份的网络接入。架构设计图 16 数据中心运维区逻辑拓扑区域核心：提供区域内部与数据中心核心的高速数据交互。区域核心与带外管理区之间串联防火墙，提供区域内部与外部相互访问的安全控制。区域接入又分为三个部分：运维服务器：提供数据中心运维管理服务器的接入。ECC：提供数据中心集中监控和管理终端的接入。带外管理：提供数据中心服务器和网络设备的带外管理，包括服务器带外管理网卡接入

31、，服务器ILO网卡接入，网络设备的带外管理端口，网络设备的IP Console接入等。带外网与运维管理服务器及ECC终端通过防火墙进行访问控制。防火墙采用主备的路由模式部署，Inside口与区域交换机三层互联，Outside口与核心交换机三层互联。被管设备接入考虑到数据中心运维方式的统一，建议从网络上定义数据中心各服务器和网络设备的带内和带外接入方式的规范。服务器，包括PC服务器，刀片服务器，小型机等带内管理接入：所有服务器接入生产网络的网卡和IP地址用作带内管理。带外管理接入：PC服务器的带外管理/NAS/备份网卡接入带外网络。刀片机箱上的管理模块接入带外网络。小型机的HMC服务器网卡接入带外网络。PC服务器的ILO网卡接入带外网络。网络设备，包括交换机，路由器，防火墙，负载均衡等设备。带内管理接入：网络设备的生产网络IP地址用作带内管理。带外网络的网络设备，只使用带内管理。业务区和托管区的区域防火墙和业务互联网区，办公互联网区对外防火墙外层的网络设备，无法进行带内管理。带外管理接入对于管理接口与业务接口的共享同一路由表的网络设备，管理接口接入带外网络，分配带外管理地址，并配置一条到ECC的明细静态路由，下一条接口为管理接口。对于管理接口与业务接口路由表隔离的网络