多中心XX厅两地三中心网络设计方案v1.docx

1、多中心XX厅两地三中心网络设计方案v1XX省人社厅两地三中心网络设计方案第一章项目背景1.1概况伴随着人力资源和社会保障事业的快速发展，XX省的人力资源和社会保障信息化建设取得了显著成效。目前，XX省的地级以上人力资源社会保障部门普遍建立了数据中心，多数地区实现了业务数据在市级的集中统一管理。部、省、市三级网络进一步贯通，基本覆盖了各类公共就业服务机构和社会保险经办机构，并延伸到大部分街道、社区、乡镇、定点医疗机构和零售药店，初步形成了人力资源社会保障信息网络框架。同时，XX省人力资源社会保障系统的信息化建设还丰富了为社会公众提供信息服务的手段，政府网站、12333电话咨询服务系统、基层信息服

2、务平台使人民群众可以就近享受便捷的人力资源社会保障服务，受到了人民群众的普遍欢迎。总体上看，信息化建设成果已经成为人力资源和社会保障工作的重要基础，在落实相关政策、创新管理模式、降低行政成本、提升服务能力等方面发挥了重要的作用，推动了人力资源和社会保障工作向精细化、一体化、科学化、规范化转变。随着信息化建设的不断深入，信息化服务对XX省人社厅的业务开展越来越重要。因此，当前的信息化工作重心逐步转移到确保人社厅信息化体系的健壮性和稳定性上来。为此，XX省人社厅开展了信息系统“两地三中心”的建设工程，以确保人社厅的业务安全与数据安全得到进一步的提高。1.2现状分析1.2.1数据中心建设现状XX省人

3、社厅现有移动主数据中心、厅大楼备数据中心、以及XX市市人社局灾备中心等三座数据中心。其中，移动主数据中心和厅大楼备数据中心位于太原市，分别规划为主、备数据中心，为XX人社系统厅、各局及外联单位提供实时内、外网信息服务。XX市灾备中心位于XX市市人社局内，主要作为主数据中心的异地数据灾备中心。1.2.1.1移动数据中心现状经过前期准备工作，人社厅移动主数据中心已经进入建设阶段。机房将设有机柜24个，位于移动公司数据中心的J、K、L列。24个机柜中包括列头柜和电源柜共6个，其余为可用机柜。机房机柜位置图如下：同时，机房的机柜功率及承重等环境要素可满足高密度设备的部署要求。1.2.1.2厅大楼数据中

4、心现状现有省厅数据中心分为两个机房，用于存放所有网络和主机设备。作为未来的灾备中心，目前已将现有两个机房设备整合到一个机房使用，而另一个机房用来存放停用设备，起到节省资源的目的。作为备数据中心机房，机房环境将进行整体提升，整改内容包括：设备除尘、设备老旧检测、温度检测等。省厅数据中心平面图如下：1.2.1.3XX市灾备中心现状XX市灾备中心位于XX市市人社局机房内。作为异地灾备数据中心，主要负责移动主数据中心的非实时性数据备份，确保位于太原市的主、备数据中心全部发生数据丢失的情况下，可进行主要数据的整体恢复。1.2.2网络现状XX省人社厅整网主要由以下方面组成：数据中心互联：厅数据中心机房与移

5、动数据中心目前通过2条100M专线实现高速互联。专线运营商为XX移动。人社部上联链路：目前XX人社厅通过人社部提供的联通专线实现与人社部的网络互通。由于链路的运营商为联通，目前无法接入XX移动数据中心，链路接入点设在人社厅机房内。外联单位专线链路：目前与人社厅有数据交互的外联单位包括银行、省电子政务网、公安厅等部门。外联专线使用2M带宽链路，链路接入路由器设在移动主数据中心内。地市人社局上联链路：XX省11个地市人社局与人社厅机房之间的上联专线链路将全部拆除，未来计划通过移动公司提供的双路10M专线实现与移动主数据中心之间的互通。外网及出口：XX省人社厅大楼数据中心设有外网及互联网出口，外网与

6、内网之间通过网闸设备进行隔离。外网主要用于满足厅机关大楼内的办公上网需求，以及人社厅部分对外业务的发布，如网站、12333服务等。未来人社厅将在移动数据中心设置相当规模的外网及互联网出口，主要用于对外网站及12333服务的部署。人社厅外网将仅负责大楼办公上网服务。XX省人社厅骨干网现网拓扑如下图所示：1.2.3地市局接入现状XX省人社厅下辖XX11个地级市人社局。各地市人社局内网目前仅留有少量业务系统在本地运行，大多数业务系统已经集中到省人社厅运行，各地市人社局内网通过专线接入省人社厅数据中心进行业务系统的访问。通过此次位于XX移动的主数据中心的建设，各地市原有的上联到人社厅机房的10M双链路

7、专线已经停用，改为20M移动双链路专线上联到新建的移动数据中心。另外，由于省人社厅在XX市市人社局设有异地灾备中心，XX市局到移动数据中心的专线链路同时需要承担移动数据中心备份数据到XX市灾备中心的传输任务。第二章建设需求分析XX人社厅网络建设的总体目标为：结合XX人社厅的定位和运营服务方针，对原有核心系统进行优化升级；建设一个集中、统一、先进的容灾信息系统，满足业务开展的新需要。IDC数据中心网络系统是XX人社厅业务发展的基础与关键系统，是XX人社厅信息系统的重中之重。随着XX人社厅各级分支机构的逐步建立和到位，业务量海量增加，而且客户需求的新功能也不断翻新， 为满足现阶段和中长期的需求，本

8、项目中网络部分采用由多区域多层次的网络架构方式。这种层次化的网络设计思想是目前国内外网络建设中普遍采用的网络拓扑结构，在这种结构下，两个层次的网络设备各司其职又相互协同工作，从而有效保证了整个网络的高可靠性、高性能、高安全性和灵活的扩展性。2.1两地三中心组网优化XX省人社厅骨干网建设需要在原有网络建设的基础上，对骨干网结构进行优化改造，在不改变骨干网原有组网模式的基础上，优化骨干网接入，提高网络利用率，构建一张面向金保二期要求的，符合人社厅未来两地三中心骨干网架构的，可以承载中心节点之间多业务、大流量数据转发的骨干环网。同时，优化各地市人社局的上联链路，利用现有资源建设第三平面网络接入通道，

9、构造满足各地市局多业务、大流量数据上传下发，具备可靠性保障的接入网络体系。2.1.1专线链路建设具体来讲，在专线链路的建设方面，可采用租用运营商传输链路的方式，实现全省范围的网络覆盖，同时保证了链路调整的灵活性。链路类型采用MSTP形式。一方面，MSTP链路继承了SDH传输链路固定带宽的特性，能够有效保障链路带宽符合设计要求；另一方面，相比于SDH链路需要专用接口接入的现状，MSTP链路支持路由器采用普通FE/GE端口接入，保障了各节点骨干网接入设备配置的灵活性。在链路带宽的选择方面，位于太原市的同城主备数据中心互联链路构成了整个人社厅内网的骨干环网，需要承担核心节点各业务系统的数据同步、各地

10、市人社局业务数据的整体调度与分担等数据转发功能，因此对链路带宽的要求相对较高。由于XX省人社厅规划新建设的业务系统包含了以就业、社会保障、人事人才、劳动关系四大业务主体为主干，各类办公应用系统为补充的业务系统体系，应用种类繁多。根据金保二期业务系统能力设计，核心节点互联链路计划配置两条100M带宽链路，保证了骨干网核心的数据转发能力。目前运营商已交付该链路。2.1.2第三平面纵向接入链路由于目前XX人社系统内各类应用业务系统服务器主要集中在省人社厅数据中心内，各地市人社局的日常业务开展都需要通过地市到省的专线链路访问各业务系统。因此，地市接入专线链路的稳定可靠是影响各地市局业务连续性的关键因素

11、。目前11个地市人社局的接入链路为20M双线移动专线，具备一定的链路冗余保障。但由于链路是同一个运营商提供的，且两条链路全部是从地市局机房到XX移动数据中心的，链路的运行容易受到移动运维因素及外部光缆施工等外部环境因素的影响，一定程度上降低了链路整体的可靠性。另外一方面，目前地市局链路全部接入移动主数据中心，一旦主数据中心整体故障，业务整体切换到备数据中心之后，各地市局访问备数据中心业务系统时仍然需要通过主数据中心的交换机进行转发，存在较大的风险。因此，本次项目需要建设由11个地市局直接连接人社厅机房的灾备数据中心的第三平面接入链路，保证在移动主数据中心全面瘫痪，或者移动接入专线链路全部中断情

12、况下，各地市局的业务连续性仍然能够不受影响。2.1.3两地三中心应用交付由于XX省人社厅内网网络采用标准的两地三中心的架构，三数据中心之间分工定位明确：移动数据中心作为主数据中心为全省的人社厅系统提供应用和服务。XX人社厅数据中心在数据和应用迁移后，将作为移动IDC数据中心的同城灾备中心，在主数据中心异常时提供全省业务服务。XX市异地灾备中心是太原市两个数据中心的异地灾备，在出现地区级的灾害或其他情况时，保障数据的完整性。因此，为保证人社厅两地三中心能够较好的发挥作用，在实现骨干网络优化的同时，应当对各数据中心的整体业务交付能力进行建设，具体工作内容如下：三数据中心路由优化：为保证三数据中心多

13、链路环网的可靠运行，确保部分链路中断时整网的连通性不受影响，应当在本次网络建设中对骨干网路由进行整体优化，确保路由的灵活准确和快速收敛。主、备数据中心全局负载均衡：人社厅在太原市部署的同城主、备数据中心目前不具有全局负载均衡机制，当主数据中心整体瘫痪时，各地市需要能够自动访问到备数据中心，实现业务的连续。因此需要在主、备数据中心间建立一套全局负载均衡机制，确保各局业务访问的连续性。2.2MPLS VPN多业务承载在业务承载方面，通过前期的建设，目前人社厅业务网大致运行着就业、社会保障、人事、劳动关系等几大对外业务，随着人社厅信息化建设的不断推进，未来在网运行的业务系统数量将达到40项左右。在大

14、量业务系统在网运行的情况下，给人社厅的网络管理带来一定的问题。目前整网的业务并没有做必要的区分，所有业务系统在一张物理网络上运行，各部门之间的业务流量相互交织。由于各类业务系统中，部分需要提供对外服务，部分为人社厅内部办公业务，较为敏感。对内、对外业务系统之间缺少必要的隔离控制，给人社厅现网的运行带来一定的隐患。因此，本次网络建设中需要在骨干网增加多业务承载的功能。一方面骨干网需要负责对外业务的数据发布，以及内部保密数据的有效承载，同时具备人社厅网络中未来新增视频等业务子网的承载能力，实现灵活可配置；另一方面，骨干网需要能够提供不同业务子网的逻辑隔离能力，确保业务网之间原有的数据隔离不受影响，

15、保障业务安全。总之，优化后的骨干网需要具有一网承载多业务，业务流量可管可控的功能。2.3网络安全建设随着XX省人社厅网络信息化建设的不断发展，数据中心的安全建设对提高人社厅业务连续性、缩短业务服务器故障时间、减轻系统维护复杂度方面的作用日益明显。人社厅在前期的两地三中心建设中，数据中心网络在设计上主要考虑了连通性需求，因此在后续的建设中需要对数据中心的安全防护体系进行整体的规划和建设，保障人社厅的网络信息安全。2.3.1网络基础安全人社厅两地三中心网络以位于太原市的主、备数据中心为核心，在进行网络安全建设时，需要按照人社厅目前各类业务的重要性、应用范围的不同，在数据中心内部不同核心业务和非核心

16、业务之间进行安全区域分割；同时，在数据中心外部访问用户与数据中心内部网络之间划分安全区域。通过在上述不同的安全区域之间划分安全等级，并设置相应的访问策略，以防止XX的用户非法进入高安全等级网络，保护核心数据资产不受来自非核心设备的非法访问、内部数据不受来自外部用户的非法访问。同时，数据中心需要针对网络中的各类边界，如外联单位出口、内外网边界、地市局上联端口等网络边界进行相应的安全分区，保证网络的基础安全。2.3.2数据中心应用安全随着网络技术的飞速发展，应用层威胁的日益流行，以蠕虫、木马、隐藏式病毒、间谍软件、网页篡改、DDoS攻击为代表的应用层攻击层出不穷，传统的防火墙防御只能基于网络层针对

17、IP报文头进行检查和规则匹配，无法识别隐藏在正常报文中或跨越几个报文的应用层攻击；而传统的IDS等旁路应用层安全设备由于不能实时阻断安全威胁的传播，缺乏实用性。因此在考虑网络安全的时候就必须考虑全面完善和深入到应用层的安全防范，在低延迟的前提下、通过覆盖网络L27分析与检测，可以针对系统漏洞、协议弱点、病毒蠕虫、DDoS攻击、网页篡改、间谍软件、恶意攻击、流量异常等威胁进行主动与实时阻断的一体化深层次安全防御和病毒过滤，实现对网络系统全面的安全防护。对于XX省人社厅数据中心来说，建立一套对应用层安全威胁进行防御的机制是十分必要的。防范应用层安全威胁，需要对流经的报文进行深入L7的全面解包，对报

18、文从报文头到报文内容进行全面的分析，与事先定义的攻击特征进行匹配，以发现并阻断数据流里隐藏的攻击报文。同时，需要对协议的交互行为进行分析，发现异常的网络协议报文，实现全面的攻击行为检测。同时，对于检测到的安全威胁，系统需要能够实时的进行响应，第一时间自动进行防御，避免数据中心网络遭受攻击。另外，由于数据中心内部各类资产部署高度集中，一旦有设备感染病毒，极易造成病毒的传播。因此，在数据中心网络内建立相应的病毒防御机制就显得尤为重要。通过在服务器端部署杀毒软件是防止计算机感染病毒的方式之一，但杀毒软件的部署会增加服务器的工作负担，降低设备性能；此外，由于数据中心内各类服务器数量众多，部署和维护防病

19、毒软件的工作量十分巨大。因此，在设计数据中心病毒防御机制时，可采用在数据中心网络核心层部署防病毒设备的方式，对网络流量中的各类病毒数据包进行集中查杀，防止病毒在数据中心网络中的大面积传播，避免损失的扩大化。2.4外网出口安全建设需求目前XX省人社厅在移动主数据中心及厅大楼备数据中心都建设了外网及互联网出口。主数据中心外网主要运行人社厅12333业务服务及厅各类对外网站等服务；备数据中心外网主要承担厅机关大楼的办公上网工作。为了确保人社厅整网的网络安全，提升厅对外信息服务的体验水平，改善厅机关办公上网环境，有必要对外网出口的网络安全进行全面建设。2.4.1出口安全防护政府部门网站作为政府面向所有

20、公众的信息交互平台，常常会成为不法分子的攻击目标，网络黑客往往会通过攻击、窃取、篡改网页等手段进行不良信息的发布、资源窃取等，而信息的窃取、网页的篡改通常都是由最简单的DDOS攻击引起，所以统一出口安全必须具备完善DDOS（SYN flood、ICMP flood、UDP flood、DNS Flood）攻击防护和包过滤功能，能够将来自外网的DDOS攻击流量阻断，不影响正常的网络运行。2.4.2链路优化XX省人社厅目前有联通、移动等共计3条出口，链路总带宽为220M，需要满足外部的信息发布服务及厅机关的办公上网需求，为了提高带宽的利用率、控制带宽投入成本，统一出口安全必须具备流量控制、链路检测

21、、链路调度、链路优化的功能。具体功能要求如下：对于网络中的各种应用流量，可基于用户/用户组、IP/IP组、时间、VLAN和应用协议等多维度进行细粒度流量管理，结合带宽抑制和QoS带宽保障控制技术，实现应用流量精细化管理和控制。基于应用的流量调度，将P2P等占用带宽较大的流量引入低成本的出口链路上；基于源网段进行策略路由，将所指定的源网段流量引入特定的出口链路上；基于访问的目的地址所属的运营商，将访问流量引入对应运营商的出口链路上；链路间调度满足优先级分配，没有特殊设定的，将流量引入电信的出口链路上；链路繁忙时的流量调度，当电信链路达到设定阀值后将流量引入移动的出口链路上，当移动链路也达到设定阀

22、值后将流量引入教育网的出口链路上；2.4.3上网行为审计根据公安部82号令的要求，统一出口安全必须能够实现行为审计的功能，并留存记录3个月以上。这就要求统一出口安全设备可详尽记录用户的上网轨迹，通过灵活的控制手段，实现基于用户“实名制”的上网行为审计、控制。HTTP访问详细记录访问的网址URL、网页标题、网页内容等信息，可进行有效聚合，降低日志存储和查询时间。论坛行为针对论坛发帖行为进行细致记录，可区分查贴、发帖和回帖等行为Email收发记录外发Email正文及附件，即使通过SSL加密亦可审计和记录IM即时通讯 针对即时通讯工具，可记录相关上线/下线、发送等行为在线视频支持对网络视频播放、下载

23、等行为记录搜索引擎可对搜索关键字进行记录、统计和分析其他常用协议可对FTP、Telnet、桌面共享、炒股、网游等常用协议进行记录2.5功能实用、运行可靠、易于扩展升级总体来讲，本次项目的基础网络系统建设需要重点考虑以下几个方面：1)稳定、可靠的网络。XX省人社厅的所有应用都运行在网络上。短时间的业务中断，都可能给人社厅造成很大的损失。因此网络一定要可靠、稳定。2)充足的数据转发能力。应保证主要网络设备的处理能力具备冗余空间，满足业务高峰期需要。3)丰富的扩展能力。当人社厅需要扩大网络规模、提升网络性能、增加新应用时，现有网络不需要做大的改动，可以平滑升级。第三章设计原则3.1现有资源优化利用经

24、过前期的不断建设，XX省人社厅两地三中心的网络格局已初步形成，各数据中心之间、数据中心与各地级市人社局之间、以及人社厅数据中心与人社部、外联单位之间的长途链路以建设完成。本次方案设计主要以合理利用现有链路资源，优化网络结构为主要设计原则。因此本次方案设计在不考虑增加专线链路的基础上，主要针对现有资源进行优化调整与灵活配置。另一方面，XX省人社厅部分现网硬件设备仍在服役期内，网络的优化设计应充分考虑现有设备的利旧，在符合设备功能及性能要求的前提下，应尽量选择使用现有设备进行组网。 3.2骨干网络分层设计现有网络结构中，两地三中心与各地市的接入网络之间层级划分不明确，各地市局的上联数据流与人社厅两

25、地三中心内部数据流相互交织，给网络管理与维护带来较大不便，不利于保证整网运行的可靠性与经济性。本次方案设计对人社厅及各地市局骨干网采用分层设计，将两地三中心互联骨干作为骨干网核心，各地市上联作为骨干网接入，并在路由配置上加以区分，优化骨干网络结构。3.3骨干网业务分担骨干网横向、纵向链路不变的前提下，设计通过业务负载分担技术，满足既不浪费带宽资源又能满足不断业务数据的转发需要。骨干网业务的负荷分担是通过骨干设备间链路负载均衡来实现，如：地市局设有两条链路到省人社厅骨干网，数据流量会通过负载均衡技术分配到两条物理链路上。3.4二级网可靠接入3.4.1实现性能与经济性的平衡在实时业务主要部署于位于

26、太原市的省人社厅主、备数据中心节点的前提下，为了尽可能满足骨干网接入的性能需求，同时减少骨干环网转发环节，各地市局优先接入主数据中心节点。考虑到各地市局到备数据中心的第三平面接入需求，设计通过现有互联网出口组成VPN隧道，实现各地市局到备数据中心的备用链路接入，提高地市局接入链路的整体可用性。3.4.2网络层级结构不改变省人社厅骨干网络目前分为省骨干、地市局接入二级结构。各地市局采用直连主数据中心节点的接入方式，必须杜绝某一地市局通过接入其他地市局设备跨市上联到主数据中心节点的情况，保持网络层级结构不会改变。第四章内网骨干网设计4.1骨干网组网本方案中，设计以XX省人社厅两地三中心网络及11个

27、地市局接入链路组成内网骨干网络。通过对XX人社厅业务分布及运行情况的分析，人社厅内网的主要业务流量都集中在太原同城主备数据中心之间、以及11个地市局与主、备数据中心之间。因此，设计建设一个规划合理、实用可靠的骨干网络，是本次方案的主要内容。4.1.1构造路由骨干网在本次方案中，设计通过在太原主、备数据中心中部署核心路由设备，结合现有100M双链路通道，构造基于等价路由的骨干网络核心层，负责人社厅主、备数据中心之间，以及厅大楼与主数据中心之间的高速转发通道。主、备数据中心的核心交换机作为本地核心，负责本地接入数据的高速转发。11个地市局双上行链路接入主数据中心，通过部署动态路由，实现对主、备数据

28、中心的灵活访问。XX市异地灾备中心与XX市人社局共用链路资源，实现与位于太原的主、备数据中心之间的互通。为避免位于XX移动的主数据中心整体瘫痪，或者地市上联链路全部中断造成的地市人社局业务中断，本方案设计在11个地市局与人社厅大楼备数据中心之间通过互联网建立IPSec/SSL VPN隧道链路，作为内网骨干的补充平面，保证在紧急情况下人社厅业务连续性不受影响。为保证主、备数据中心外网出口带宽在正常情况下的可用性，非故障状态下数据不经过互联网VPN隧道。人社厅内网骨干网整体组网结构如下图所示：4.1.2MPLS VPN组网在本方案设计中，人社厅骨干MPLS VPN网络主要包含太原市同城主、备数据中

29、心之间互联网络及11地市局到主数据中心间互联网络。通过MPLS VPN网络的引入，可为XX省人社厅内网提供以下功能：路由优化考虑到目前各地市人社局主要与人社厅之间有数据交互，各局之间数据交互较少，建议采用MPLS VPN的路由选择性分发功能实现骨干网的路由优化。一般情况下，在路由配置时，可在每个地市局骨干接入路由器上只进行主、备数据中心的动态路由通告，不保存其他平行地市局的路由信息，这样就在很大程度上减少各地市局路由器的路由维护工作量，提高了路由器设备的可用性能。如果地市局局域网之间有存在互访需求的，可在双方路由器上进行单独的路由导入导出配置，实现地市局互访的灵活控制。多业务承载与隔离考虑到人

30、社厅现有的业务系统数量较大，为在骨干网中对各不同类型业务进行区分，本次MPLS VPN网络设计建议对人社厅现有的主要业务数据与其他实时性数据，如VOIP等进行逻辑区分。不同类型业务在MPLS骨干网中分属不同的VPN进行传输，能够确保不同类业务系统、终端之间的有效隔离，从而使得骨干网中的数据传输变得更加清晰，方便了运维人员进行管理。后续人社厅在对现有业务进行进一步细分，划分不同业务的逻辑子网，如就业、社会保障、人事人才、劳动关系四大业务专网划分时，可通过在MPLS骨干网中增加VPN，方便的实现骨干网对专网业务划分的需求。高安全本次方案通过对骨干网接入路由分发的控制，实现了分支节点的访问控制，一定

31、程度上保证了骨干网的安全性。同时，通过路由方式实现节点之间的访问控制，减轻了在数据中心核心防火墙上部署地市局之间的访问策略控制时的工作。MPLS VPN的CE、PE设备分布如下图所示：MPLS及相关路由协议的详细设计请见第五章。4.1.3专网专用出口对于现有专网出口，如人社部专网链路，银行、省电子政务网、公安厅等部门专线等内网出口，本次方案设计采用专网专用出口的方式实现接入。本次方案设计专网出口采用专用路由器，由主、备数据中心核心交换设备上引出，实现专网接入。组网方式如下图所示：4.2负载均衡及网络安全设计提高人社厅各类应用系统的可用性，保障业务的连续性与安全性是XX省人社厅进行两地三中心建设

32、的根本目标。作为异地灾备中心，其主要作用是确保人社厅的核心数据安全，而业务连续性主要需要依靠太原市内的主、备数据中心机制来保证。为了使人社厅各应用系统的访问可以在主、备数据中心之间进行切换，主、备数据中心需要建立相应的负载均衡机制。同时，为保证人社厅数据中心网络的基础安全，数据中心网络与各地市局网络应当属于不同的安全区域，确保只有指定的访问能够进入数据中心网络中，保障人社厅核心数据资产的安全。本方案设计通过在主、备数据中心部署科技XR60一体化路由器设备作为骨干网核心路由器，通过在XR60路由器上部署负载均衡及安全板卡，实现人社厅主、备数据中心的负载均衡与基础安全设计。相对于传统的盒式设备部署方式，本次方案采用的XR60设备本身具备电信级可靠性，能够通过扩展专业的业务板卡，实现功能的累加，能够有效的简化网络架构、