银行核心网络系统结构优化调整项目实施计划方案.docx

银行核心网络系统结构优化调整项目实施计划方案.docx

《银行核心网络系统结构优化调整项目实施计划方案.docx》由会员分享，可在线阅读，更多相关《银行核心网络系统结构优化调整项目实施计划方案.docx（48页珍藏版）》请在冰豆网上搜索。

银行核心网络系统结构优化调整项目实施计划方案

银行核心网络系统高可用性调整

（安全方案实施之前）

实施方案

第1章方案概述5

1.1.网交换机可用性调整5

1.1.1.服务器部署5

1.1.2.服务器IP地址调整7

1.1.3.综合布线8

1.1.4.网交换机扩容8

1.1.5.服务器调整详细设计9

1.2.分行SNA网络部署13

1.3.部署防火墙之前高可用性调整方案14

1.3.1.结构描述14

1.3.2.方案调整要点15

1.3.3.路由调整要点15

1.3.4.剩余风险分析18

第2章实施规划18

2.1.Vlan规划表18

2.2.服务器连接关系规划20

2.3.网络设备连接规划21

2.3.1.网交换机与其他设备的连接关系及地址规划21

2.3.2.骨干交换机与其他设备的连接关系及地址规划22

2.3.3.中小规模分行上联路由器与其他设备的连接关系及地址规划22

2.3.4.大规模分行SNASW路由器与其他设备的连接关系及地址规划22

第3章方案实施步骤23

3.1.网服务器部分服务器物理连接布局调整23

3.1.1.实施条件23

3.1.2.实施目标23

3.1.3.实施前准备23

3.1.4.实施步骤23

3.1.5.验证与回退24

3.2.网服务器部分服务器ip地址调整阶段24

3.2.1.实施条件24

3.2.2.实施目标24

3.2.3.实施前准备24

3.2.4.实施步骤24

3.2.5.验证与回退27

3.2.6.垃圾清理27

3.3.网络结构调整阶段28

3.3.1.实施条件28

3.3.2.实施目标28

3.3.3.实施前准备28

3.3.4.实施步骤29

3.3.5.验证与回退34

3.4.上联路由器LLC2、IP端口调整34

3.4.1.实施条件34

3.4.2.实施目标34

3.4.3.实施前准备34

3.4.4.实施步骤35

3.4.5.验证与回退38

第4章方案变更安排38

第1章方案概述

1.1.网交换机可用性调整

1.1.1.服务器部署

（1）服务器分类模型

●其中重要业务服务器参照生产管理办法中引起3级问题的部属在分行的应用服务器业务划分。

●有备份服务器根据应用系统是否为热备份服务器进行区分，不包括冷备服务器。

分为使用操作系统级HA技术热备份（目前不建议使用）服务器和应用级热备份服务器（如通用网关/cite前置），对于应用级热备份服务器，采用独立三层备份。

●其中对于单点服务器目前使用单接入，（可用的技术有NICteamming等，目前不建议使用）

（2）重要服务器部属原则

制定网服务器部署原则的指导思想是尽可能减少可能影响分行全辖业务的故障点和降低网络设备之间的关联度，一级分行因1台网交换机工作异常（包括端口、板卡、整机down和处于“半死不活”异常状态）而不会导致分行全辖重要业务中断。

服务器部署的总体原则如下：

●原则一：

对于具有IP地址热备能力的服务器，必须将服务器均匀分为两组分别接入网交换机A、B。

两组各起一个VLAN，假设分别为VLANv1和v2，则VLANv1的VRRP/HSRP必须活在A上，v2的VRRP/HSRP活在B上。

有两种情况需要说明：

a）多访问多：

这种情况下，多台有IP地址热备能力的服务器集S1访问多台同样具有IP地址热备能力的服务器集S2，把S1和S2各自通过VLAN分割均匀分组，如S1分割为S11和S12，S2分割为S21和S22。

在网交换机A上部署S11、S21，S11和S21的HSRP活在A上（以下简称一类VLAN）；B上部署S12、S22，S12和S22的HSRP活在B上（以下简称二类VLAN）；

b）多访问一或一访问多：

如服务器S1和S2都需要访问服务器S3，由于存在S3的单点，则把S1、S2、S3均部署于同一台交换机（原因见原则二），不需要把S1和S2分组，但S1和S2必须接入在交换机的不同板卡。

●原则二：

有访问关系的服务器必须接入同一台网交换机，HSRP也必须活在同一台交换机上。

有一种情况需要说明：

如果一个VLAN的两台功能不同的服务器S11、S21分别需要访问交换机A、B上的服务器S12、S22，则按照原则二的要求S11接入A，S21接入B。

S11的HSRP活在A上，S21的HSRP活在B上。

但S11、S21属于同一VLAN，不能满足HSRP分别活在两台交换机的要求。

这种情况下必须先对S12和S22进行VLAN拆分。

●原则三：

有备份服务器（包括HA备份、一对一冷备）部署时主用服务器根据所在VLAN的布局要求接入在一台交换机上，备份服务器接入到另外一台交换机，HSRP活在主用服务器接入的交换机上。

对于HA备份服务器，这种部署方式无法保证在出现类似故障模式下的网络传输，但可以保证服务器接入的板卡故障或者交换机整机故障情况下的正常切换。

考虑到交换机板卡或者整机故障的概率远大于“半死不活”的概率，选择以上接入方法。

对于1对1冷备服务器，备份服务器也需要进行网络接入，可以接入在另外一台交换机的相同端口或不同端口。

如果接入在相同端口（主要是可以节省端口），主用服务器的网络接入出现故障时拔出另一台交换机相同端口的备份服务器网线，插入主用服务器网线，对于备份服务器的网线标签可以通过不同的颜色和主用服务器进行区分。

主用服务器出现故障时直接启用备份服务器的端口即可。

●原则四：

对于没有备份的单点服务器，可根据网交换机连接的服务器的数量在两台交换机上均衡部署，以后可以考虑使用NICTeaming技术实现到两台交换机的接入。

●原则五：

对于没有备份的单点服务器及非重要服务器，仍然连接到2台交换机上的VLAN（以下简称第三类VLAN），保证hsrp活在网交换机A上。

●原则六：

在满足原则一至四的前提下分行根据具体情况尽量把服务器调整到两台交换机上，可以通过调整为第一类或第二类VLAN，或者通过调整第三类VLAN部的服务器分布达到两台交换机负载均衡。

1.1.2.服务器IP地址调整

●现有的ip地址分配不做原则性的改动，将现有的具备备份功能的重要服务器的VLAN拆分成为2个VLAN，新使用一个c类地址，每个VLAN使用24位的掩码。

对于无备份的服务器VLAN、ip地址和服务器布局和VLAN仍然保留目前的布局，使用24位的掩码。

●对于有备份的重要服务器VLAN，两台交换机启动三层VLAN，配置VRRP（HSRP），采用虚地址做服务器defaultgateway，并将VRRP（HSRP）存活在服务器布局的一侧；

1.1.3.综合布线

●由于保留了trunk进行2层VLAN跨交换机的设计，仍然可以使用目前《一级分行辖网络结构优化调整项目标准实施方案v1.4》的基础布线资源。

●根据服务器连接交换机的布局调整进行相应的跳线调整。

1.1.4.网交换机扩容

对于超过200台服务器的行，可选用2台CISCO4507及以上的交换机、华为6506R以上的交换机进行扩展（图中的C,D交换机），原则上要求网服务器接入交换机配备双引擎。

为了避免交换机扩展引起大量的ip地址调整，网交换机之间使用二层Trunk进行连接。

●交换机扩展采用二层无环连接方式，扩展交换机C/D分别单连接（可以2条捆绑为channel使用）交换机A/B；

●同时在交换机C/D上部署一条冷备份链路分别连接交换机B/A，实施时做好软件连接配置，华为交换机在交换机A/B上手工软件shutdown连接交换机D/C的端口。

CISCO交换机在C/D上配置backupinterface自动进行链路切换。

●重要服务器相互备份VLAN必须部署在交换机A和交换机B上，跨交换机VLAN部署在交换机C和D上，也可以部署在交换机A和B上

●在这种布局方式下，serverfarm交换机由2台扩展为4台时路由不需要调整。

尽量将重要备份服务器在A和B上部署，减少设备故障对重要服务器的影响。

1.1.5.服务器调整详细设计

对于有备份的重要服务器VLAN，两台交换机启动三层VLAN，配置HSRP/VRRP，采用虚地址做服务器的defaultgateway，并将HSRP/VRRP存活在服务器布局的一侧。

服务器调整容包括接入调整和IP地址调整，具体的IP地址调整的原则是：

●现有的IP地址分配不做原则性的改动，将需要分拆的关键业务服务器的VLAN拆分成为2个VLAN，新的VLANID为原有VLANID＋40，vlanIP地址为目前c类地址＋128（目前c类地址<128）或c类地址－128（目前c类地址>128），每个VLAN仍然使用24位的掩码。

对于其它服务器的VLAN，IP地址和服务器布局仍然保持现状，使用24位的掩码。

●VLAN分拆后的IP地址和网关分配如下：

假设分拆前的IP地址网段为A.B.C.0/24，分拆为2个网段：

✧A.B.C（C<128）.0/24，HSRP/VRRP网关的实地址为A.B.C.251（交换机A）和A.B.C.252（交换机B）,虚地址为A.B.C.254，设置交换机A的VRRP/HSRP为高优先级。

✧A.B.C（C>128）.0/24，HSRP/VRRP网关的实地址为A.B.C.251（交换机A）和A.B.C.252（交换机B）,虚地址为A.B.C.254，设置交换机B的VRRP/HSRP为高优先级。

根据各分行反馈信息，目前分行以下重要业务服务器需进行调整：

●柜面业务：

B类网关、CITE前置、CTS前置等服务器

●自助业务：

A类网关、综合前置、密押、金卡前置等服务器

●中间业务：

中间业务平台通讯前置、中间业务平台、A类（或B类）网关等服务器

●银行：

G700、语音网关、语音关守、IVR、95588服务器等相关服务器

●国际结算业务：

国际结算应用服务器、国际结算数据库服务器。

●生产用户接入：

操作员机器

各一级分行对以上业务必须进行相关服务器部署调整，分行认为重要但没有包括在的业务也可以进行调整。

根据1.1.1的服务器调整原则，对分行的服务器调整规划如下：

1、柜面业务：

●对于CITE前置上收（或部分上收）的分行，假设上收的CITE前置为m台，B类网关有n台，则分为两组，n/2台B类网关和m/2台CITE前置（组一）接入网交换机A，另n/2台B类网关和m/2台CITE前置（组二）接入交换机B；如果出现奇数台数不能被2整除的情况，考虑到网关的负载均衡，两台交换机上分布的CITE前置和B类网关数目应大致成比例，如有6台CITE前置、3台B类网关，可以考虑4台CITE前置和2台B类网关接入交换机A，另2台CITE前置和1台B类网关接入交换机B。

具体分组时分行需要应用人员配合在考虑服务器负载的情况下分组，尽可能做到服务器的压力负载均衡。

●CITE前置和B类网关所在的VLAN一分为二，原有VLAN300的IP地址网段调整为X.0.1.0/24，新起VLAN340，IP地址网段为X.0.129.0/24。

服务器的IP地址分别调整到相应网段，设置HSRP/VRRP网关。

HSRP/VRRP网关分别活在接入的交换机上。

●投产新终端平台的分行，由于网点图形终端需要访问CITE前置和CTS前置、CITE前置需要访问CTS前置、CTS前置和CITE前置都需要访问B类网关，因此对CTS前置也需要均匀分组。

✧CTS前置能够访问多台B类网关，CTS前置可以访问多台B类网关，因此应用人员可修改CTS前置配置指向多台B类网关，可通过设置权重优先指向本组网关。

对于CITE前置访问B类网关，由于有的分行B类网关数目较少，如果每组网关只有1台，易产生单点。

因此对于CITE前置访问B类网关也要求通过修改CITE前置配置设置权重优先指向本组网关，同时以较低的优先权访问另一组网关。

✧CITE前置只能访问一台CTS前置，对CITE前置需要进行和CTS类似的配置。

✧CTS前置分组后分别放入VLAN300和VLAN340网段。

●目前分行CITE前置对B类网关的访问采用的是根据权重，从可选网关中随机选择一台进行连接，即每次建立连接时都是以一定的概率连接到某一台B类网关。

为此，需要应用人员修改CITE前置机配置，使得每台CITE前置优选本组的B类网关。

二级分行的CITE前置仍然可以根据权重选择B类网关，不需要修改配置。

●一个地市行至少要连接到不同网段的两个CITE和两个CTS前置机。

●有的分行B类网关做了负载均衡，对外提供一个虚地址，需要对其一分为二，每组接入不同交换机，对外提供两个网段的虚地址。

2、自助业务：

●综合前置主服务器、A类网关、综合前置密押服务器、中间业务平台、自助终端前置和其它与综合前置有互访关系的服务器接入同一台交换机且HSRP/VRRP都活在该接入交换机上。

●综合前置的备份服务器接入另外一台交换机上，HSRP/VRRP活在主用服务器接入的交换机上，不需要进行VLAN拆分。

●由于一级分行所有的自动柜员机都需要访问综合前置，自动柜员机的NAC地址都需要厂家进行烧制在EPROM上，如果修改综合前置地址则牵涉到的地址修改围较大，因此，此次不修改综合前置地址。

●假设综合前置部署于交换机A，则综合前置访问的A类网关IP地址修改为划分后的VLAN300的IP地址段X.0.1.0/24；如果综合前置部署于交换机B上，则A类网关地址修改为X.0.129.0/24。

3、中间业务平台：

●目前分行对MAPS中间业务平台访问网关没有统一规划，有的分行访问A类网关，有的分行访问B类网关。

由于A类网关较少，建议分行的应用人员修改MAPS中间业务平台的访问地址，指向B类网关，便于负载均衡。

●MAPS中间业务平台均匀分组，VLAN304拆分出VLAN344,一台部在VLAN304，网段为X.0.17.0/24；另一台部在VLAN344，网段为X.0.145.0/24。

两组服务器分别接入在各自VLAN的HSRP/VRRPactive的交换机上。

●通过应用技术人员修改中间业务平台访问的B类网关地址，指向接入在同一台交换机上的B类网关地址。

●如果分行的中间业务还有其它单点服务器，比如数据库服务器，则不需要进行VLAN拆分，中间业务平台和数据库服务器接入同一台交换机，只访问本台交换机接入的网关。

4、银行业务：

●银行托管分行的服务器包括G700、二级分行语音网关，相关服务器分组，VLAN进行拆分为2个独立的vlan。

●银行独立分行的相关服务器包括：

CTI服务器、IVR、省际语音网关、二级分行语音网关、银行A类网关。

由于存在A类网关的单点，所有服务器调整到银行A类网关接入的交换机，VLAN的HSRP/VRRP活在该交换机行上。

5、国际结算业务：

●国际结算服务器（包括应用服务器和数据库服务器）做HA的分行分别接入两台交换机。

●国际结算业务的应用服务器和数据库服务器分开的分行，由于数据库服务器存在单点，所有的服务器接入同一台交换机，相应VLAN的HSRP/VRRP也必须活在该交换机上。

●国际结算应用服务器只能指向一台通用网关，存在单点。

6、生产用户接入：

●生产用户所在VLAN按照上述原则进行拆分，生产用户均匀分组，放入相应网段。

这样分组的好处一是可以提高生产用户的可用性，二是可以在交换机故障时便于利用生产用户机器排查故障。

7、网点接入要求

网点接入互相备份的服务器（如cite前置），要以网点为单位进行访问配置，不要以二级分行为单位进行，避免造成整个二级分行的故障。

1.2.分行SNA网络部署

●通用网关SNALLC2的部署

✧网交换机A必须连接snasw1，网交换机B必须连接snasw2

✧2台交换机上的LLC2端口通过trunk划分到同一VLAN。

✧连接在网交换机A上的通用网关的目标mac指向snasw1，连接在网交换机B上的通用网关的目标mac指向snasw2。

✧通用网关ip端口和llc2端口必须连接在同一台交换机上。

●上联路由器LLC2、IP端口调整

✧目前各行上联（snasw）路由器连接骨干交换机的端口使用同一板卡，这种情况下，这块板卡的故障会导致上联路由器脱网，会造成连接在本路由器上的通用网关无法连通数据中心主机。

snasw根据〈〈一级分行辖网络结构可用性调整项目标准实施方案V1.4>>的网间网地址规划，分行的65RT0A-C1连接上联路由器1的LLC2端口F0/0/1（中小规模行），分行的65RT0A-C1连接SNASW路由器1的LLC2端口F0/0/0（大规模行）；分行的65RT0B-C1连接上联路由器2的LLC2端口F0/0/1（中小规模行），分行的65RT0B-C1连接SNASW路由器2的LLC2端口F0/0/0（大规模行）。

✧各分行的45RT0A-A1连上连路由器1和上连路由器2的F0/0/0端口,45RT0B-A1连上连路由器1和上连路由器2的F0/1/0端口。

对上连路由器１而言，其连接45RT0A-A1和45RT0B-A1的两个端口F0/0/0和F0/1/0位于不同的板卡上，这种设计保证了上连路由器对下的两条链路不会因为一块板卡的故障而导致两条对下链路的中断，有效的利用了方案中对链路冗余的设计。

（对上连路由器2同理）。

✧但在一级分行辖网络结构优化调整项目的具体实施过程中，发现大多数分行并未严格按照方案执行，大多数分行将45RT0A-A1和45RT0B-A1连接上连路由器1或上连路由器2的端口部署在了同一块板卡上（目前大部分分行445RT0A-A1和45RT0B-A1分别连接上连（snasw）路由器1的F0/0/0和F0/0/1端口）。

这种部署方法增大了安全隐患，为提高一级骨干网络的高可用性，各一级分行应严格按照标准方案实施对上述问题进行整改。

●大规模分行snasw路由器和骨干交换机的路径调整

大规模分行snasw路由器的骨干交换机之间采用的动态等价路由，数据流出入不一致，任何一台骨干交换机的不稳定都有可能影响sna数据，造成全辖故障，需要调整为不等价路由保证2台snasw路由器来回路径一致并各住走一台骨干交换机。

1.3.部署防火墙之前高可用性调整方案

1.3.1.结构描述

骨干交换机和网交换机采口字型连接方式，保持两台网交换机之间的二层trunk连接，对于应用上冗余热备份的重要服务器部署到两台网交换机上，并使用单独的三层vlan地址，确保正常情况下重要服务器的出入数据流在网交换机和骨干交换机之间保持一致，但对于其他服务器仍然保持现状。

骨干交换机和网交换机之间采用口字型连接方式时的结构如下：

经过对网交换机的优化调整，网交换机上的vlan被分成了三类：

（1）第一类vlan：

该vlan中的所有服务器都必须物理连接到网交换机A上，该vlan的vrrp或hsrp主活在网交换机A上

（2）第二类vlan：

该vlan中的所有服务器都必须物理连接到网交换机B上，该vlan的vrrp或hsrp主活在网交换机B上

（3）第三类vlan：

该vlan中的服务器可以物理均衡连接到两台网交换机上，该vlan的vrrp或hsrp主活在网交换机A上

如图所示：

服务器a属于第一类vlan，物理连接到网交换机A上；服务器b属于第二类vlan，物理连接到网交换机B上；服务器c1属于第三类vlan，物理连接到网交换机A上；服务器c2属于第三类vlan，物理连接到网交换机B上。

1.3.2.方案调整要点

（1）骨干交换机和网交换机之间采用口字型连接方式：

骨干交换机A连接网交换机A的端口属于vlan286，该vlan只建立在骨干交换机A上；骨干交换机B连接网交换机B的端口属于vlan289，该vlan只建立在骨干交换机B上。

网交换机A连接骨干交换机A的端口属于vlan380，该vlan只建立在网交换机A上；网交换机B连接骨干交换机B的端口属于vlan383，该vlan只建立在网交换机B上。

（2）两台骨干交换机之间保留trunk连接。

（3）两台网交换机之间保留trunk连接。

（4）两台骨干交换机之间通过vlan270建立ospfneighbor。

（5）两台网交换机之间通过vlan389建立ospfneighbor。

1.3.3.路由调整要点

通过调整某些vlan的cost值以及路由重分发时的参数来影响路由的选路，保证正常情况下第一类vlan和第三类vlan的数据流通过左边的设备传输，第二类vlan的数据流通过右边的设备传输，而且来回路径一致，以避免当同一层双机热备中的一台出现“半死不活”的状态时对另外一台造成影响。

（1）将思科交换机上ospf65XXX中的auto-costreference-bandwidth调整为10000M，以保证整个ospf域的cost计算的一致性和准确性，这样无论是思科交换机还是华为交换机，所有三层vlan的ospf默认cost都为10。

（2）总行、数据中心及其他分行的路由调整

●在骨干交换机A上向ospf65XXX中分发eigrp65000中的83和84汇总路由（cost值为20），向ospf65XXX中分发Extranet网、总行和其他分行的静态路由（cost值为20）；在骨干交换机B上向ospf65XXX中分发eigrp65000中的83和84汇总路由（cost值为25），向ospf65XXX中分发Extranet网、总行和其他分行的静态路由（cost值为25）。

正常情况下，一级分行除第二类vlan外（第一、三类vlan及二级分行）访问总行、数据中心及其他分行的数据包都会到达骨干交换机A，最终访问数据中心（）和分行的数据包都会发送给75WA02-A1，访问总行、数据中心（）和其他分行的数据包都会发送给75WA01-A1；第二类vlan的服务器访问总行、数据中心及其他分行的数据包都会到达骨干交换机B，最终访问数据中心（）和分行的数据包都会发送给75WA02-A1，访问总行、数据中心（）和其他分行的数据包都会发送给75WA01-A1。

（3）本一级分行网路由的调整

●在骨干交换机A上使用静态null0路由汇总本行的A类路由，并分发到eigrp65000中（delay为1）；在骨干交换机B上使用静态null0路由汇总本行的A类路由，并分发到eigrp65000中（delay为20），同时在骨干交换机B上向eigrp65000中分发ospf65XXX中第二类vlan的明细路由（delay为20）。

正常情况下，总行、数据中心和其他分行访问一级分行网第一类vlan数据包都会到达骨干交换机A上，最终到达网交换机A上的第一类vlan服务器；总行、数据中心和其他分行访问一级分行网第二类vlan服务器的数据包都会到达骨干交换机B，最终到达网交换机B上的第二类vlan服务器；总行、数据中心和其他分行访问访问一级分行网第三类vlan服务器的数据包都会到达骨干交换机A，或者最终到达网交换机A上的第三类vlan服务器，或者到达网交换机A后，经过trunk到达网交换机B上的第三类vlan服务器。

●在网交换机A上使用静态null0路由汇总网交换机的路由，并分发到ospf65XXX中（cost值为20）；在网交换机B上使用静态null0路由汇总网交换机的路由，并分发到ospf65XXX中（cost值为25），同时在网交换机B上将第二类vlan加入ospf65XXX的area0中。

正常情况下，二级分行和网点访问一级分行网第一类vlan服务器的数据包都会到达骨干交换机A，最终到达网交换机A上的第一类vlan服务器；二级分行和网点访问一级分行网第二类vlan服务