华为集群CSS原理.docx

1、华为集群CSS原理 华为集群交换系统CSS定义集群交换系统CSS（Cluster Switch System）又称为堆叠（下文统一使用堆叠），是指将两台交换机设备组合在一起，虚拟化成一台交换设备，如图所示。 目的通过交换机堆叠，可以实现网络高可靠性和网络大数据量转发，同时简化网络管理。 高可靠性：堆叠系统多台成员交换机之间冗余备份，同时利用跨设备的Eth-Trunk实现跨设备的链路冗余备份。 强大的网络扩展能力：通过组建堆叠，可以在不改变网络拓扑的情况下，轻松地扩展端口数、带宽和处理能力。 简化配置和管理：一方面，用户可以通过任何一台成员交换机登录堆叠系统，对堆叠系统所有成员交换机进行统一配置

2、和管理；另一方面，堆叠形成后，不需要配置复杂的二层破环协议（如MSTP）和三层保护倒换协议（如VRRP），简化了网络配置。华为交换机支持的CSS堆叠类型及型号一、S7700/S9306/9312采用专用堆叠卡进行堆叠：在主控板SRU的子卡槽位插入堆叠卡VSTSA，原有主控板、接口板、机框不用更新，就可以支持堆叠。每块主控板上可以插一块堆叠卡，每块堆叠卡上有4个堆叠口。两台设备都有两块主控板的情况下，通过专用的堆叠电缆将这8组堆叠口按照下图规则连接起来。堆叠口连接规则是固定的，所有堆叠口都要插上堆叠线缆，不能随意连接。二、S9706/9712/12800(无堆叠卡)采用主控板SRU上SIP端口和

3、业务板上的10G端口进行堆叠： 堆叠的连接链路分为两部分：管理链路和转发链路。管理链路负责堆叠系统管理及维护报文的转发；转发链路负责堆叠系统跨设备业务数据报文的转发。如图所示，根据管理链路连接方式的不同，堆叠的连接方式可以分为两种：主控板直连方式和业务板直连方式。 在主控板直连方式中，堆叠的管理链路通过主控板上的SIP（System Inter-Connect Port）端口相连，转发链路通过业务板上的普通业务口相连。 在业务板直连方式中，堆叠的管理链路与转发链路合一，全部通过业务板上的普通业务口相连，无需连接SIP口。说明： V100R001C00版本仅支持主控板直连方式。 在非远距离堆叠情

4、况下，建议用户采用主控板直连方式，使管理链路和转发链路隔离，增加可靠性；在远距离堆叠情况下，连线成本较高，可以使用业务板直连方式。.SIP口连接方式介绍SIP口位于设备的主控板上，每块主控板有两个SIP口，如图所示。SIP口是由GE电接口和GE光接口组成的Combo接口，不需要进行任何配置，可以即插即用。缺省情况下，Combo接口以时间作为优先级，即哪个接口先插入线缆就选择使用哪个接口，如果两个接口同时插入线缆，则优先选择光接口。在每台设备都配备了双主控的情况下，建议SIP口采用如下方式连接：说明： 两台交换机之间至少需要连接一个SIP口。 一台交换机上的SIP口只可以与另一台交换机相连，不可

5、以与本交换机互连。2. 业务口连接方式介绍堆叠端口中的堆叠物理成员端口可以分布在一块或两块业务板上。一个堆叠端口中最多可以加入16个成员端口，以提高链路的带宽和可靠性。按照成员端口的分布，有两种组网形式，如图所示。 1+1组网：堆叠物理成员端口分布在一块LPU上，依靠一块单板上的堆叠链路实现堆叠连接。 2+2组网：堆叠物理成员端口分布在两块LPU上，不同单板上的堆叠链路形成备份。说明：2+2形式组网具有更高的可靠性，建议用户采用2+2组网方式。在2+2组网中，同一LPU上的堆叠物理成员端口只能连接到对端同一LPU上，不能同时连接到对端两个LPU中，错误的连线如图所示。堆叠系统的管理与登录1.

6、角色选举堆叠建立时，成员交换机之间相互发送堆叠竞争报文。通过竞争，一台成为主交换机，负责管理整个堆叠系统；另一台则成为备交换机，作为主交换机的备份交换机。1).运行状态比较，最先完成启动，并进入堆叠运行状态的交换机优先竞争为主交换机。2).堆叠优先级比较，堆叠优先级高的交换机优先竞争为主交换机。3).MAC地址比较，MAC地址小的交换机优先竞争为主交换机。2. 配置同步堆叠具有严格的配置文件同步机制，用来保证堆叠中的多台交换机能够像一台设备一样在网络中工作。 堆叠建立时，成员交换机在启动开始阶段使用各自的配置文件启动。启动完成后，备交换机将会将本设备的堆叠相关配置合并到主交换机的配置文件中，形

7、成堆叠系统的配置文件。 堆叠正常运行后，主交换机作为堆叠系统的管理中枢，负责将用户的配置同步给备交换机，从而使堆叠内各成员交换机的配置随时保持一致。通过即时同步，堆叠中的所有成员交换机均保持相同的配置。即使主交换机出现故障，备交换机仍能够按照相同的配置执行各项功能。3. 成员设备的管理堆叠系统的成员设备按框进行管理，使用堆叠成员ID来标识和管理成员设备。因此，当用户使用命令对设备进行配置和管理时，通常需要加入堆叠成员ID信息，以区分不同的成员设备。例如，在设备未运行堆叠功能时，用户可以使用命令display device slot 1来查看1号槽位单板的信息；当设备运行堆叠功能后，则需要执行命

8、令display device slot 2/1来查看该单板信息，其中2为设备的堆叠成员ID。堆叠中接口的编号也会加入堆叠成员ID的信息。当设备未运行堆叠功能时，接口编号采用三维格式“槽位号/子卡号/端口号”；当设备运行堆叠功能时，接口编号会变成四维格式“堆叠成员ID/槽位号/子卡号/端口号”。例如，交换机没有运行堆叠时，某个接口的编号为10GE1/0/1；当该交换机加入堆叠后，如果堆叠成员ID为2，则该接口的编号将变为10GE2/1/0/1。4. 堆叠系统的登录堆叠建立后，所有的成员设备组成一台虚拟设备存在于网络中，所有成员设备的资源由主交换机统一管理。用户可以通过任意一台成员设备登录堆叠系

9、统，对整个堆叠系统进行管理和维护。无论使用什么方式，通过哪台成员交换机登录到堆叠系统，实际登录的都是主交换机。登录堆叠系统的方式如下： 本地登录：通过任意一台成员设备的Console口登录。 远程登录：通过任意一台成员设备的管理网口或其他三层接口，以Telnet、STelnet等方式远程登录。跨设备链路聚合与流量本地优先转发1. 跨设备链路聚合堆叠支持的跨设备链路聚合（Eth-Trunk）技术，可以将不同成员交换机上的物理以太端口配置成一个聚合端口。这样即使某台成员交换机故障或聚合链路其中一条链路出现故障，也不会导致聚合链路完全失效，从而保证了数据流量的可靠传输，不但解决了堆叠设备单点失效的问

10、题，还极大提高了全网的可靠性。如图所示，流向网络核心的流量均匀分布在聚合链路上，当其中一条链路失效时，跨设备链路聚合技术能够将流量自动重新分布到其余聚合链路以实现链路备份，从而提高网络可靠性。 跨设备链路聚合的链路间备份示意图如图所示，当堆叠系统中一台成员交换机故障时，跨设备链路聚合技术能够将流量重新分布到与另一台成员交换机相连的聚合链路上以实现设备间的备份，从而提高网络可靠性。 跨设备链路聚合的设备间备份示意图2. 流量本地优先转发Eth-Trunk接口会通过HASH算法选择转发出接口，从而进入堆叠的流量很可能会跨设备转发。但是由于堆叠设备间堆叠线缆的带宽有限，跨设备转发流量增加了堆叠设备之

11、间的带宽承载压力，同时也降低了流量转发效率。此时，可以通过流量本地转发功能解决此问题，即从本设备进入的流量，优先从本设备的出接口转发出去；如果本设备的出接口故障，则流量从其它成员交换机的接口转发出去。如图所示，SwitchA与SwitchB组成堆叠，上下行加入到Eth-Trunk。如果没有本地优先转发，则从SwitchA进入的流量，会有一部分经过堆叠线缆，从SwitchB的物理接口转发出去。设备启用本地优先转发之后，从SwitchA进入的流量，优先从到SwitchA的接口转发。说明：流量本地优先转发功能只对已知单播有效，对广播、组播和未知单播均不生效。 堆叠分裂与双主检测1. 堆叠分裂堆叠建立

12、后，主交换机和备交换机之间定时发送心跳报文来维护堆叠系统的状态。堆叠线缆、主控板发生故障时或者其中一台交换机下电、重启都将导致两台交换机之间失去通信，导致堆叠系统分裂为两台独立的交换机，如图1所示。堆叠分裂后，若两台交换机都在正常运行，则其全局配置完全相同，会以相同的IP地址和MAC地址（堆叠系统MAC）与网络中的其他设备交互，这样就导致IP地址和MAC地址冲突，引起整个网络故障，此时可以依靠堆叠的双主检测来避免堆叠分裂后出现双主。2. 双主检测双主检测DAD（Dual-Active Detect）是一种检测和处理堆叠分裂的协议，可以实现堆叠分裂的检测、冲突处理和故障恢复，降低堆叠分裂对业务的

13、影响。DAD检测方式有以下几种： 堆叠端口检测方式堆叠端口检测方式是指通过堆叠物理成员端口之间的链路进行双主检测，如图所示。该方式直接使用堆叠连接链路进行检测，不需要占用额外的接口。说明：只有当堆叠连接方式为主控板直连时，才可以使用堆叠端口检测方式。 直连检测方式直连检测方式是指堆叠成员交换机间通过业务口连接的专用链路进行双主检测，如图所示。 代理检测方式代理检测方式是指通过堆叠与代理设备相连的跨设备Eth-Trunk链路进行双主检测，如图所示。在这种检测方式中，代理设备需要启动DAD代理功能。与直连检测方式相比，代理检测方式无需占用额外的接口，Eth-Trunk接口可以同时运行DAD代理检测

14、和其它业务。说明：为了使DAD报文能在Eth-Trunk成员链路间相互转发，代理设备必须为支持DAD代理功能的交换机。目前华为CloudEngine系列交换机都支持DAD代理功能；S系列交换机自V200R002版本都支持DAD代理功能。 代理设备可以是一台独立运行的交换机，也可以是一个堆叠系统，即两个堆叠系统之间互为Relay代理。3. DAD冲突处理与故障恢复机制配置双主检测后，主交换机在检测链路上发送DAD竞争报文。堆叠分裂后，分裂成多部分的堆叠系统互发竞争报文，并将接收到的竞争报文信息与本部分竞争信息做比较，如果本部分竞争胜出，则不做处理，保持Active状态（正常工作状态），正常转发业

15、务报文；如果本部分竞争失败，则关闭除保留端口外的所有业务端口，转入Recovery状态（业务禁用状态），停止转发业务报文。DAD竞争规则如下（依次从第一条开始判断，直至找到最优的交换机才停止比较）：1. 堆叠优先级比较，堆叠优先级高的交换机优先竞争胜出。2. 设备MAC地址比较，MAC地址小的交换机优先竞争胜出。堆叠链路故障修复后，分裂成多部分的堆叠系统进行合并。处于Recovery状态的交换机将重新启动，同时将被关闭的业务端口恢复正常，整个堆叠系统恢复。如果在链路故障修复前，承载业务的Active状态的交换机系统也出现了故障。此时，可以先将Active状态的交换机从网络中移除，再通过命令行启

16、用Recovery状态的交换机，接替原来的业务，然后再修复原Active状态交换机的故障及链路故障。故障修复后，重新合并堆叠系统。CSS堆叠的配置一、S9306/S9312系列交换机集群配置（S9303 不支持CSS）1. 配置SwitchA为主交换机，并使能CSS功能SwitchA set css id 1 设置SWA的机框ID号为1(默认为1，不用配置) SwitchA set css priority 255配置SwitchA的堆叠机框优先级为255Info: CSS config has been changed, need reboot to take effect.SwitchAc

17、ss enable Reboot needed to change CSS config. Are you sure this operation and reboot now? Y/Ny 2. 配置SwitchB的堆叠机框ID为2，并使能CSS功能。进入到另一台9312上，把另一台交换的ID设置为2 SwitchBset css id 2 设置SWB的机框ID号为2SwitchA set css priority 1堆叠机框优先级为1，不用配置Warning: Modifying the CSS frame ID will cause interface configuration loss

18、, are you sure this operation? Y/NyInfo: CSS config has been changed, need reboot to take effect(CSS should be enabled).SwitchBcss enableSwitchBreboot Info: The system is now comparing the configuration, please wait.System will reboot! Continue?Y/N:y检查配置后的结果# 查询堆叠机框ID为1的交换机的堆叠状态 dis css status frame

19、 1Property Item Property ValueFrame ID 1Priority 255Enable switch OnCSS master force OffCSS status master# 查询堆叠机框ID为2的交换机的堆叠状态 dis css status frame 2Property Item Property ValueFrame ID 2Priority 1Enable switch OnCSS master force OffCSS status backup查看集群板卡是否应用成功：正常情况是2台集群交换机成为一机，而在端口的编号上来说是，每个端口前都加上

20、了机框的ID号，如下所示:disp cur#!Software Version V100R003C00SPC200 sysname Quidway# vlan batch 1 18interface Vlanif18 ip address 192.168.18.1 255.255.255.0#interface Ethernet0/0/0/0#interface GigabitEthernet1/1/0/0#interface GigabitEthernet1/1/0/1#interface GigabitEthernet1/1/0/2#interface GigabitEthernet1/1

21、/0/3#interface GigabitEthernet1/1/0/4#interface GigabitEthernet2/1/0/0 #interface GigabitEthernet2/1/0/1#interface GigabitEthernet2/1/0/2#interface GigabitEthernet2/1/0/3#interface GigabitEthernet2/1/0/4.#interface XGigabitEthernet1/4/0/0#interface XGigabitEthernet1/4/0/1#interface XGigabitEthernet1

22、/4/0/2#interface XGigabitEthernet1/4/0/3#interface XGigabitEthernet2/4/0/0#interface XGigabitEthernet2/4/0/1#interface XGigabitEthernet2/4/0/2#interface XGigabitEthernet2/4/0/3. user-interface con 0user-interface vty 0 4 authentication-mode aaaReturn二、S12800系列CSS堆叠配置组网需求在一个新建的数据中心网络中，要求核心层具有较高的可靠性，并

23、且希望网络结构简单，易于配置和管理。如图所示，根据用户需求，核心层SwitchA和SwitchB两台交换机采取堆叠组网，接口10GE1/0/110GE1/0/2、10GE2/0/110GE2/0/2加入堆叠端口。操作步骤1. 连接堆叠线缆连接SwitchA和SwitchB间的堆叠线缆。如果选择的堆叠连接方式为主控板直连方式，则需要连接主控板上的SIP口和业务板上的堆叠物理成员端口；如果为业务板直连方式，则无需连接SIP口。2. 配置SwitchA、SwitchB的堆叠属性# 配置SwithA的堆叠成员ID为1，优先级为150，Domain ID为10，堆叠连接方式为主控板直连方式。Switch

24、A stackSwitchA-stack stack member 1SwitchA-stack stack priority 150SwitchA-stack stack domain 10SwitchA-stack stack link-type mainboard-directSwitchA-stack quitSwitchA commit# 配置SwitchB的堆叠成员ID为2，优先级为100，Domain ID为10，堆叠连接方式为主控板直连方式。SwitchB stackSwitchB-stack stack member 2SwitchB-stack stack priority

25、 100SwitchB-stack stack domain 10SwitchB-stack stack link-type mainboard-directSwitchB-stack quitSwitchB commit说明：如果用户选择的是业务板直连方式，请执行命令stack link-type linecard-direct。3. 配置堆叠端口# 建立group1端口组，并将接口关闭，为创建堆叠口做准备。SwitchA port-group group1SwitchA-port-group-group1 group-member 10ge 1/0/1 to 10ge 1/0/2Switc

26、hA-port-group-group1 group-member 10ge 2/0/1 to 10ge 2/0/2SwitchA-port-group-group1 shutdownSwitchA-port-group-group1 quit# 在SwitchA上创建堆叠端口，并将端口10GE1/0/110GE1/0/2、10GE2/0/110GE2/0/2加入堆叠端口。SwitchA commitSwitchA interface stack-port 1SwitchA-Stack-Port1 port member-group interface 10ge 1/0/1 to 1/0/2S

27、witchA-Stack-Port1 port member-group interface 10ge 2/0/1 to 2/0/2SwitchA-Stack-Port1 quitSwitchA commitSwitchA port-group group1SwitchA-port-group-group1 undo shutdownSwitchA-port-group-group1 quitSwitchA commit# 在SwitchB上创建堆叠端口，并将端口10GE1/0/110GE1/0/2、10GE2/0/110GE2/0/2加入堆叠端口。SwitchB的配置与SwitchA类似，配

28、置过程略。4. 检查堆叠配置信息# 上述配置完成后，建议用户执行命令display stack configuration查看以上配置信息是否与预期的一致。以查看SwitchA为例。 display stack configurationAttribute configuration:- MemberID Domain Priority Mode EnableOper(Conf) Oper(Conf) Oper(Conf) Oper(Conf) Oper-1(1) -(10) 100(150) MB(MB) Disable-Stack-Port configuration:-Stack-Por

29、t Member Ports-Stack-Port1 10GE1/0/1 10GE1/0/2 10GE2/0/1 10GE2/0/2-5. 保存配置并使能设备堆叠功能# 保存SwitchA的配置并使能堆叠功能。 saveWarning: The current configuration will be written to the device. Continue? Y/N: y system-viewSwitchA stackSwitchA-stack stack enableWarning: Make sure that one or more dual-active detection methods are configured once the conversion is complete and the device enters