博科VDX数据中心交换机常用配置手册.docx

1、博科VDX数据中心交换机常用配置手册博科VDX数据中心交换机产品常用配置手册Brocade Communications Systems2016年8月8日星期一文档信息标题博科VDX数据中心交换机产品常用配置手册创建日期2016年8月8日星期一打印日期所有者保密级别作者Xiaofang Wang 修订记录日期描述版本作者文档审核/审批记录日期审核人签名签名日期第一章 博科VDX数据中心交换机介绍一.1.VDX系列数据中心交换机定位与简介博科VDX系列交换机是定位于企业数据中心网络，VDX支持集群化的部署和IP矩阵模式部署，VDX系列数据中心交换机包括三个系列，分别是：VDX6740主要用于接入

2、-TOR，VDX6940用于矩阵核心SPINE、VDX8770用于矩阵核心SPINE。VD6940和VDX8770也可以作为高密度的万兆接入，只有VDX8770是机箱式，VDX8770有两款，分布式VDX8770-4槽位、VDX8770-8槽位，具备10G40G100G接口板卡。一.2.VDX8770系列交换机介绍 VDX8770是目前VDX系列交换机里面最高端的交换机，采用模块化设计、具备独立的引擎、交换矩阵、接口板卡、电源、风扇模块，提供并支持1G、10G、40G、100G板卡，如下图：下图是VDX8770-4的前面板图，清晰的标记了每一个槽位的用途。下图是VDX8770-8的前面板图，清

3、晰的标记了每一个槽位的用途。一.3.VDX6940系列交换机介绍VDX6940系列交换机具备两款交换机，分别是：6940-36Q(支持36个固化的40G QSFP端口)，还有一款是VDX6940-144S(支持144个10G SFP+端口)。下图为VDX6940-36Q交换机。下图为VDX6940-144S交换机。一.4.VDX6740系列交换机介绍 VDX6740系列交换机有多款型号，例如千兆电口和千兆/万兆自适应的光口，万兆电口等，主要面向用户销售的型号有VDX6740-24口万兆光口、VDX6740-48口万兆光口、VDX6740-56T口千兆电口，VDX6740交换机是比较灵活的一块T

4、OR接入层交换机，提供灵活的千兆、万兆接入能力以外还可以支持FC/FCOE的设备直接连接到VDX交换机，另外一个灵活性体现在端口扩展性上，比如客户第一期购买的是24口硬件交换机，实际上该交换机已经具备48个端口，未来客户可以通过许可的方式激活另外24个端口。VDX6740设备配置4个40G互联接口，默认情况下需要许可去激活，否则没有办法使用。下图标记蓝色框的32个物理端口可以支持FC互联主机或者存储，整机任意一个接口都支持FCOE协议。一.5.操作手册拓扑图介绍下图将作为整个操作手册的配置依据，下面配置的所有示例都是按照这个拓扑图完成的，该拓扑图采用两台VDX6740交换机作为汇聚层，通过万兆

5、链路互联形成一个矩阵，上行通过万兆连接到ICX7750交换机运行三层、下行通过千兆链路与ICX6430-C12互联运行二层并实施端口聚合。同时还需要在ICX7750与VDX之间运行OSPF、ICX6430-C12与VDX之间运行VRRP-E协议。所有的设备均配置独立的带外管理接口。第二章 博科VDX系列交换机基本操作配置二.1.CLI命令行层次介绍和缺省用户名密码VDX系列交换机系统默认出厂缺省用户密码是:admin/passwordVDX系列交换机运行NOS(Network OS),NOS主要常用的包括三个层次，如下：sw0# 该层次主要提供给用户show查看各种状态信息以及设备的配置；sw

6、0# configure terminal sw0(config)#该层次提供基础性的配置，并且进入其他任何一个配置层次都需要先进入到config#。在config#模式我们可以配置包括二层VLAN、用户名密码、OPENFLOW、设备管理等常用服务。sw0(config)# rbridge-id X 该层次提供三层配置(三层VLAN子接口、路由协议、VRRP等)。sw0(config)# rbridge-id 1 sw0(config-rbridge-id-1)#该层次可以配置三层相关的配置。注意事项：Rbridge-id 代表的是每一台VDX交换机在一个集群中的编号，如果是独立运行的单机也会

7、有一个编号，这个编号可以修改，任何一台独立的交换机自身也是可以作为一台矩阵运行，有自己的VCSID集群号，也有在集群内部的Rbridge-id编号，总之无论交换机处于是单机运行还是多台互联运行或者单机集群或者多机集群，必须为每一台交换机分配一个Rbridge-id号码，这个号码其实也是用于端口编号的，如下图所示，在一个集群里面的端口编号(类似传统堆叠模式)：二.2.软件版本升级单台-USB方式VDX软件版本升级有多种方式，我们常用的有两种:USB或者FTP，USB是比较方便，因为随机每台设备自带有一个USB盘，不要格式化。首先将软件COPY到目录如下，NOS软件目前大概在左右，需要将升级软件文

8、件夹直接COPY到U盘的某一个目录，如下图所示：第一步：将升级软件文件夹COPY到U盘的目录：D:brocadefirmware一般我们从官网下载的软件为一个ZIP的压缩包，首先需要解压缩然后再将解压缩的二层目录COPY到U盘即可，COPY进去的文件夹打开包括如下内容：第二步：将U盘插入到VDX交换机的USB接口第三步：执行命令开启USB并且查看USB盘内容和目录sw0# usb onTrying to enable USB device. Please wait.USB storage enabledsw0# usb dirfirmware 1594MB 2009 May 20 13:05

9、1594MB 2016 Jun 14 14:21config 0B 2009 May 20 13:05support 0B 2016 Apr 11 01:34firmwarekey 0B 2009 May 20 13:05Available space on usbstorage 14%第四步：执行命令开始软件升级，系统将会自动重启sw0# firmware download default-config usb directory Performing system sanity check.This command will default the configuration after

10、upgrade.This command will cause a cold/disruptive reboot and will require that existing telnet, secure telnet or SSH sessions be restarted.Do you want to continue? y/n:yChecking conditions for downloading to settings check passed (0).第五步：等待大约10分钟左右升级完毕自动重启进入到系统内，通过命令检查升级软件是否成功。sw0# show version二.3.申

11、请与添加和删除许可-LicenseVDX系列交换机常用的许可有以下几种： FC/FCOE激活许可(VDX6740和VDX6940整机激活)； 40G-POD端口激活许可(VDX6740上一份许可激活两个40G端口)； L3层许可(VDX8770上三层许可)。下面我们列举一个例子，如何申请一个FC/FCOE测试许可：第一步：登录到网站，没有帐号可以直接申请用设备序列号或者寻求供货商支持。第二步：点击下图红色框按钮进入License申请页面，点击“Manage Hardware Licenses”第三步：左边菜单栏选择BROCADE NOS,接下来选择“Evaluation license gen

12、eration”，注意这里，如果是用户购买了正式的许可，那么请选择“Licnese generation with transaction key”第四步：填写申请的相关信息，这里最重要的是要获取到设备的LICENSE ID（LID）。需要登录到设备然后执行命令去获取，无论是正式许可还是测试许可都需要设备自身的LID才可以去申请许可。第五步：当点击生成之后，系统会生成一个许可同时发送到你的邮箱，如下图。第六步：导入LICENSE到设备，生成好的许可会通过一个邮件给邮箱发送一份带有格式的文件，你可以通过文本文档或者其他默认工具打开文本，COPY里面一段到设备里面即可。COPY的开始与结束必须严谨

13、如下图(从*号开始到#号结束)。类似如下：*B ,hqAjXa0UA,OpqRvV52Rfj6,PdVNuapWhWIzQlpVxIHQFMKn1pBwInO,qKnO2Lwzv1OasVwUIHWKmxrYsHZ31u7EPlDDQsgCUV7QCgaqIf,ET4XJejYzwVLXquv:djqVKdUjjeR5eyVG7cZvgTqZYLXVvx12lCWvZ2krVAX24x9VO#第六步：导入LICENSE到设备，通过以下命令，导入完成之后记得用show licnese命令查看。sw0# license add licStr xxx rbridge-id 1 红色标记就是上文的生成

14、许可KEY。二.4.用户模式和配置模式show的区别在用户模式下，是无法进行配置操作的，而只能查看系统的一些参数。所以用户模式下的show命令是查看系统参数。要看系统配置则使用show running-config命令。例如用户模式下show interface status是查看端口信息。因此说用户模式和配置模式下的show命令是不同的，如果要在配置模式下运行用户模式命令，则需要在命令前面加一个do,如下所示：sw0(config)# do show ip interface brief 查看三层IP接口sw0(config)# do show ip route 查看IP路由sw0(conf

15、ig)# do show running-config interface 查看接口配置sw0(config)# do show running-config interface TenGigabitEthernet 1/0/1 查看一个物理接口配置二.5.设置用户名和密码VDX系统默认有两个内置账号，不可以删除但是可以修改密码，系统内置两个等级的账户，一个管理员role admin 一个只读role user. 当管理员想自己创建帐户的时候可以选择需要的role进行关联。以下示例创建两个账号，一个用于管理、一个用于只读巡检sw0(config)# username xiaofang pass

16、word role admin sw0(config)# username checklist password checklist role user二.6.设置DNS服务器DNS配置在全局完成，配置DNS服务器和域名，如果要检查可以ping外部的域名去，默认情况下ping是走业务端口出去，如果要通过带外接口PING，则需要把VRF加上，因为默认情况下带外管理接口属于一个独立的管理VRF内。如下所示sw0(config)# do show running-config ip dns ip dns domain-name dns name-server do ping vrf mgmt-vrf

17、二.7.设置日期时间和NTP服务器VDX单机和VCS集群的时间日期以及NTP服务器配置，如下：sw0# clock set 2016-08-09T14:38:50 snmp-server location End User Premise.snmp-server sys-descr Brocade VDX Switch.snmp-server enable trapsnmp-server community public groupname adminsnmp-server host publicversion 2cudp-port 161use-vrf mgmt-vrf!snmp-serve

18、r view All 1 includedsnmp-server group admin v2c read All write All notify All第三章 博科VDX系列交换机VCS集群矩阵配置三.1.VCS矩阵部署模式介绍博科VDX系列交换机支持部署VCS矩阵模式，VCS矩阵是指将多台VDX系列任意型号的物理交换机设备通过万兆或者40G接口任意拓扑互联形成一个矩阵，进行统一配置、管理、监控。该矩阵目前最大可以支持64台物理交换机，未来可以支持128台物理交换机。VCS矩阵采用TRILL技术实现，因此在拓扑上并没有特定的要求，只要将VDX交换机之间通过10G/40G线缆互联即可，那么在

19、一般的企业数据中心内部，根据我们的经验大多数客户的部署模式如下图：根据规模不同，因此在构建VCS虚拟化矩阵的方式也有所不同，TOR接入交换机保持不变，VDX6740具备千兆电口、千兆/万兆自适应光口。稍微大一点规模我们采用SPINE+LEAF的架构，清晰同时易于扩展。此时我们推荐VDX6940或者VDX8770作为VCS矩阵的SPINE节点，LEAF仍然还是VDX6740交换机。三.2.VCS矩阵配置步骤 第一步：VCS矩阵的配置步骤，先期我们需要前期检查和准备工作： 所有物理交换机的软件必须一致 规划物理交换机之间的互联链路(10G或者40G) 规划物理交换机的带外管理IP地址和管理路由 规

20、划VCS集群的ID号码(集群唯一的编号，从1-8192； 规划VCS集群内部物理交换机Rbidge-ID编号，从1-239，该编号必须在整个集群内部唯一； 清空物理交换机内部已有的配置(如果该交换机并非出厂新购买的)；第二步：检查物理交换机之间互联端口配置默认情况下是不需要去检查VCS矩阵内部物理交换机互联端口的配置，为防止某些交换机的端口被定义过，因此还是需要再次检查配置，确保如下配置在互联接口存在：VDX6940-1# show running-config interface TenGigabitEthernet 6/0/34interface TenGigabitEthernet 6/

21、0/34fabric isl enable fabric trunk enable no shutdown如果你不想此接口成为矩阵互联的ISL接口，你需要配置以下命令在接口上：fabric neighbor-discovery disableno fabric isl enable第三步：检查完矩阵内部互联端口之后，可以开始连接设备间互联的线缆；第四步：然后CONSOLE登录到VCS集群内的每一台VDX交换机上执行命令：vcs vcsid X rbridge-id Y logical-chassis enableX代表 VCS集群ID编号，是整个集群内部唯一的编号Y代表VCS集群内部每一台VD

22、X交换机的编号，也就是rbridge-id，用于标识集群内部每一台VDX交换机，同时也是作为接口编号的第一位，比如1/0/1代表集群内部Rbridge-id 1号交换机上的第一个端口，4/0/10代表集群内部Rbridge-id 4号交换机上第10个接口。例如本次实验中两台VDX交换机，我登录到两台交换机分别执行命令组建一个矩阵：vcs vcsid 10 rbridge-id 1 logical-chassis enablevcs vcsid 10 rbridge-id 2 logical-chassis enable重启完之后，系统开始自动组建VCS集群，如下：系统组建VCS集群完毕，如下：

23、第五步：命令执行完毕之后系统会自动重启，等待重启，等待集群内部每一台VDX交换机重启并自动的加入到集群，因为没有设置principal-priorityVCS优先级因此谁先启动将成为这个集群内部的管理员principal，用户每一次只能登录到此交换机才能对整个集群进行配置。第六步：设置VCS优先级，如果你规划中想让某一台成为集群内部的管理员principal，另外一台成为备份管理员，你需要通过命令去设置优先级，如下命令：默认情况下principal-priority 是100，这个值是越小越优先，但是没有抢占的能力。登录到交换机，进入到对应的rbridge-id内部去配置。logical-ch

24、assis principal-priority 1logical-chassis principal-priority 2执行VCS集群内部的principal切换命令：sw0# logical-chassis principal switchover下图是某客户在线使用的VCS状态截图：三.3.VCS矩阵管理VCS矩阵集群常用检查命令：Show vcsshow fabric allshow fabric islshow fabric islports rbridge-id Xshow fabric trunkreload rbridge-id X 重启VCS集群内部某一个交换机 VCS日常

25、管理维护过程中需要检查VCS状态、VCS ISL链路状态和带宽，另外还包括新设备加入和替换老设备，如果某一台新设备加入到集群，需要注意的是不能与已有集群内部的Rbridge-ID冲突，同时保证VCSID号码一致。另外有一种情况是需要更换或者替换Rbridge-ID的时候，可以先replace Rbridge-ID，如下命令：vcs replace rbridge-id X默认情况下，在VCS创建之后，用户管理员操作任何配置都不需要执行保存的动作，因为系统会自动保存！第四章 博科VDX系列交换机二层配置四.1.二层VLAN创建 VDX交换机二层VLAN创建命令如下： sw0(config)# i

26、nterface Vlan 100sw0(config)# interface Vlan 200同时也支持VLAN-RANGE配置，例如创建VLAN10-15sw0(config)# interface Vlan 10-15二层VLAN是全局配置模式下完成，并且在整个VCS矩阵内部会同步，登录到principal交换机创建VLAN之后，不需要到其他的节点Rbridge-id 上去创建。删除VLAN或者VLAN-RANGE参考如下：sw0(config)# no interface vlan 10-15Processing.四.2.物理接口二层ACCESS相关配置sw0(config)# int

27、erface TenGigabitEthernet 1/0/20 进入到某一个物理接口sw0(conf-if-te-1/0/20)# switchport 转换为二层接口sw0(conf-if-te-1/0/20)# switchport mode access 配置二层接口工作模式sw0(conf-if-te-1/0/20)# switchport access vlan 100 加入到某一个二层VLAN四.3.物理接口二层TRUNK相关配置 交换机的一个物理端口处于二层的时候，可以设置为两种VLAN模式 :Trunk和Access模式。Access端口只属于一个VLAN，并且只允许这个VL

28、AN的数据通过，当两台交换机互联的时候，如果连接的端口设置成access模式，则只能一个VLAN的数据到达另外一台交换机，而Trunk可以允许多个Vlan通过该端口。下图解释了Trunk和Access的区别：上图显示当互联端口设置成为access模式的时候，只能设置一个VLAN，那么两台交换机其它VLAN就不能通过互联这条链路。如果将互联端口设置为Trunk，那么VDX就可以允许多个VLAN的流量穿透这个端口，而Trunk也就是“主干”的意思，可以理解为一条主干管子里面有多条VLAN小通道。通过设置，可以控制允许哪些VLAN能通过Trunk链路。要配置Trunk，首先要将交换机端口清除三层参数

29、执行switchport命令切换到二层，并且设置为Trunk模式，然后再设置允许通过该VLAN的Trunk。配置命令如下：sw0(config)# interface TenGigabitEthernet 1/0/30 进入到某一个物理接口sw0(conf-if-te-1/0/30)# switchport 转换为二层接口sw0(conf-if-te-1/0/30)# switchport mode trunk 设置二层工作模式sw0(conf-if-te-1/0/30)# switchport trunk allowed vlan add 100 允许通过的VLAN号100sw0(conf-

30、if-te-1/0/30)# switchport trunk allowed vlan add 200 允许通过的VLAN号200四.4.物理接口-VLAG端口捆绑聚合如果两台交换机利用1条链路进行二层互联，则最大带宽只有1G，如果采用多条链路进行二层互联，则由于STP的原因，其中一条链路会处于block状态。为了提高互联带宽，可以将多条链路捆绑起来形成一条链路，捆绑之后的链路就跟普通链路一样，能设置层Vlan或者Trunk，或者设置为三层模式。VDX交换机与VDX交换机本身的LAG接口算法是基于Frame-base硬件来完成，支持ECMP多路径。VDX交换机与其他厂商或者虚拟机EXSI主机

31、之间的LAG接口采用传统的HASH算法，基于IP五元组。最多一个VLAG支持16条物理链路。下面我们将列举本次实验拓扑中的两台交换机跨机箱与下联接入交换机的VLAG。接口编号：1/0/48和2/0/48实现物理机箱端口聚合。第一步：全局创建VLAG-port-channel接口sw0# show running-config interface Port-channel 1interface Port-channel 1 vlag ignore-split switchport switchport mode trunk switchport trunk allowed vlan add 100,200 switchport trunk