Lenovo HX系列超融合系统安装配置手册.docx

1、Lenovo HX系列超融合系统安装配置手册LenovoHX系列超融合系统安装配置手册1.使用Foundation安装部署1.1文件下载1.Nutanix部分：Nutanix的安装文件，Foundation虚拟机，AHV，NOS,以及PrismCentral，Phoenix等软件。下载链接为：2.Hypervisor部分：Nutanix平台目前支持VMwareESXi，AHV以及Hyper-V三种虚拟化平台，其下载的位置如下：VMwareESXi：通过VMware的官方网站，下载链接为AHV：通过Nutanix网站下载，下载地址Hyper-V：Hyper-V需要使用微软的官方版本，需要使用Wi

2、ndows20*withHyper-V版本，下载地址在需要到微软官方下载。3.联想的IMM/UEFI部分：在安装时需要确认HX服务器的IMM以及UEFI版本，这些版本的下载地址为：然后在页面中选择BIOS，可以下载UEFI，选择IMM可以下载IMM版本。1.2Foundation虚拟机的准备1.文件准备Foundation是Nutanix的部署工具，用来进行初次快速部署Nutanix的集群。Foundation本身是一个虚拟机，可以通过Nutanix网站下载。下载页面为：（由于CVM里内置Foundation工具，所以一旦CVM集群建立后，将不需要再使用部署时使用的Foundation虚拟机，

3、只需要使用Prism页面进行管理和添加/删除节点即可。）下载后进行解压（下载后请核对MD5码，确保MD5值一致），解压后的文件列表如下：2.虚拟机创建只需要将其导入到本机的VMwareWorkstation中即可创建Foundation虚拟机。foundation虚拟机的网络一定是桥接方式。如下图：Foundation虚拟机的默认用户名密码分别如下：用户名：nutanix密码：nutanix/4uFoundation虚拟机启动后，复制相应的ISO到相应的目录ESXi的ISO放置在目录/home/nutanix/foundation/isos/hypervisor/esxAHV的升级包放置在目录

4、/home/nutanix/foundation/isos/hypervisor/kvmAOS升级包放置在目录/home/nutanix/foundation/nos注意：1.如果Foundation使用的是3.5以及更高的版本，则不需要对Foundation虚拟机进行任何修改，可以直接使用。2.如果Foundation使用的是3.4以前的版本，需要同时下载LenovoHX的补丁，将HX补丁拷贝到Foundation虚拟机中，然后在NutanixFoundation虚拟机中执行一下命令来更新HX补丁。nutanixcvm$ /foundation/bin/foundation_upgrade

5、-t /foundation-version#.tar.gznutanixcvm$ service foundation_service start3.时间调整调整foundation时区：请修改为用户当地时区图形化界面修改：在命令行下执行system-config-date调整foundation时间点击桌面上的图标“set_foundation_ip_address”修改IP地址使其能够访问外网命令：sudontpdate-u3.asia.pool.ntp.org跟时间服务器进行同步命令：date检查当前时区和时间（中国时区为CST）1.3部署过程1.服务器连线：部署时只需要连接IMM和1

6、跟10Gb的光纤线即可，部署完成后再进行另外一根光纤线的连接，并在Hypervisor层进行调整。注意：如果部署前连接了所有的光纤连线，则部署时有可能出错。2.查看或者升级IMM/UEFI版本，根据相关的通知酌情升级UEFI和IMM的版本；截至到2017年2月，请确保部署时将UEFI升级到2.22版本。3.修改IMM时间；4.按照客户网络要求修改IMM的IP地址；5.修改IMM的主机名；6.修改IMM的用户密码；7.查看BIOS时间以及修正；8.启动FoundationVM，点击“set_foundation_ip_address”图标修改FoundationVM的IP地址；9.打开Nutan

7、ix Foundation网页开始部署Nutanix节点；10.Foundation开始扫描网络中的节点。扫描后会按照序列号列出目前的连接的节点。Foundation扫描是通过IPv6的locallink地址进行的。如果HX节点连接的交换机网络端口是Trunk，建议设置一个nativevlan，所有的管理地址都运行再NativevLan中，这样才能更好的网络识别。如果是在一个access端口下，则所有节点的vLAN号必须一致；注意：如果无法识别到所有的节点，可以手工添加，请按照IMM的MAC地址进行节点添加。添加完成后使用页面右上角的ping进行测试。11.输入规划好的HypervisorIP

8、，CVMIP以及IMMIP地址；12.输入其它网络信息，包含子网掩码，网关；13.选择要部署的CVM的版本以及Hypervisor的类别和版本。这些版本的文件是通过网站提前下载并放在foundation虚拟机的相应目录下的。否则不会显示出来；14.在接下来的页面点击“CreateCluster”来创建Nutanix的Cluster；15.输入cluster的名字，VIP地址，DNS，NTP以及副本数量等信息，VIP地址，DNS，NTP也可以在集群完成后输入，这里不填也可以；注意：副本数量：如果节点数量=5,，并且购买了Pro的license，则可以使用3副本。16.点击“RunInstalla

9、tion”开始部署。系统会提示，整个操作会进行1小时左右。点击Proceed；17.开始部署后网页会跳转到进度页面，也可以点击右侧的log进行查看部署的日志。如下：18.部署过程中，HX节点会进行重启，安装等一系列动作，这一切都是自动的。注意：在部署节点出现问题导致部署失败，请查看log。并检查以下方面：网络连接和配置情况，这是出问题最多的；主要包括：IPMI的IP和MAC地址是否正确；IPMI的用户名和密码是否正确Foundation虚拟机的网络跟HX节点以及IMM的网络是否在同一个广播域（vLAN）；Foundation虚拟机的磁盘空间：Foundation对于Hyper-V部署需要至少9

10、GB剩余空间，对于AHV和ESXi部署，需要至少3GB剩余空间。其它文件参见Nutnaix的FieldInstallationGuide中的Troubleshooting章节19.部署完成后的界面如下：20.此时在浏览器中输入VIP地址，或者任何一个CVM的IP地址即可登录Prism页面，查看整个集群的信息。第一次登录使用的用户名位admin，密码admin，第一次登录会要求修改Prism的密码。21.修改CVM的时区设置。使用Foundation部署完成后，CVM的时区是PST，需要修改位CST（ChinaStandardTime），修改方式为，SSH登录到任何一台CVM虚拟机。然后执行da

11、ta命令查看当前时区，如果是CST，则不需要修改，如果不是，请使用如下命令修改：ncliclusterset-timezonetimezone=Asia/Chongqing至此Nutanix的部署工作基本结束。2.网络交换机配置部分2.1整个网络拓扑在LenovoHX超融合的系统部署中，典型的架构网络为：需要注意以下5点：1.千兆交换机和万兆交换机务必都要连接到用户的网络；2.如果有更多的千兆接口，可以使用HX节点上主板自带的4个千兆网口来提供额外的虚拟机流量（需要另外创建虚拟交换机）。3.CVM需要和Hypervisor在同一个vLAN之中。但IMM可以不在同一个vLAN中。4.由于G812

12、4E交换机出厂默认没有配SFP+模块，所以需要检查用户现场的SFP+的模块数量，主要包含：a)服务器的网卡上的SFP+模块数量；b)每个服务器网卡对应的交换机上的SFP+模块的数量；c)2台G8124E交换机之间互联的模块的数量（每台交换机至少2个）；d)每台G8124E交换机上联至用户网络的SFP+模块（每台交换机至少1个）；e)光纤线的数量。5.G8124E交换机可以提供1Gb的端口速率，但需要使用不同型号的模块。2.2LenovoG8124E交换机的主要信息LenovoG8124E交换机包含24个10Gb端口，2个管理端口的交换机，24个10Gb端口为SFP+的连接方式。建议支持14个以

13、内的HX节点的连接。1535个节点建议采用LenovoG8272交换机。G8124E交换机的视图下：交换机默认的用户名和密码为：用户名：admin密码：admin2.3交换机用户配置修改默认的管理员密码：默认出厂设置的LenovoG8124E交换机内置管理员用户和密码都是admin，但是为了安全起见，一般需要修改默认的管理员密码。修改方式如下：RS G8124-E enableRS G8124-E# configure terminalRS G8124-E (config)#access user administrator-passwordChanging ADMINISTRATOR pas

14、sword; validation required:Enter current local admin password:#输入现有的密码#Enter new admin password (max 64 characters):#输入新的密码#Re-enter new admin password:#再次输入新的密码#New admin password accepted.增加新的管理员用户：默认管理员用户是无法修改用户名的，而且无法删除，只能进行disable或者enable。如果用户需要添加一个新的管理员用户，需要做如下操作：RS G8124-E enableRS G8124-E# c

15、onfigure terminalRS G8124E(config)# access user1 namenewusername#1为添加的第一个用户，newuser那么为新用户的用户名#RS G8124E(config)# access user1passwordChanging user1 password validation required:Enter current admin password: #输入现有管理员密码#Enter new user1 password: #输入新建用户的密码#Reenternew user1 password: #再次输入新建用户密码#New us

16、er1 password accepted.RS G8124E(config)#access user 1 level administrator#将第一个添加的用户设置为管理员级别#RS G8124E#show access user uid 1#显示第一个用户的用户名进行确认#RS G8124E(config)# access user1 enable#激活添加的用户#RS G8124E(config)#exitRS G8124E#show access user#显示当前的所有用户#2.4交换机的管理网络配置交换机出厂时默认有带外和带内管理的IP，但是在用户的实际生产环境中需要根据用户的

17、需要进行修改。在G8124E中的管理端口对应如下：序号端口对应内部端口对应网关1带内管理IP1Gateway12带外管理AIP127Gateway33带外管理BIP128Gateway4修改带外管理地址：（以带外管理端口A为例）配置命令如下：RS G8124-EenableRS G8124-E# configure terminalRS G8124-E (config)# interface ip 127#修改带外管理A口#RS G8124-E (config-ip-if)# ip address172.26.16.9#配置带外管理A口的IP地址#RS G8124-E (config-ip-i

18、f)# ip netmask255.255.255.0#配置带外管理A口的子网掩码#RS G8124-E (config-ip-if)# enable#激活带外管理A口的配置#RS G8124-E (config-ip-if)# exitRS G8124-E (config)# ip gateway 3 address172.26.16.1#配置带外管理A口的网关#RS G8124-E (config)# ip gateway3 enable#激活带外管理A口的网关#修改带内管理地址配置命令如下：RS G8124-EenableRS G8124-E# configure terminalRS

19、G8124-E (config)# interface ip 1#修改带内管理口#RS G8124-E (config-ip-if)# ip address172.26.16.8#配置带内管理口的IP地址#RS G8124-E (config-ip-if)# ip netmask255.255.255.0#配置带内管理口的子网掩码#RS G8124-E (config-ip-if)# enable#激活带内管理口的配置#RS G8124-E (config-ip-if)# exitRS G8124-E (config)# ip gateway 1 address172.26.16.1#配置带内

20、管理口的网关#RS G8124-E (config)# ip gateway 1 enable#激活带内管理口的网关#注意：默认情况下，带内管理是采用DHCP来获取IP地址，如果没有DHCP，带内管理将采用默认的IP地址。所以如果用户网络里有DHCP服务器，请务必配置带内管理IP。2.5交换机的端口配置配置交换机端口为Access将交换机的端口配置为Access口时，此端口只能允许一个vLAN通过，如果没有配置vLAN，则只允许NatvievLAN的数据通过。默认情况下，交换机的每个端口都没有进行配置，只允许Native vLAN通过，也就是默认的vLAN1。如果所有的端口都只是通过1个vLA

21、N，则不需要对交换机端口进行配置。配置方法为：RS G8124-EenableRS G8124-E# configure terminalRS G8124-E (config)# interface port3#修改交换机的3号端口#RS G8124-E (config-if)#switchport access vlan 2#交换机3号端口配置为access模式，并且只允许2号vLAN通过#RS G8124-E (config-if)# exit配置交换机端口为Trunk将交换机的端口配置为Trunk模式时，此端口允许多个vLAN通过，连接交换机端口的服务器或者交换机需要打vLAN的tag才

22、能正常通讯，否则交换机会丢弃数据包。配置方法为：RS G8124-EenableRS G8124-E# configure terminalRS G8124-E (config)# interface port3#修改交换机的3号端口#RS G8124-E (config-if)#switchport mode trunk#交换机3号端口配置为Trunk模式#RS G8124-E (config-if)#switchport trunk allowed vlans 1,2#交换机3号端口的Trunk模式只允许1，2号vLAN数据包通过，如果此条命令不加，则允许所有的vLAN通过#RS G812

23、4-E (config-if)# exit配置交换机端口为Tunk+NativevLAN将交换机的端口配置为Trunk模式时，此端口允许多个vLAN通过，连接交换机端口的服务器或者交换机需要打vLAN的tag才能正常通讯，否则交换机会丢弃数据包，如果配置了NatvievLAN，则不打tag的数据包按照Natvie Vlan进行处理，交换机自动给数据包上加上Natvie Vlan的tag。配置方法为：RS G8124-EenableRS G8124-E# configure terminalRS G8124-E (config)# interface port3#修改交换机的3号端口#RS G8

24、124-E (config-if)#switchport mode trunk#交换机3号端口配置为Trunk模式#RS G8124-E (config-if)#switchport trunk native vlan1#允许所有的vLAN通过，但是如果没有vLANtag，交换机按照vLAN 1进行处理#RS G8124-E (config-if)# exit查看端口情况命令默认情况下，vLAN1为非管理口的NativevLAN，4095为管理端口的NativevLAN，可以设置的vLAN为14094.查看vLAN信息的命令：RS G8124-E (config)#showvlan查看端口的v

25、LAN信息命令：RS G8124-E (config)#showinterfaceinformationRS G8124-E (config)#showinterfacetrunk2.6交换机的互联配置（ISL）此步主要是将两台连接HX服务器的G8124E交换机通过光纤线连接起来，通过配置将其配置为一个逻辑的交换机，2台交换机可以通过ISL+vLAG进行设置，共享MAC地址表。2台相互连接的G8124E交换机称为vLAGpeer，与交换机连接的HX服务器成为vLAGClient。2台完全相同型号和配置的G8124E交换机相连接，至少2根10Gb的光纤线进行连接。由于2台交换机之间的流量，包含虚

26、拟机流量都可以通过ISL网络进行通讯，所以ISL连接的数量建议是G8124E交换机上连接的服务器端口数量的一半数量。关于生成树（STP）协议：LenovoG8124E交换机默认开启PVST的生成树协议，在用户生产环境中需要跟用户进行确认，建议关闭生成树协议以防止与用户环境的生成树冲突。配置步骤：此例中有2台G8124E交换机分别为G8124E-1和G8124E-2，G8124E-1的3，4号端口通过10Gb光纤直接与G8124E-2的3，4号端口相连接。在第一台交换机G8124E-1上的配置：G8124E-1 # enableG8124E-1 # conf tG8124E-1 (config)

27、#spanning-tree mode disable#关闭STP协议#G8124E-1 # show span#查看STP状态检查#G8124E-1 (conf)# lldp enable#开启链路状态发现协议#G8124E-1(config)# interface port 3-4#配置3，4号端口#G8124E-1 (config-if)# switchport mode trunk#端口模式配置为Trunk#G8124E-1 (config-if)# lacp mode active#将LACP开启并设置为active#G8124E-1 (config-if)# lacp key200

28、#设置lacp的管理key为200，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值#G8124E-1 (config-if)# exitG8124E-1 (config)# vlag tier-id1#设置vlag的tier-id，id值可以不同，但是2台交换机上必须设置为相同的值#G8124E-1 (config)# vlag hlthchk peer-ip 10.0.0.2#设置vlag的心跳IP，检查健康状况，IP必须是对端的交换机的IP，可以是带内管理IP，也可以是带外管理IP，建议使用带外管理IP，如果设置为带外管理IP，需要连接带外管理口，到可以通讯的交换机

29、#G8124E-1 (config)# vlag isl adminkey200#此处输入lacp的key#G8124E-1 (config)# exit在第二台交换机G8124E-2上的配置：G8124E-2 # enableG8124E-2 # conf tG8124E-2 (config)#spanning-tree mode disable#关闭STP协议#G8124E-2 # show span #查看STP状态检查#G8124E-2 (conf)# lldp enable #开启链路状态发现协议#G8124E-2(config)# interface port 3-4#配置3，4号端口#G8124E-2 (config-if)# switchport mode trunk#端口模式配置为Trunk#G8124E-2(config-if)# lacp mode active#将LACP开启并设置为active#G8124E-2 (config-if)# lacp key200#设置lacp的管理key为200，这里的Key可以设置为不同的值，但是在2台交换机上必须都设置为相同的值#G8124E-2 (co