微软超融合平台POC测试指南.docx
《微软超融合平台POC测试指南.docx》由会员分享，可在线阅读，更多相关《微软超融合平台POC测试指南.docx（16页珍藏版）》请在冰豆网上搜索。
微软超融合平台POC测试指南
微软超融合存储StorageDirect快速概念验证指南
适用对象
本指南侧重于快速在客户环境实现WindowsServer2016新功能的概念验证所用，主要适用对象是需要在用户环境概念验证StorageSpaceDirect新功能的TSP，PFE或者集成商的人员。
注意：
本指南并不覆盖所有的在用户环境实际的验证场景，主要目的侧重于如何确保可以成功的实现StorageDirect功能，如何快速的部署超融合存储环境，如何实现StorageSpaceDirect的性能测试三个方面展开。
本文主要包含的内容
●概念验证环境需求
●准备工作
●超融合架构部署和验证
●性能测试工具和方法
●附录
概念验证环境需求
超融合架构
超融合架构简要说明，WindowsServer存储服务通过具备RDMA能力的网络在物理节点间构建了一个低延迟的软件存储总线结构，连接和管理每台服务器上本地的物理磁盘系统；并在其上合并存储磁盘池，磁盘池下每个物理磁盘对于每个连接的物理节点都可见。
在磁盘池上创建虚拟磁盘，每个物理节点的虚拟机环境部署在由虚拟磁盘构成集群共享卷上。
不同于VMWareVSAN的对象型存储结构，在WindowsServer的超融合架构中，是在块存储级别实现的融合架构，每个虚拟磁盘如果可能会在每个物理磁盘创建以1GB为单位的Extend扩展。
因此可以理解为每个虚拟磁盘物理存储都会跨越多个计算（存储）节点。
硬件
组件
最小配置
推荐配置
服务器
3台物理服务器（超融合节点）
4台物理服务器（超融合节点）
操作系统驱动器
操作系统磁盘最小300GB用于用户VHDNativeBoot的系统分区和VHD文件，可以为SSD或HDD，建议采用SSD
带有RAID控制器制作的LUN用于操作系统磁盘磁盘最小300GB用户VHDNativeBoot的系统分区和VHD文件，可以为SSD或HDD，建议SSD
存储控制器HBA
SAS/SATA/NVMeController*
LSI9300-8i12GbPCIE通用
LSI9207-8i6GbPCIE通用
DELLHBA330/HBA330mini（板载）针对DELL服务器
HPEH240/H240ar（板载）针对HPE服务器
存储空间磁盘驱动器
4磁盘配置（2SSD+2HDD）
HDD可以根据实际环境增加。
4磁盘配置（NVMeSSDx2+2SATA/SASSSDx2）
SATA/SASSSD可以根据实际环境增加。
CPU
支持SLAT（至少IntelXeon5500或者i3/i5/i7或者AMDOpteron6100）
IntelXeonE5-v3或v4
内存
32GBRAM
128GBRAM
UEFI/BIOS建议UEFI
Hyper-VEnabled（支持SLAT）
Hyper-VEnabled（支持SLAT）
网卡
双口10GbE
*RDMAisneededforproduction
ChelsioT520-CR-iWARPRDMA
MellanoxConnectX-3Pro-ROCERDMA
硬件认证
CertifiedforWindowsServer2012R2
CertifiedforWindowsServer2012R2
操作系统
Requirements 需求
版本
WindowsServer2016DatacenterEdition.为实现快速验证，会通过实现准备的VHDX引导作为部署StorageSpaceDirect概念验证的系统。
安装方式
*通过VHDX引导。
是否加入域
需要加入域，除非特别需要为了节省时间请准备好AD域虚拟机环境并导入概念验证的用户环境中。
网络交换机
端口数
7+
端口速度
10Gb+
802.1QVLAN
需要配置VLAN（RDMA）
PFC（ROCERDMA）
启用RDMA为RoCE模式则需要RFC支持（如Mellanox网卡）
*注意：
•关于VHDX引导和如何自动加入AD域环境，请参考准备工作章节内容。
•测试中通过SET设置网络，通过设置VLAN和TrunkPort区分存储网络，和虚拟机及集群网络。
如果有额外的物理网卡，可以根据实际需要调整。
DHCP
非必要
公网连接
非必要
注意：
硬件是否满足条件对于StorageDirect验证成功与否非常关键，因此请务必确认硬件尤其是存储符合需求后再参与S2D的测试，如果由于时间或者硬件条件等其他因素，或者用户不接受在虚拟化环境中进行测试，也可以考虑参考附录中的内容（仅限内部测试使用）。
准备工作
验证物理磁盘总线类型
如果可能，例如验证的用户环境有预安装的WindowsServer2012R2环境，建议在服务器通过PowerShellcmdlet，检查总线类型BusType是否为物理磁盘总线（SATA/SAS/NVMe），而非RAID才可以加入到S2D的存储池中。
Get-PhysicalDisk|sortCanPool,FriendlyName|ftFriendlyName,CanPool,BusType,MediaType
例如：
Get-PhysicalDisk|sortCanPool,FriendlyName|ftFriendlyName,CanPool,BusType,MediaType
FriendlyNameCanPoolBusTypeMediaType
-----------------------------------
DELLPERCH710FalseRAIDUnspecified
MsftVirtualDiskFalseFileBackedVirtualUnspecified
SEAGATEST3600057SSTrueSASHDD
SEAGATEST3600057SSTrueSASHDD
TOSHIBAMK2001GRZBTrueSASSSD
TOSHIBAMK2001GRZBTrueSASSSD
注意：
实际经验显示，很多用户环境采用的存储控制器带有HBA模式，有些直通卡的模式在没有将固件升级为ITFirmware时，WindowsServer仍然无法正常识别其总线类型。
准备测试的AD域环境
非必须，不过为了加快概念验证的速度，可根据实际需要事先制作所需的AD域控制器虚拟机环境并对外提供DNS服务。
准备VHDXNativeBoot环境
概念验证采用本地VHDX系统启动方式，因此需要制作用于启动的VHDX文件并通过BCDBoot工具设置系统分区的引导项进入实验环境。
以下操作将分别针对用户测试环境已有操作系统和裸金属部署两种方式。
现有系统添加测试引导项
用户物理机环境已有WindowsServer环境并提供远程桌面或KVM/控制台登录等方式，可以直接在此会话登录操作（需要对每台实验服务器环境设置）
请确保启动的VHDX驱动器为服务器本地服务器硬盘（通过本地BIOS或者UEFI可以正确识别和加载），例如本地对应的D盘
准备用于实验的WS2016服务器介质，例如14393.0.160808-1702.RS1_RELEASE_SRVMEDIA_SERVER_VOL_X64FRE_EN-US.ISO将其拷贝到D:
\WSSCPOC
下载全部文件，拷贝到服务器测试目录，例如D:
\WSSCPOC，以管理员启动PowerShell运行
D:
\WSSCPOC\PrepareVHD.ps1-ImagePath[ISO映像的路径]-VHDxPath[生成VHD启动文件路径]-COMPUTERNAME[测试主机名称]
示例：
D:
\WSSCPOC\PrepareVHD.ps1-ImagePathD:
\WSSCPOC\14393.0.160808-1702.RS1_RELEASE_SRVMEDIA_SERVER_VOL_X64FRE_EN-US.ISO-VHDxPathD:
\VHDBOOT-COMPUTERNAMEWS2016RTM-HOST1-VHDPartitionStyleGPT
注意：
•默认VHDX制作完毕后物理主机会以重启，并以新制作的VHDX文件引导。
•测试主机名参数不指定会使用当前的主机名。
•如果需要测试的环境包含特殊驱动，可以通过-Driver参数指定驱动路径进行加载。
•指定了UEFI引导设置GPT分区参数，如果是BIOS可以不设置这个参数，默认为MBR分区
裸金属环境部署
用户物理机环境为裸金属环境，最好在本地计算机制作用户启动的VHDX；通过带外或者USB引导系统引导后进行操作，建议Windows10或WindowsServer环境（PowerShellV4以上环境）
准备用于实验的WS2016服务器介质，例如14393.0.160808-1702.RS1_RELEASE_SRVMEDIA_SERVER_VOL_X64FRE_EN-US.ISO将其拷贝到本地D:
\WSSCPOC，下载全部文件，拷贝到本地目录，例如D:
\WSSCPOC
以管理员启动PowerShell，运行
D:
\WSSCPOC\PrepareVHD.ps1-ImagePath[ISO映像路径]-VHDxPath[生成VHD启动文件路径]-COMPUTERNAME[测试主机名称]-Reboot$false
示例：
D:
\WSSCPOC\PrepareVHD.ps1-ImagePathD:
\WSSCPOC\14393.0.160808-1702.RS1_RELEASE_SRVMEDIA_SERVER_VOL_X64FRE_EN-US.ISO-VHDxPathD:
\WSSCPOC\VHDBoot-COMPUTERNAMEWS2016RTM-reboot$false-VHDPartitionStyleGPT
注意：
•这里默认会生成启动VHDX文件到VHDxPath路径中，并且不会重启本地系统。
•指定了GPT分区因此需要使用UEFI引导
制作NTFS分区USB部署引导盘（可选）
制作WINPE启动盘ISO文件或者WINPEUSB盘，ISO文件用于带外管理挂在使用，如果是采用USB盘启动的方式，为了兼容UEFI/BIOS，默认WINPE使用FAT32分区，无法直接将VHDX启动文件拷贝到USBWINPE盘中，因此建议额外准备一个NTFS分区的U盘拷贝VHDX，或者按照下述方式制作便携的带NTFS分区的WINPEUSB盘并把VHDX启动文件拷贝至该分区。
下载并安装UltroISO试用版，
下载安装WindowsADK,
添加测试需要的WINPE驱动和ISO映像文件，请参考
和
下载BaremetalWINPE-GPT.cmd,BaremetalWINPE-BMR.cmdWINPE初始化批处理脚本，拷贝到ISO映像
在UltraISO中挂在WINPEISO镜像例如d:
\WINPE_AMD64
插入USB盘（确保USB数据不再需要）并选择启动->写入硬盘映像（注意设置写入方式为USB-HDD+,启动分区设置为高端隐藏），将BaremetalWINPE-GPT.cmd,BaremetalWINPE-BMR.cmd写入ISO文件。
写入完成后，WINPE被写入到隐藏分区中，之后将USB盘识别并挂在的分区格式化为NTFS分区即可，将用于启动的VHDX文件拷贝至该分区。
带外管理确保OOB可以访问VHD的共享路径netuse\\ShareServer\ShareVHD\/user:
确认安装系统分区并放置VHD启动文件的硬盘，启动类型建议采用UEFI
通过USB或者带外启动制作好的的WINPE环境，wpeinit完成后，在console界面直接输入封装在WINPE环境本地的脚本，BaremetalWINPE-GPT.cmd，如果是BIOS运行BaremetalWINPE-BMR.cmd，根据提示参数选择本地USBVHD或者网络VHD（OOB），根据需要选择启动和放置VHD文件的硬盘号（默认引导的硬盘，例如0），制作完成后重新启动VHD进入测试系统环境。
注意对于PrepareVHD.ps1的客户化：
•如果需要将自动创建的VHD引导之后自动离线加入到事先创建的域环境，请使用-Djoin-Domainname
◆确认制作VHD的主机加入到此AD域，并且可以访问DC
◆确认以该域管理员登录
•默认会创建DataCenterEdition，可以根据测试需要选择其他Edition，例如指定ServerDataCenterCore为-EditionServerDataCenterCore
•默认通过无人值守应答文件创建默认管理员密码User@123，可以根据测试需要通过PrepareVHD.ps1的参数-AdminPassword
•考虑到实验环境，因此默认应答文件会关闭测试主机系统的本地防火墙
•另外，可以根据本脚本步骤创建用于测试的虚拟机环境，需要通过Usage参数为VHDX文件创建系统分区和BCDStore，设置参数为-UsageVirtualMachine及-reboot$false；另外默认虚拟机磁盘为MBR分区，因此创建虚拟机需要设置为一代虚拟机方式；创建二代虚拟机请指定参数-VHDPartitionStyleGPT。
•如需修改其他配置参数，请参考
超融合架构部署和验证
导入或创建AD域虚拟机到管理节点
如果事先制作了AD域虚拟机，则需要将其导入到现有环境中，建议在实际测试中用一台额外的管理网络可达的物理导入（如果利用当前环境，则可以选择一个物理节点通过VHDNative引导，以本地管理员登录后导入AD域虚拟机），注意分配给该虚拟机的虚拟网络（管理网络）所有物理节点均可以连接即可开始后面的步骤。
如果没有事先制作直接导入的AD域虚拟机，则请根据实际测试需要创建相应的AD域，并确保所有通过VHDNative引导的物理机可以正常访问AD域控制器虚拟机的虚拟网络（管理网络）。
注意：
对于管理网络，AD域控制器的虚拟机可以连接SET虚拟网络划分的VLAN，如果环境允许也可以连接额外的物理网卡（VLAN）。
将所有物理主机加入域（可选）
如果在制作时选择制作引导VHD自动离线加入域，则需要在每个测试节点完成如下操作加入测试域环境：
$securePassword=|ConvertTo-SecureString-AsPlainText-Force
$userName="\administrator"
$domainCred=New-ObjectSystem.Management.Automation.PSCredential-ArgumentList$userName,$securePassword
Add-Computer-DomainName"Domainname"-Credential$domainCred
Restart-computer
为物理主机添加角色
以管理员登录其中一个节点，添加所有所需的测试角色并重启所有节点，
$nodes=（"","",""）
icm$nodes{Install-WindowsFeature-NameHyper-V,File-Services,Failover-Clustering,Data-Center-Bridging-IncludeManagementTools-Restart}
清除所有测试磁盘及分区信息
$nodes=（"","",""）
icm$nodes{
$pools=Get-StoragePool-IsPrimordial$False-ErrorVariableErr-ErrorActionSilentlyContinue
if（$pools-ne$null）{
$pools|Set-StoragePool-IsReadOnly$False-ErrorVariableErr-ErrorActionSilentlyContinue
$pools=Get-StoragePool-IsPrimordial$False-ErrorVariableErr-ErrorActionSilentlyContinue
$pools|Get-VirtualDisk|Remove-VirtualDisk-Confirm:
$False
$pools|Remove-StoragePool-Confirm:
$False
}
}
验证测试物理磁盘信息
icm-ComputerName$nodes{Get-PhysicalDisk|?
{$_.CanPool-eq$true}|selectFriendlyName,MediaType,BusType|sort-Descendingmediatype|ft}
确认可以添加到StoragePool中的物理磁盘Bustype非RAID，MediaType至少2个以上SSD
设置存储网卡
存储网络配置需要在每个节点上进行配置，验证环境中需要根据实际的网卡类型和数量选择相应的配置方法，这里分为iWAR，ROCE和NON-RDMA三种参考情况。
多张网卡将采用SET模式（EmbeddedTeaming）
iWAR（Chelsio）
New-VMSwitch-Name""-NetAdapterName"","Add-VMNetworkAdapter-SwitchNameInternal-Switch-NameSMB_1-managementOS
Add-VMNetworkAdapter-SwitchNameInternal-Switch-NameSMB_2-managementOS
Set-VMNetworkAdapterVlan-VMNetworkAdapterName"SMB_1"-VlanId-Access-ManagementOS
Set-VMNetworkAdapterVlan-VMNetworkAdapterName"SMB_2"-VlanId-Access-ManagementOS
Disable-NetAdapter"vEthernet（SMB_1）"
Enable-NetAdapter"vEthernet（SMB_1）"
Disable-NetAdapter"vEthernet（SMB_2）"
Enable-NetAdapter"vEthernet（SMB_2）"
Enable-NetAdapterRDMA"vEthernet（SMB_1）","vEthernet（SMB_2）"
注意：
•如果只有一个网卡用于测试，可以不指定-EnableEmbeddedTeaming参数
•VLAN参数对于部署iWARP环境是可选的
•设置两个vNIC的目的是可以充分使用到两个物理网络的带宽。
RoCE（Mellanox）
对于RoCE则较为需要配置为DCB配置PFC（级别流量控制）。
#ConfigurePFC
New-NetQosPolicy“SMB”–NetDirectPortMatchCondition445–PriorityValue8021Action3
Enable-NetQosFlowControl–Priority3
Disable-NetQosFlowControl–Priority0,1,2,4,5,6,7
Enable-NetAdapterQos–InterfaceAlias“",""
New-NetQosTrafficClass“SMB”–Priority3–BandwidthPercentage30–AlgorithmETS
#EnableSMBDirectNetworkRDMA
New-VMSwitch-Name""-NetAdapterName"","Add-VMNetworkAdapter-SwitchNameInternal-Switch-NameSMB_1-managementOS
Add-VMNetworkAdapter
升级会员 