RDMLUN重新扫描过程可能需要很长时间分析.docx

1、RDMLUN重新扫描过程可能需要很长时间分析可查看由带有 RDM 的 MSCS 节点所使用的 RDM LUN 的 ESXi/ESX 主机启动或 LUN 重新扫描过程可能需要很长时间 (2081951) Symptoms免责声明：本文是 ESXi/ESX hosts with visibility to RDM LUNs being used by MSCS nodes with RDMs may take a long time to start or during LUN rescan (1016106) 的翻译版本。尽管我们会不断努力为本文提供最佳翻译版本，但本地化的内容可能会过时。有关最

2、新内容，请参见英文版本。 ESXi/ESX 4.x 和 ESXi 5.x 主机启动需要很长时间。这一时间取决于连接 ESXi/ESX 主机的 RDM 的数量。注意：对于在含有两个节点的 MSCS 群集中使用 10 个 RDM 的系统，使用辅助节点重新启动 ESXi/ESX 主机大约需要 30 分钟的时间。而对于所用 RDM 数量较少的系统，重新启动的时间会缩短。例如，如果只使用三个 RDM，则重新启动的时间约为 10 分钟。 ESXi 会间歇性地在“摘要”选项卡上显示一条错误消息，vSphere Client 可能无法启动：无法同步主机 hostname。操作超时 (Cannot synchr

3、onize host hostname. Operation Timed out)。 日志记录屏幕显示此消息后一直在等待启动：正在加载多数据区模块 (Loading module multiextent)。 群集正在运行加入到主机间使用共享 RDM 和 SCSI 预留的 MSCS 中的虚拟机，而另一个主机上的虚拟机是保存 SCSI 预留的活动群集节点。 在以下步骤中出现延迟：o 起始路径声明和 SCSI 设备发现在重新启动 ESXi 主机时生成的 vmkernel.log 文件中（根据 ESXi 的版本查看日志文件，请参见下面的注释），您会看到类似以下内容的条目：vmkernel: 0:00:

4、01:57.828 cpu0:4096)WARNING: ScsiCore: 1353: Power-on Reset occurred on naa.6006016045502500176a24d34fbbdf11vmkernel: 0:00:01:57.830 cpu0:4096)VMNIX: VmkDev: 2122: Added SCSI device vml0:3:0 (naa.6006016045502500166a24d34fbbdf11)vmkernel: 0:00:02:37.842 cpu3:4099)ScsiDeviceIO: 1672: Command 0x1a to

5、device naa.6006016045502500176a24d34fbbdf11 failed H:0x5 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0o 挂载 RDM LUN 的分区在重新启动 ESXi/ESX 主机时生成的 vmkernel.log 文件中，您会看到类似以下内容的条目：vmkernel: 0:00:08:58.811 cpu2:4098)WARNING: ScsiCore: 1353: Power-on Reset occurred on naa.600601604550250083489d914fbbdf11vmkerne

6、l: 0:00:08:58.814 cpu0:4096)VMNIX: VmkDev: 2122: Added SCSI device vml0:9:0 (naa.600601604550250082489d914fbbdf11)vmkernel: 0:00:09:38.855 cpu2:4098)ScsiDeviceIO: 1672: Command 0x1a to device naa.600601604550250083489d914fbbdf11 failed H:0x5 D:0x0 P:0x0 Possible sense data: 0x0 0x0 0x0.vmkernel: 0:0

7、0:09:38.855 cpu1:4111)ScsiDeviceIO: 4494: Could not detect setting of QErr for device naa.600601604550250083489d914fbbdf11.Error Failure.vmkernel: 0:00:10:08.945 cpu1:4111)WARNING: Partition: 801: Partition table read from device naa.600601604550250083489d914fbbdf11 failed: I/O errorvmkernel: 0:00:1

8、0:08.945 cpu1:4111)ScsiDevice: 2200: Successfully registered device naa.600601604550250083489d914fbbdf11 from plugin NMP of type 0vmkernel: 47:02:52:19.382 cpu17:9624)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservation Command,service action 0 type 4vmkernel: 47:02:52:19.38

9、3 cpu17:9624)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservation Command,service action 0 type 4vmkernel: 47:02:52:19.383 cpu23:9621)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservation Command,service action 0 type 4vmkernel: 47:02:52:19.383 cpu17:

10、9624)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservation Command,service action 0 type 4vmkernel: 47:02:52:19.383 cpu12:4108)WARNING: NMP: nmpUpdatePResvStateSuccess: Parameter List Length 54310000 for service action 0 is beyondthe supported value 18vmkernel: 47:02:52:19.38

11、3 cpu12:4108)WARNING: NMP: nmpUpdatePResvStateSuccess: Parameter List Length 54310000 for service action 0 is beyondthe supported value 18vmkernel: 47:02:52:19.383 cpu3:5733)WARNING: NMP: nmpUpdatePResvStateSuccess: Parameter List Length 54310000 for service action 0 is beyondthe supported value 18v

12、mkernel: 47:02:52:19.384 cpu12:9738)WARNING: NMP: nmpUpdatePResvStateSuccess: Parameter List Length 54310000 for service action 0 is beyondthe supported value 18vmkernel: 47:02:52:21.383 cpu23:9621)WARNING: NMP: nmp_IsSupportedPResvCommand: Unsupported Persistent Reservation Command,service action 0

13、 type 4 如果配置现有 VMFS LUN 上的设置，可能会在 vmkernel.log 文件中看到以下条目：cpu4:10169)WARNING: Partition: 1273: Device naa.XXXXXXXXXXXXXXXXXXXxxxxxxxxxxxxx with a VMFS partition is marked perennially reserved.This is not supported and may lead to data loss.cpu4:10169)WARNING: Partition: 1273: Device naa.XXXXXXXXXXXXX

14、XXXXXXxxxxxxxxxxxxx with a VMFS partition is marked perennially reserved.This is not supported and may lead to data loss.cpu4:10169)WARNING: Partition: 1273: Device naa.XXXXXXXXXXXXXXXXXXXxxxxxxxxxxxxx with a VMFS partition is marked perennially reserved.This is not supported and may lead to data lo

15、ss.注意：不同版本 ESX/ESXi 的 vmkernel.log 文件的位置说明详见 Location of log files for VMware products (1021806)。Purpose本文介绍了一个特定问题。如果出现所有症状，请查阅各部分内容。如果仅遇到其中的部分症状，则可在 Knowledge Base 中搜索您遇到的症状，或者参见以下文章： vSphere ESX/ESXi 4.x stops during start up at the step: multiextent loaded successfully (2003424) ESX machines hos

16、ting passive MSCS nodes report reservation conflicts during storage operations (1009287) ResolutionESXi/ESX 4.x该问题在 2011 年 7 月 8 日发行的 VMware ESXi/ESX 4.1 修补程序中已解决。有关详细信息，请参见： ESXi 4.1: VMware ESXi 4.1 Patch ESXi410-201107401-BG: Updates Firmware (2000609) ESX 4.1: VMware ESX 4.1 Patch ESX410-2011074

17、01-BG: Updates VMkernel, VMX, CIM (2000604)除了安装修补程序外，在受影响的 ESXi/ESX 主机上修改此高级配置选项也可以加快启动过程： ESXi/ESX 4.1：将高级选项 Scsi.CRTimeoutDuringBoot 改为 1。 ESXi/ESX 4.0：将高级选项 Scsi.UWConflictRetries 改为 80。有关更改高级配置选项的详细信息，请参见 Configuring advanced options for ESXi/ESX (1038578)。在 ESXi/ESX 4.1 上，如果重新扫描时间仍然增加，则解决该问题的最佳

18、选择是将主机升级到 ESXi 5.0，其中包括上述两项修复（即在 2011 年 7 月 28 日发行的修补程序以及将高级选项 Scsi.CRTimeoutDuringBoot 改为 1）。在现有 LUN 上配置 perennially-reserved 设置之前，可以验证 LUN 是否挂载为 VMFS LUN。要查看现有设置，可运行以下命令：esxcfg-scsidevs -m|grep naa.XXXXXXXXXXXXXXXXXXX在 ESXi 5.0 中，问题“无法同步主机 hostname。操作超时 (Cannot synchronize host hostname. Operation

19、 Timed out)”已修复，建议升级到 ESXi 5.0 或更高版本。ESXi 5.0 ESXi 5.0 引入了一个配置标记，将每个加入到 MSCS 群集中的设备标记为永久保留，从而用一种不同的方法来确定 MSCS 群集设备是否使用了裸设备映射 (RDM) LUN。在 ESXi 主机启动期间，存储中间层会在设备声明阶段尝试发现所有提供给 ESXi 主机的设备。但是，带有永久 SCSI 预留的 MSCS LUN 会使启动过程变长，这是因为，由于永久性 SCSI 预留被其他 ESXi 主机上托管的活动 MSCS 节点放到了某个设备上，而使 ESXi 主机无法询问 LUN。对于每个 ESXi 主

20、机，都是在本地将设备配置为永久预留，并且必须对可查看加入到 MSCS 群集中的每个设备的每个 ESXi 5.0 主机执行该配置。这可以缩短可以查看设备的所有 ESXi 主机的启动时间。不支持使用 vSphere 主机配置文件应用该设置。就其本身而言，使用 vSphere Auto Deploy 部署的 ESXi 5.0 主机无法利用此功能。注意：在 ESXi 5.0 中，高级选项 Scsi.CRTimeoutDuringBoot 不再有效。升级到 ESXi 5.0 要升级到 ESXi 5.0，请执行以下操作：对于每台可查看 MSCS RDM LUN 的主机：1. 必须关闭群集中的所有虚拟机。

21、2. 在升级之前，请卸载主机中的所有 MSCS RDM： a. 确定哪些 RDM LUN 属于 MSCS 群集。 b. 在 vSphere Client 中，选择映射到 MSCS 群集 RDM 设备的虚拟机。 c. 编辑虚拟机设置并导航到映射的裸 LUN。 d. 选择“管理路径”以显示每个映射裸 LUN 的设备属性和其设备标识符（即，naa ID）。 e. 记下每个由此找到的 naa ID，此 ID 是 RDM 的全局唯一标识符。 f. 遮蔽主机中所有 MSCS RDM 设备的路径。有关详细信息，请参见 Masking a LUN from ESX and ESXi using the MAS

22、K_PATH plug-in (1009449)。 g. 在存储阵列上，去除主机中的所有 MSCS RDM 设备。3. 将主机升级到 ESXi 5.0。有关详细信息，请参见 Methods of upgrading to ESXi 5.0 (2004501)。 4. 重新启动后，使用该主机上的 esxcli 命令将每台 RDM 设备标记为永久预留：esxcli storage core device setconfig -d naa.id -perennially-reserved=true注意：即使 LUN 当前未提供给主机，该命令也有效。5. 将 MSCS RDM 设备重新提供给主机并重新

23、扫描。 6. 通过在主机上运行此命令确认已将正确的设备标记为永久预留：esxcli storage core device list |less注意：重新启动主机时，MSCS 设备不应出现问题。已升级的 ESXi 5.1/5.5 主机要在已升级的 ESXi 5.1/5.5 主机上将 MSCS LUN 标记为永久预留，可以在主机配置文件中设置永久预留标记。有关详细信息，请参见 vSphere 文档中心内以下指南的“vSphere MSCS 设置对照表 ”部分： vSphere 5.1 Resource Management Guide vSphere 5.5 Resource Managemen

24、t Guide托管带有 RDM LUN 的 MSCS 节点的主机使用 esxcli 命令将设备标记为永久预留 esxcli storage core device setconfig -d naa.id -perennially-reserved=true注意：无状态 Auto Deploy 将在启动时擦除所有设置，因此无法设置会导致启动时出现长时间延迟的“永久预留”标记。已升级的 ESXi 5.0 主机 要在已升级的 ESXi 5.0 主机上将 MSCS LUN 标记为永久预留，请运行本文“已升级的 ESXi 5.1/5.5 主机”部分中的 esxcli 命令，所有后续重新扫描/启动都将以正

25、常速度进行。1. 确定哪些 RDM LUN 属于 MSCS 群集。 2. 在 vSphere Client 中，选择映射到 MSCS 群集 RDM 设备的虚拟机。 3. 编辑虚拟机设置并导航到映射的裸 LUN。 4. 选择“管理路径”以显示映射裸 LUN 的设备属性和设备标识符（即，naa ID）。 5. 记下 naa ID，此 ID 是共享设备的全局唯一标识符。 6. 使用 esxcli 命令将设备标记为永久预留：esxcli storage core device setconfig -d naa.id -perennially-reserved=true7. 要验证设备是否已永久预留，请

26、运行以下命令：esxcli storage core device list -d naa.id在 esxcli 命令的输出中，搜索条目 Is Perennially Reserved: true。该条目表明设备已标记为永久预留。8. 对加入到 MSCS 群集中的每个映射裸 LUN 重复该过程。注意：配置将随着 ESXi 主机永久存储，在重新启动期间继续存在。要移除永久预留标记，请运行以下命令：esxcli storage core device setconfig -d naa.id -perennially-reserved=falsePowerCLI 5.0 要使用 PowerCLI 将

27、 MSCS LUN 标记为永久预留，可以直接通过 PowerCLI 使用 esxcli 功能。检索 esxcli 实例并调用其任意方法。有关详细信息，请参见 VMware vSphere PowerCLI Blog。要检索 esxcli 实例，请运行以下命令：Connect-VIServer -Server xxx.xxx.xxx.xxx -User xxxxx -Pass xxxxx要设置 esxcli 实例，请运行以下命令：$myesxcli= get-esxcli -VMHost ESXhost要列出设备，请运行以下命令：$myesxcli.storage.core.device.lis

28、t()要确定 PowerCLI 参数，请运行以下命令：$myesxcli.storage.core.device.setconfigTypeNameOfValue : VMware.VimAutomation.ViCore.Util10Ps.EsxCliExtensionMethodOverloadDefinitions : void setconfig(boolean detached, string device, boolean perenniallyreserved)MemberType : CodeMethodValue : void setconfig(boolean detach

29、ed, string device, boolean perenniallyreserved)Name : setconfigIsInstance : True要按设备 naa ID 列出详细信息，请运行以下命令：$myesxcli.storage.core.device.list(naa.50060160c46036df50060160c46036df)AttachedFilters :DevfsPath : /vmfs/devices/disks/naa.50060160c46036df50060160c46036dfDevice : naa.50060160c46036df5006016

30、0c46036dfIsPerenniallyReserved : falseIsPseudo : true要将设备设置为永久预留，请运行以下命令：$myesxcli.storage.core.device.setconfig($false, naa.50060160c46036df50060160c46036df, $true)要验证参数更新，请运行以下命令：$myesxcli.storage.core.device.list(naa.50060160c46036df50060160c46036df)AttachedFilters :DevfsPath : /vmfs/devices/disk

31、s/naa.50060160c46036df50060160c46036dfDevice : naa.50060160c46036df50060160c46036dfIsPerenniallyReserved : trueIsPseudo : true要移除永久预留标记，请运行以下命令：$myesxcli.storage.core.device.setconfig($false, naa.50060160c46036df50060160c46036df, $false)ESXi 6.0 主机本文前三部分中涵盖的将 MCSC 群集 RDM 设置为永久预留的命令行、vSphere Client 和 PowerCLI 方法对于对于所有 ESXi 6.0 主机同样适用。Additional Information有关详细信息，请参见 Obtaining LUN pathing information for ESX or ESXi hosts (1003973) 和 Using Tech Support Mode in ESXi 4.1 and ESXi 5.x (1017910)。注意：PowerCLI 和 esxcli 命令区分大小写。如果在发出命令时以大写字母指定 naa.id，则会在 ESXi 主机上添加一个新的设备。本文中的解