EMC VMAX 100K + EMC VMAX 10K + EMC VPLEX + EMC RPA容灾的日常管理和维护.docx

EMC VMAX 100K + EMC VMAX 10K + EMC VPLEX + EMC RPA容灾的日常管理和维护.docx

《EMC VMAX 100K + EMC VMAX 10K + EMC VPLEX + EMC RPA容灾的日常管理和维护.docx》由会员分享，可在线阅读，更多相关《EMC VMAX 100K + EMC VMAX 10K + EMC VPLEX + EMC RPA容灾的日常管理和维护.docx（39页珍藏版）》请在冰豆网上搜索。

EMCVMAX100K+EMCVMAX10K+EMCVPLEX+EMCRPA容灾的日常管理和维护

我司架构基本情况介绍

生产中心存储介绍

我司主生产中心A机房目前运行有两台EMCVMAX100K高端存储，此存储主要承载我行所有业务数据和虚拟化平台中重要业务系统的虚拟服务器，为了保证我司各业务系统的稳定性和数据的可靠性，我司同时部署一套存储虚拟化设备EMCVPLEX，将我司A机房两台EMCVMAX100K高端存储实现了本地镜像冗余，确保双存储模式下任意一台存储宕机都不会导致我司业务系统受影响或数据丢失。

两地三中心基本介绍

为了满足行业技术监管要求，我司目前有主生产中心A机房、同城灾备中心B机房和异地灾备中心C机房，目前A和B两个机房之间已实现裸光纤通信，物理上为两个机房，理论上其实跟同一个机房并没有太大区别，A和C两个机房之间通过200MB的物理专线进行通信，构建了我司两地三中心的基本框架。

前述介绍到我司主生产中心A机房存储已实现了本地镜像冗余，为了保障各业务系统的稳定性和连续性我司部分重要业务系统已实现了A和B机房的应用级双活，数据级双活目前处在验证阶段。

目前我司同城灾备中心B机房已满足在主生产中心A机房全面崩溃的情况下，同城灾备中心B机房能够全面接管我司所有面向客户交易类业务系统或其它非交易但是重要的业务系统，因此必须将数据从A机房实时复制至B机房，构建数据库的实时复制关系其实手段很多，特别是ORACLE数据库第三方的实时同步软件一抓一大把，同时ORACLE自身也提供了ADG，我司由于历史原因，目前同城灾备中心数据的实时复制主要采用EMCRPA（RecoverPointadapter）来完成数据的实时复制关系，异地灾备中心C机房采用了informixHDR和oracleADG实现数据的实时复制关系。

目前我司主生产中心A机房和同城灾备中心B机房都部署有EMCVPLEX，A机房存储为EMCVMAX100K，B机房存储为EMCVMAX10K，两个机房的存储都是先分配给VPLEX然后再分配给主机组或EMCRPA复制关系组，并实现数据的实时复制关系。

接下来我们主要介绍主生产中心的变动如新增主机组、为主机新增加磁盘卷等，A和B两个机房存储、VPLEX和RPA相应的调整和管理。

生产端数据库服务器新增磁盘卷EMCvmax100k/vmax10k/vplex/RPA的相关调整和操作

生产中心A机房数据库运行一段时间后，数据库表空间和ASM磁盘组都已经没有太多剩余空间，因此为了避免表空间达到100%导致业务系统暂停的现象，需要及时从存储端分配磁盘卷给oracleRAC主机组，生产中心A机房为主机组分配存储空间后，相应的vplex、同城灾备机房存储和RPA都需要做出相应的调整和变更，才能保证A机房和B机房数据库原有的容灾复制关系。

VMAX100K通过VPLEX为主机分配磁盘

Vmax100k创建磁盘卷

EMC高端存储VMAX100KWEB管理都是通过一台PC终端服务器安装管理软件来实现，此PC服务器可以同时管理多台VMAX100K，如下图我司此PC终端管理了两台VMAX100K,我们选中需要划分磁盘卷的那一台存储，然后双击。

进入volumes界面点击“CreateVolumes”按钮，然后弹出一个子会话框，选择磁盘分配类型此处我司采用精简分配模式“TDEV”，Emulation我司选择FBA（前端口），磁盘卷数量和大小自定义，由于我司存储还采用了EMCVPLEX实现了存储的镜像冗余，因此我们需要点击“select”按钮，保证此磁盘卷新建后即刻加入EMCVPLEX可以识别的存储组中，对于隐藏属性保持默认即可，也可以点击“showAdvanced”展开并核实，确认没有问题后点击“RunNow”执行磁盘卷创建工作，创建完成后会提示成功。

Vmax100k将磁盘卷加入VPLEX磁盘组

进入StorageGroupDashboard界面选择正确的VPLEX磁盘管理组，然后双击

确认没问题后点击Volumes-374（显示为我司目前已加入VPLEX磁盘管理组的数量）

由于在创建磁盘卷时我们已经选择了将新建磁盘卷同时加入此组，因此进入此界面后我们就可以看到上面我们创建的13个磁盘卷已经自动加入此界面，如果上面没有选择自动加入那么在此界面我们点击“AddVolumestoSG”，手动将前面创建的磁盘卷加入此磁盘组即可。

注：

为了增强存储的冗余性和数据的安全性，我司使用了EMCVPLEX设备将PC终端服务器管理的两台VMAX100K配置了本地存储镜像，因此此WEB管理界面显示的两个存储都需要创建相同数量和大小的磁盘卷，才能保证后面的VPLEX能够顺利创建磁盘卷的本地镜像。

VMAX100K磁盘在Vplex中的操作

步骤一：

发布磁盘卷

进入StorageVolumes界面看到前面分配过来的磁盘卷显示的都是WWN号，同时状态显示为unclaimed，因此我们点击“ClaimAllStorageonSupportingArray”按钮发布我们前面新建的磁盘卷。

确认选择的存储没有问题后点击“下一步”

选择“使用精简模式”并点击“下一步”

将需要发布的磁盘卷从左边框移入右边框中，确认无误后点击“下一步”

再次确认没有问题的点击“提交”，然后会显示创建成功信息，最后点击“关闭”

步骤二：

创建Extends

进入Extends界面创建分区，点击“Create”按钮，弹出子会话框，将需要创建分区的磁盘卷移至右边，分区支持多个存储的磁盘卷一起处理，确认无误点击下一步

确认无误后点击下一步，转入再次确认界面，然后再点击提交，创建成功后会显示成功信息。

步骤三：

创建Devices

进入创建Devices界面，点击“Create”按钮弹出子会话框，选择如图标示的选项，然后点击下一步。

将需要创建为Devices的extents移入右边框，确认无误后点击下一步。

选择不自动为每个设备自动创建虚拟卷，然后点击下一步。

确认无误后点击“提交”，创建完成后会显示成功信息。

Devices界面注解

对于Devices界面的VirtualVolume列，如果此Devices设备已经创建了虚拟卷，在VirtualVolume列中我们可以看到虚拟卷的卷标识名，否则此列为空，同时也说明此设备还没有分配给任何主机，因为将devices设备分配给主机的前提，是必须创建虚拟卷。

我司采用EMCVPLEX为主存储的磁盘做了本地镜像，备存储的镜像盘通常不需要创建虚拟卷，同时如果备存储的Devices设备已分配给主存储盘作为镜像盘，那么此Devices设备就不会再显示在此界面中。

我们再次观察此界面的Geometry列，发现如果设备做了镜像的那么此列的值为raid-1如果没有做镜像此列的值为raid-0。

步骤四：

创建VirtualVolume

进入Devices界面，点击“CreatefromDevices”，弹出子会话框，将需要创建虚拟卷的Device设备移入右边框中，然后点击“确定”，创建完成后会显示创建成功信息，最后点击关闭，至此虚拟卷创建成功。

VirtualVolume界面的注释

下图我们观察VirtualVolume界面的ServiceStatus列，我们发现此列状态如果为Running说明此虚拟卷已被使用，如果为Unexported说明此虚拟卷为待使用状态，可以按需求将其分配给具体的主机。

步骤五：

添加镜像

进入Devices界面，点击“AddLocalMirror”按钮，弹出子会话框，将需要创建镜像的虚拟卷移动右边框，确认无误后点击“下一步”

进入此界面后会显示左右两边的磁盘卷，左边为主存储的虚拟卷，右边为备存储用于做镜像的Device设备，左右两边各选中一个卷确认对应关系无误后，点击“AddMirror”按钮就会将此对应关系添加至下面“SelectedMirrors:

”对话框中，待所有对应关系添加完成后点击下一步。

确定没有问题点击“提交”，然后会显示创建成功信息，最后点击关闭。

步骤六：

将虚拟卷分配给主机组

进入StorageViews界面，选择右边框中的某一个条目，此条目通常为一个主机组（比如一套oracleRAC里面就有至少两台服务器），然后点击右边的“Add”按钮。

在左边框中选中需要分配给主机组的5个虚拟磁盘卷，然后点击“Add”按钮会将选中的卷移入右边框，再次确认无误后点击“确定”按钮即可，最后会显示添加成功信息，至此VMAX100K新的磁盘卷通过EMCVPLEX已成功分配给主机，下面就可以进入对应的主机中去扫盘。

扫盘简述：

对于AIX操作系统用cfgmgr-v命令进行操作就完成了磁盘的扫描工作；Linux扫盘请参考本人文档“

通常我们在维护虚拟磁盘卷时为了便于识别，建议将分配给具体某个主机的虚拟磁盘卷的标识名，修改为便于识别和管理的名字，如图选中某个虚拟卷，然后单击左键，弹出一个子会话框在“VirtualVolumeName”框中输入自己便于识别的标识名，如图我只是在此名字中加入CIF三个字母。

步骤七：

将虚拟卷加入对应的一致性组

我司数据通过EMCRPA实现了主生产中心A机房实时复制至同城灾备中心B机房，因此对于需要将数据从主生产中心A机房实时复制至同城灾备中心B机房的磁盘卷，必须要加入一致性组中，一般情况下为了管理的直观性一个主机组通常对应一个一致性组，如下图我的一致性组有一个CIF组那么在主机组中我基本也有一个名字与其对应的CIF组，选中这个CIF一致性组，然后点击“添加”按钮，将第六步中已分配给这个CIF主机组的虚拟磁盘卷再次添加至这个一致性组中。

注：

上面说的是为了管理的直观性一个主机组通常对应一个一致性组，实际上主机组和一致性组并没有任何关联关系。

通常在主生产中心端对于非重要的数据库，那么就不需要复制到灾备中心，这时在主生产中心会存在有主机组但没有一致性组的现象；在备生产中心由于数据库服务器设备有限，尽管我们通过EMCPRA构建了数据库虚拟磁盘卷的实时复制关系，但在灾备中心我们并没主机存在所以也就没有构建主机组，这时在灾备中心会存在有一致性组但并没有主机组的现象。

在查找中输入需要加入的虚拟磁盘卷，快速定位，然后选中需要移入右边框的虚拟磁盘卷点击“Add”，确定无误并点击“确定”按钮，最后会显示添加成功的信息。

（注意：

此处选择的虚拟磁盘卷跟第六步中分配给具体主机组的虚拟磁盘卷要保持一致）。

步骤八：

将磁盘卷加入RPA设备组

对于VPLEX来说RPA设备也是主机设备，因此以上步骤操作完成后，还需要将所有需要通过EMCRPA设备来实现实时复制关系的虚拟磁盘卷全部都要加入此设备组，点击“Add”按钮会弹出一个子会话框。

在此子会话框中勾上图中标识的复选框，因为左边显示列表中默认只显示未分配给任何主机的虚拟磁盘卷，而我们要加入RPA设备组的虚拟磁盘卷已经分配给具体的主机组，选中前面我们分配给CIF主机组的5个虚拟磁盘卷然后移入右边框，点击ADD的时候会提示我们这些虚拟磁盘卷已分配给另一个存储主机组，我们点击“是”

以上操作完成点击确定然后等待几分钟后会弹出以下警告，其实跟上面的提示基本是一个意思，就是此虚拟磁盘卷对应两个主机组。

Vmax10K通过VPLEX为同城灾备中心主机组和一致性组新增对应磁盘

Vmax10k创建磁盘卷

上图我们给三套数据库共增加了13个磁盘，那么我们在同城灾备中心B机房相应的也要增加13块磁盘，登陆进入VMAX10K存储，如下图双击存储，进入此存储的主界面。

进入Volumes界面点击“VirtualVolume”中的TDEV添加精简模式的虚拟卷

在此界面先点击“Create”按钮，弹出子会话框，Configuration选择TDEV，Emulation选择FBA（前端卡），磁盘数量和大小自定义，Bindtopool选择自定义的池（磁盘卷没有加入具体的池中是无法被使用和分配），“showAdvanced”展开并核实且一般操持默认，确认此界面无误后点击“RunNow”，最后显示创建成功信息。

Vmax10k将磁盘卷加入VPLEX磁盘组

进入StorageGroups界面，点击我司已创建好的存储组名，此界面操作的目的是将上面新创建的磁盘卷加入此存储组后，便于VPLEX设备可以及时识别到我们刚创建好的磁盘卷，双击我们需要添加磁盘卷的存储组。

确认没问题后点击Volumes-239（显示为我司此存储目前已加入此磁盘组的磁盘数量）。

点击“Add”按钮，弹出一个子会话框，然后选择我们前面已创建好的13个磁盘卷，再点击OK，最后弹出添加成功信息。

VMAX10K磁盘在Vplex中的操作

这个跟VMAX100K将磁盘卷注册给VPLEX的操作基本一致，详细步骤参考《VMAX100K磁盘在Vplex中的操作》这个章节，只是做为灾备中心存储没有必要再做镜像同时对于这个章节的第七和八两个步骤，切记必须要仔细核实，否则EMCPRA设备识别不到我们的虚拟磁盘卷。

通过EMCRPA重构复制关系

以上步骤主要介绍了主备中心存储新增磁盘卷，并将新增磁盘卷通过EMCVPLEX成功分配给具体的主机组或一致组，接下来的步骤主要是介绍如何通过EMCRPA重构主备中心的复制关系，EMCRPA复制关系构建也是按某一个主机组或某一个集群构建一个复制单元。

1、登陆RPA后进入“保护管理保护”界面，选中需要新增LUN复制关系的主机组，此处我们选中CIF结尾的主机组，如图右边的复制关系显示为“活动”状态。

2、点击“复制集”子标签页，此界面展示当前已构建好复制关系的磁盘卷，由于前面已新增了磁盘卷给这个主机组，那么我们需要点击“添加复制集”按钮。

3、选择我们在主生产中心VPLEX注册过来的虚拟磁盘卷（勾上前面的复选框），然后再点击“前进至选择拷贝卷”，去为主生产中心虚拟磁盘卷设置复制卷。

4、选中其中的一行点击右边的“选择卷”，会弹出一个子会话框。

5、此界面为主/备生产中心的虚拟磁盘卷匹配复制关系，先选中生产端虚拟磁盘卷然后再选中灾备端虚拟磁盘卷，确保生产和灾备虚拟磁盘卷标识选择无误后，点击“下一个生产卷”按钮，为另一个生产虚拟磁盘卷建立复制对应关系，直至此界面所有生产虚拟磁盘卷都建立了复制关系（此界面最后一个虚拟磁盘卷选择好对应关系后，“下一个生产卷”会自动置为灰色），并核实无误后点击“确定”按钮。

6、核主/备虚拟磁盘卷复制关系无误后点击“前进至检查复制集”按钮。

7、再次核实无误后点击“完成”按钮，然后会弹出提示内容“目前数据已建立的复制关系处于活动状态，且重构时原有的日志将全部被舍弃”，我们点击“是”重构复制关系。

8、再次回到保护管理保护界面，选择我们刚才的CG_CIF复制关系组，如图复制关系状态已显示为“初始化”，说明当前正在重构复制关系并进行初始化。

新购主机注册至EMCvplex、添加主机组和一致性组

主机注册至EMCvplex启动器

以我司最近采购的3台X86服务器为例，此3台X86服务器主要用于构建我行一套新的oracleRAC数据库平台。

进入Initiaors界面，光纤交换机中如果zone划分正确，那么此页面会自动识别出3台主机的光纤通道，如下图6条通道的信息，主要是6个HBA卡端口的WWN号，其中的Name根据自己的需求，在注册时自定义为便于自己维护管理和识别的名字。

点击“Register”按钮。

自定义新的名字，此处我去掉不必要的字符然后在前面加一个zcfzdb作为系统标识，HostType（根据自己平台选择，如果不清楚选择default，通常都是选择默认让平台自己去识别），然后点击确定，自此主机上分配至VPLEX中的HBA端口注册成功。

创建新的主机组

给oracleRAC集群主机分配共享存储，需要创建一个主机组，并将此RAC集群主机注册进来的HBA卡添加至这个新建主机组中，进入StorageViews界面，点击create创建一个新的主机组

将启动器中注册的6条通道全部加入至右边，点击下一步

此界面右边确定vplex后端端口没问题后点击下一步

由于此步骤暂不分配虚拟卷所以直接点击下一步

确认没有问题后点击提交，最后关闭，至此主机组创建成功，然后可以参照前面章节的步骤为主机组分配磁盘。

创建新的一致性组

进入ConsistencyGroups界面，点击create按钮

输入自定义的一致性组名，由于此处仅创建一致性组名，暂时不添加通过EMCRPA设备同步至同城灾备中心的虚拟卷，因此点击“完成”。

核实无误后点击提交，至此一致性组创建完毕。

添加需要同步至同城灾备中心的虚拟卷至一致性组的详细步骤，请参照前面的章节。

主机删除磁盘卷和存储回收空间的完整流程

磁盘卷通常都是分配给主机或数据库使用，正常情况下必须先在数据库和主机中移除磁盘卷后，再到存储设备上移除磁盘卷。

我司由于使用到了EMCVPLEX所以流程是先在主机中移除，然后再到VPLEX中移除磁盘设备信息，最后再到存储设备中移除磁盘卷，并释放空间。

主机移除EMC共享存储设备

1、此处以AIX小型机的文件系统为例讲述移除共享存储磁盘卷的流程，先列出此主机目前已挂载的文件系统。

2、列出此主机目前激活的VG，目前我们计划移除rmanvg和fzs两个VG和他们的磁盘卷。

#lsvg-o

rmanvg

fzs

rootvg

3、列出这两个VG分别是由那几个物理磁盘卷构成。

4、卸载文件系统，并通过smit按步骤移除文件系统挂载点。

unmount/fzs_de

unmount/home/oracle/rmanbak0916

smitfsAdd/Change/Show/DeleteFileSystemsEnhancedJournaledFileSystemsRemoveanEnhancedJournaledFileSystem按下图选择文件系统名称并删除挂载点，最后回车

5、通过smit命令按步骤移除VG。

smitvgRemoveaVolumeGroupVOLUMEGROUPname选择VG名称，回车

6、VG移除后，通过EMC多路径软件的命令列出磁盘卷的路径信息和每条路径对应的子设备名，然后通过remdev命令删除主设备和子设备。

rmdev-dlhdiskpower29

rmdev-dlhdisk118

rmdev-dlhdisk119

rmdev-dlhdisk120

rmdev-dlhdisk121

rmdev-dlhdiskpower30

rmdev-dlhdisk122

rmdev-dlhdisk123

rmdev-dlhdisk124

rmdev-dlhdisk125

7、检查磁盘卷删除情况，至此磁盘已从主机中移除。

主机中删除磁盘卷相关信息后，再进入vplex和VMAX100K存储将此存储卷对应的信息一并删除（如有镜像则含镜像），分别参照《主机删除完毕磁盘卷后VPLEX操作》和《主机删除磁盘卷后VMAX100K操作》章节。

主机删除磁盘卷后VPLEX操作

进入右边选项框中，将需要移除的磁盘卷从主机组中移除。

将此磁盘卷生成的虚拟卷删除。

将此磁盘卷对应的Device信息删除，同时在最右边选项框中确认此磁盘卷是否有镜像，如果有镜像还需要在此界面将镜像对应的设备一并删除。

在此界面中将此磁盘卷对应的分区信息移除。

选中此磁盘点击unclaimstorage，取消此磁盘卷的发布信息。

主机删除磁盘卷后VMAX100K操作

从vplex删除磁盘卷信息后，再回到存储设备确认需要删除的磁盘卷的WWN号，如有镜像，则两个存储分别删除

选中磁盘点击“RemoveVolumes”按钮，弹出对话框，选中“Unmap”（从前端口移出），最后点击“runnow”。

选择StartAllocate/Free/Reclaim….

选择FreeVolumes并将复选框一并勾选上，然后点击“runnow”。

上一步操作完成后等待半小时后，点击Delete按钮删除此磁盘卷。