存储设备故障处理指导书V12.docx

1、存储设备故障处理指导书V12 广东电网公司存储设备故障处理指导书广东电网公司信息中心二零一三年七月文档资料信息 文档名称： 广东电网公司存储设备故障处理指导书文档版本号： V1.0 准备者： 准备日期： 2013-07-01审定者： 审定日期： 版本历史 版本号： 版本日期： 修订者： 描述： 文件名： V1.02013-07-01编写广东电网公司存储设备故障处理指书一、存储设备日常作业工作事项表一：IBM存储设备项目名称业务范围排查及处理范围备注磁带库Driver故障处理1、磁带库1、检查带库前面板液晶屏故障信息相关回退方案2、备份服务器2、通过NBU软件确认故障3、磁带库3、更换磁带库驱动

2、磁带库空间满故障处理1、存储管理软件1、分析磁带使用情况相关回退方案2、磁带介质2、重置或者更换磁带3、存储管理软件3、重新扫描磁带IBM存储橙灯告警故障处理1、存储硬件1、检查存储面板灯状态2、存储管理软件2、收集存储日志IBM存储控制器故障处理1、存储硬件1、检查存储状态指示灯2、存储管理软件2、检查存储管理软件中的储存状态3、存储硬件3、更换控制器IBM EVA存储硬盘故障处理1、存储硬件1、检查存储设备状态指示灯2、存储管理软件2、检查存储管理软件中的储存状态3、存储硬件3、检查硬盘状态及更换故障硬盘IBM存储风扇故障处理1、存储硬件1、检查存储状态指示灯2、存储管理软件2、检查存储管

3、理软件中的储存状态3、存储硬件3、更换故障风扇 表二：HP存储设备项目名称业务范围排查及处理范围备注磁带库driver故障处理1、磁带库检查带库前面板液晶屏故障信息相关回退方案2、备份服务器通过NBU软件确认故障3、磁带库更换drive磁带库空间满故障处理1、备份服务器1、分析磁带状态相关回退方案2、磁带过期操作3、重新扫描磁带存储橙灯告警故障处理1、存储硬件1、检查存储面板灯状态2、存储管理软件2、收集存储日志HP EVA存储控制器1、存储硬件1、检查存储状态指示灯2、存储管理软件2、检查存储管理软件中的储存状态3、存储硬件3、更换控制器HP EVA存储硬盘故障处理1、存储硬件1、检查存储状

4、态指示灯2、存储管理软件2、检查存储管理软件中的储存状态3、存储硬件3、更换硬盘二、运维配置清单型号序列号管理IPIDC物理位置备份服务器IP备注IBM TS3200SN: 133975510.0.0.1主楼数据中心A02机柜10.151.80.6IBM DS4700SN: 13P6501192.168.128.101/102主楼数据中心C33机柜7.50.13.0存储HP MSL6000SN: STH66Y10.0.0.1主楼数据中心A02机柜10.151.80.X三、作业准备表一：IBM存储设备人员安排及分工故障日志及分析：平台管理员故障处理操作: 存储系统负责人工器具及资料准备序号内容标

5、准备 注1IBM Storage Manager Client10客户端管理软件符合信息安全管理规范2登录账号符合信息安全管理规范3支持文档及手册符合信息安全管理规范4风险评估手续 符合信息系统及机房作业 安全风险管理规范5应急预案及实施方案 符合信息安全管理规范表二：HP存储设备人员安排及分工故障日志及分析：平台管理员故障处理操作: 存储系统负责人工器具及资料准备序号内容标准备 注1NBU软件符合信息安全管理规范2登录账号符合信息安全管理规范3支持文档及手册符合信息安全管理规范4风险评估手续 符合信息系统及机房作业 安全风险管理规范5应急预案及实施方案 符合信息安全管理规范四、常见故障处理和

6、变更操作指导表一：IBM EVA存储硬盘故障处理HP EVA存储硬盘故障编号内容HD1存储硬件HD2存储管理软件HD3存储硬件表二：磁带库drive故障处理Driver故障编号现象DRV1磁带库DRV2备份服务器DRV3磁带库表三：存储橙灯告警故障处理存储橙灯告警故障编号内容LG1存储硬件LG2存储管理软件表四：磁带库空间满故障处理空间满故障编号内容SP1存储管理软件SP2磁带介质SP3存储管理软件表五：IBM EVA存储控制器故障处理HP EVA存储控制器故障编号内容CTL1存储硬件CTL2存储管理软件CTL3存储硬件 表六：IBM 存储风扇故障处理处理HP EVA存储硬盘编号内容FAN1存

7、储硬件FAN2存储管理软件FAN3存储硬件IBM存储设备（一）存储设备硬盘故障1.1、检查存储设备状态指示灯1）检查存储设备前面板是否亮橙告警灯，如下图1所示：（图1）2）检查存储设备硬盘是否亮橙色告警灯，如图2所示：（图2）1.2、检查存储管理软件中的储存状态1）将PC通过交换机连接至存储AB控制器网口。 设置PC的IP地址为192.168.128.100/24，并分别PING两个控制器的 地址：192.168.128.101和192.168.128.102直至连通为止。 2）在PC上安装IBM Storage Manager Client10客户端管理软件，然后通过管理软件连接存储控制器，

8、操作如图3所示:（图3）3）分别输入两台控制器的管理IP，并点击ADD, 如图4所示：（图4）4）连接存储设备成功后，通过状态栏标识判断，如图5所示：（图5）1.3、检查硬盘状态1）硬盘正常，则显示图标。2）硬盘不正常，则显示图标，需要更换磁盘。1.4、更换故障硬盘1）按住硬盘蓝色按扣后，向外平拔出故障硬盘，如图6所示：（图6）2）硬盘拔出大约30秒后将新的硬盘插进去，然后更换硬盘。存储自动开始同步数据。3）数据同步完毕后，查看硬盘的运行状态，更换完后通过SM软件查看对应的阵列前是是否有个小时钟，最好是看event log有没有copyback started。（二）磁带库Driver故障处理

9、2.1、检查磁带库前面板液晶屏故障信息与WEB界面故障确认1) 通过磁带库前面板液晶屏查看磁带库设备硬件状态，观察磁带库的告警灯是否亮起。如图1所示：（图1）注：1-检修门；2-电源按钮；3-绿色供电指示灯；4-琥珀色操作员干预警报指示灯(叹号指示灯) ；5-操作面板(触摸屏) ；6-5U控制模块；7-I/O仓；8-9U扩展模块。2) 将笔记本IP地址设置为10.0.0.5/24，PING带库管理口IP:10.0.0.1,直至连通。3) 打开IE浏览器，输入带库IP: http:/10.0.0.1，输入默认用户:Admin，密码:secure。如图2所示：（图2）4) 点击查看Drive状态，

10、如状态中出现标识则表示正常，如出现标识则表示故障。5) 通过日志查询分析是否是由于硬件故障导致，若是则致电厂家报修。2.2、通过NBU软件检查Driver打开NBU软件，查看Driver状态，在逻辑拓扑图中若出现标识，则表示该Driver存在故障，需要更换。2.3、更换磁带库驱动器1) 在NBU服务器上运行CMD命令，输入：bpdown f v，停NBU服务；2) 关闭NBU服务器系统；3) 关闭磁带库；4) 打开磁带库的前面板；5) 更换驱动器，更换前先记录新的Driver的序列号，卸载及载入驱动器、使驱动器ONLINE等操作参考设备手册进行；6) 重启磁带库；7) 连接磁带库管理端口，通过

11、IE登录到http:/10.0.0.1 上，查看磁带库状态。8) 重启NBU服务器；9) 查看系统是否识别硬件；10) 在NBU服务器上运行CMD命令，输入：bpupv，启动NBU服务。11) 打开NBU软件，查看Driver状态，在逻辑拓扑图中无标识出现，则表示Driver恢复正常，如果无法识别需要重新扫描Driver;12) 进行NBU测试备份，检查备份读写性能等。（三）IBM存储橙灯告警处理3.1、检查存储面板灯状态1）检查存储设备右下角的告警指示灯是否有亮橙色告警灯。如图1所示。（图1）2）检查Recover from failure图标。3.2、收集ALL Support Data1

12、）将PC通过交换机连接至存储AB控制器网口。 设置PC的IP地址为192.168.128.100/24，并分别PING两个控制器的IP地址：192.168.128.101和192.168.128.102直至连通为止。 2）在PC上安装IBM Storage Manager Client10客户端管理软件，然后通过管理软件连接存储控制器，操作如图2所示:（图2）3）分别输入两台控制器的管理IP:192.168.128.101和192.168.128.102并点击ADD,如图3所示：（图3）4）进入管理主界面后，点击选项卡Physical。查看硬盘、控制器等硬件状态是否正常，定位具体告警错误。图标

13、状态注解，如图4所示：（图4）5）收集日志信息，选择选项卡Advanced-Troubleshooting-Support Data-Collect,点击Collect后，在弹出的对话框中选择日志保存的路径及文件名即可。如图5所示：（图5）（四）IBM磁带库空间满故障处理4.1、分析磁带状态1）通过NBU软件查看带库使用情况，在备份服务器中运行CMD命令，输入：Available_media。2）磁带库各磁带使用情况,显示如下，若输出结果最后一列为数字，则表示该磁带空间已满，磁带空间满应分析磁带库满载还是加载的磁带不满足当前的备份需要添加磁带。磁带库空间不足需要分析备份数据是否属正常的范围内，

14、如果是备份异常导致数据猛增，则需要从备份脚本去考虑。参考下图。4.2、磁带过期操作1）通过NBU软件查看带库使用情况，在备份服务器中运行CMD命令，输入：Available_media。如所有磁带均显示为“FULL”状态，确认是否存在比较旧的数据可以清除。2）在cmd中运行bpexpdate -m 0013L2 -d 0命令使磁带过期。3) 在备份数据正常情况下，如果磁带库可以添加磁带，则添加磁带，如果磁带库满载，则考虑降低备份版本或者添加备份存储设备。4.3、重新扫描磁带1）在NBU软件中，重新扫描磁带，如图1所示，选择“Inventory Robot”。（图1）2）在弹出窗口后，点击“st

15、art”，扫描新的磁带，如图2所示。（图2）3）操作完成。（五） 存储控制器故障处理5.1、检查存储设备状态指示灯检查存储前面板是否亮橙色告警灯，如图1所示：（图1）5.2、检查存储管理软件中的储存状态1）将PC通过交换机连接至存储AB控制器网口。 设置PC的IP地址为192.168.128.100/24，并分别PING两个控制器的 地址：192.168.128.101和192.168.128.102直至连通为止。 2）在PC上安装IBM Storage Manager Client10客户端管理软件，然后通过管理软件连接存储控制器，操作如图2所示:（图2）3）分别输入两台控制器的管理IP，并

16、点击ADD, 如图3所示：（图3）4）连接存储成功后，通过状态栏确认控制器状态。如果控制器图标中有显示红色标识，则表示控制器故障，需要进行更换。状态栏图标注释见图4。（图4）5.3、更换故障控制器1）更换控制器前，根据需要将连接到故障控制器的主机和磁盘切换到另外一个控制器；2）关闭故障控制器电源开关；3）拔出连接在故障控制器上的光纤线、RJ45线和电源连接线，并做好标识；4）握住控制器上的拉杆，向外平滑拔出故障的控制器，参照图5：（图5）5）更换控制器，按原来的标识接入光纤线、RJ45线、电源线；6）在存储管理软件中查看控制器状态。相关标识请参考图7。（六）存储风扇故障处理处理6.1、检查存储

17、状态指示灯及风扇运行状态1）检查存储设备前面板是否亮橙色告警灯，如图1所示：（图1）2）检查存储控制器上风扇是否正常转动（物理观察）,如图2所示：（图2）注：图中红色圈示处为存储风扇位置6.2、检查存储管理软件中的储存状态1）将PC通过交换机连接至存储AB控制器网口。 设置PC的IP地址为192.168.128.100/24，并分别PING两个控制器的 地址：192.168.128.101和192.168.128.102直至连通为止。 2）在PC上安装IBM Storage Manager Client10客户端管理软件，然后通过管理软件连接存储控制器，操作如图3所示:（图3）3）输入两台控制

18、器的管理IP，并点击ADD, 如图4所示：（图4）4）存储成功后，点击界面中的view按钮，查看风扇状态，找出对应信息。如果风扇图标中有显示红色标识，则表示风扇故障，需要进行更换。状态栏图标注释如图5所示：（图5）6.3、更换故障风扇1）更换某个风扇前，根据需要将与故障风扇相关的控制器的主机和磁盘到另外一个控制器上；2）关闭故障风扇模块；3）握住拉杆平滑拉出故障风扇模块，参照图6：（图6）4）更换新风扇模块；5）在存储管理软件中查看风扇状态。相关标识请参考图5。HP存储设备（一）HP EVA存储硬盘故障处理1.1、检查存储状态指示灯1）检查存储设备右下角的告警指示灯是否有亮起。如图1所示。（图

19、1）2）检查硬盘状态灯。如图2所示。（图2）1.2、通过存储管理软件查看控制器状态1）登录管理机,打开COMMANDVIEW软件管理界面，输入用户名密码，点击Log On。如图3所示。（图3）2）通过hp command view 软件检查硬盘状态。在导航窗格中，选择：存储系统 硬件 硬盘盒，在“状况/状态”字段中显示运行状态如出现黄色叹号图标则表示出现故障，需要进行更换。1.3、更换故障硬盘1）拔出故障硬盘，存储将会发出告警音（为正常）持续30秒，插入新硬盘。如图4所示;（图4）2）插入新硬盘，大约1分钟左右，若硬盘指示灯中无橙色闪动，则表示硬盘已恢复正常;3）若无法自动同步，可考虑手动同步

20、。（二）磁带库Driver故障处理2.1、检查磁带库前面板液晶屏故障信息与WEB界面故障确认1) 通过磁带库前面板液晶屏查看磁带库设备硬件状态，观察磁带库的告警灯是否亮起。如图1所示：（图1）注：1-检修门；2-电源按钮；3-绿色供电指示灯；4-琥珀色操作员干预警报指示灯(叹号指示灯) ；5-操作面板(触摸屏) ；6-5U控制模块；7-I/O仓；8-9U扩展模块。2) 将笔记本IP地址设置为10.0.0.5/24，PING带库管理口IP:10.0.0.1,直至连通。3) 打开IE浏览器，输入带库IP: http:/10.0.0.1，输入默认用户:Admin，密码:secure。如图2所示：（图

21、2）4) 点击查看Drive状态，如状态中出现标识则表示正常，如出现标识则表示故障。5) 通过日志查询分析是否是由于硬件故障导致，若是则致电厂家报修。2.2、通过NBU软件检查Driver打开NBU软件，查看Driver状态，在逻辑拓扑图中若出现标识，则表示该Driver存在故障，需要更换。2.3、更换磁带库驱动器1) 在NBU服务器上运行CMD命令，输入：bpdown f v，停NBU服务；2) 关闭NBU服务器系统；3) 关闭磁带库；4) 打开磁带库的前面板；5) 更换驱动器，更换前先记录新的Driver的序列号，卸载及载入驱动器、使驱动器ONLINE等操作参考设备手册进行；6) 重启磁带

22、库；7) 连接磁带库管理端口，通过IE登录到http:/10.0.0.1 上，查看磁带库状态。8) 重启NBU服务器；9) 查看系统是否识别硬件；10) 在NBU服务器上运行CMD命令，输入：bpupv，启动NBU服务。11) 打开NBU软件，查看Driver状态，在逻辑拓扑图中无标识出现，则表示Driver恢复正常，如果无法识别需要重新扫描Driver;12) 进行NBU测试备份，检查备份读写性能等。（三）存储橙灯告警处理3.1、检查存储面板灯状态1）检查存储设备右下角的告警指示灯是否有亮起。如图1所示。（图1）2）查看硬盘故障灯状态。如图2所示。（图2）3.2、通过存储管理软件收集日志信息

23、1）登录管理机，打开command view管理界面，输入用户名密码即可登录。如图3所示。(图3)2）在command view软件中，选择左侧EVA系统名称；在内容面板中选择view events，在弹出的窗口中选择 Controller Event Log，如图4所示。（图4）3）如信息中显示标识，则点击该信息的more details键查看该事件的详细描述并收集信息。（四）磁带库空间满故障处理4.1、分析磁带状态1）通过NBU软件查看带库使用情况，在备份服务器中运行CMD命令，输入：Available_media。2）磁带库各磁带使用情况,显示如下，若输出结果最后一列为数字，则表示该磁带

24、空间已满。参考下图。4.2、将磁带过期（即清除磁带上的数据，重复利用磁带）1）通过NBU软件查看带库使用情况，在备份服务器中运行CMD命令，输入：Available_media。如所有磁带均显示为“FULL”状态，确认是否存在比较旧的数据可以清除。2）在cmd中运行bpexpdate -m 0013L2 -d 0命令使磁带过期。4.3、重新扫描磁带1）在NBU软件中，重新扫描磁带，如图1所示，选择“Inventory Robot”。（图1）2）在弹出窗口后，点击“start”，扫描新的磁带，如图2所示。（图2）3）操作完成。（五）HP EVA存储控制器故障处理5.1、检查存储状态指示灯及控制器

25、状态灯1) 查看存储外部硬件灯状态，检查右下角的告警指示灯是否有亮起。（图1） 2) 查看控制器状态灯，如图2-图4所示，观察状态灯。（图2）（图3） 控制器各状态灯指示：(图4)5.2、通过存储管理软件查看控制器状态1）登录管理机,打开COMMANDVIEW软件管理界面，输入用户名密码，点击Log On。如图5所示。（图5）2）通过hp command view 软件检查控制器状态：A、在导航窗格中，选择：存储系统 硬件 控制器盒 控制器，在“状况/状态”字段中显示运行状态如出现表示出现了故障，需要进行更换。B、定位故障控制器，请单击：定位（Located） 定位在。这会使控制器盒后面控制器

26、模块上的蓝色UID灯亮起。(见图3、图4)5.3、更换控制器 1) 更换控制器前，需先将与故障控制器相关的主机和LUN切换到另外一个控制器中；2) 关闭控制器；A 在导航窗格中，选择存储系统-硬件-控制器盒。B 选择出现的故障告警的那个控制器。C 单击关闭选项卡。D 在“关闭控制器”的窗口中“中止控制器”部分，单击“中断”。3) 拔出控制器电源线及其他连接线。确认控制器后面连接线已做好标签，记录连线的标签与位置，移除所有连接线。4) 卸下控制器A 将安装闩锁移至右侧(如图6中的1所示)。控制器将从控制器盒中轻轻弹出。B 将一只手放在控制器底下，用另一只手将控制器从控制器盒中拉出。如图6中的2所

27、示：(图6)5) 安装控制器A 将控制器推入控制器盒一半(图7中的1)。B 将原来的连接线按原来的标记连接到控制器。C 完全插入控制器。将安装闩锁左移，直到完全咬合，并且控制器完全装入控制器盒为止(图7中的2)。控制器会自动通电。(图7)6）等待大约3分钟，系统自动完成对组件的状态检查。7）查看控制器状态，如图8中的3号灯熄灭，5号灯长亮绿色，则表示控制器正常。(图8)（六） HP EVA存储风扇故障处理6.1、检查存储状态指示灯及风扇状态灯1) 查看存储外部硬件灯状态，检查右下角的告警指示灯是否有亮起。如图1所示。（图1）2) 检查风扇状态灯，如图2所示，观察状态灯。（图2）说明：风扇故障灯

28、状态,判断：若状态指示灯为橙色，表示有故障，若状态指示灯不亮，表示正常。6.2、通过存储管理软件查看风扇状态1) 登录管理机，打开COMMANDVIEW管理界面，输入用户名、密码，点击Log On即可登录。如图3所示。(图3)2)通过hp command view软件检查风扇状态：a.在“导航”窗格中，选择：存储系统-硬件磁盘盒b.在“内容”窗格中，选择电源选项卡或散热选项卡，然后选择适当的组件(1或者2)。操作状态有表示出现了故障，需要进行更换。c.找出正确的风扇，请单击：定位-定位在。这会使磁盘盒前面的状态指示灯闪烁6.3、更换风扇 1) 注意事项:a. 必须在七分钟内完成更换过程b. 如

29、果电缆妨碍了您对电源/风扇执行操作，请小心移开电缆，避免使任何连接松动。 c. 请采取适当的防静电保护措施，佩戴防静电手镯。 2) 操作步骤：a. 先拆除原来的风扇：按住两个深红色的安装锁(见图4中的1所示)向外抽出，从电源上卸下风扇。(图4)b. 将风扇导柱（图5中的2）对准电源接头(1)旁边的安装孔。将风扇滑到电源(4)上，直到安装锁(3)卡入到位。(图5)注意：按住风扇的中心部分可能会损坏叶片或风箱。安装风扇时，只能按住其外边缘。3)更换完毕后，需要等待10分钟后再验证风扇状态是否恢复正常。如果风扇运转正常，存储面板告警灯熄灭，风扇状态灯熄灭，在HP Command view查看风扇状态为