存储设备故障处理指导书V12.docx
《存储设备故障处理指导书V12.docx》由会员分享，可在线阅读，更多相关《存储设备故障处理指导书V12.docx（40页珍藏版）》请在冰豆网上搜索。
存储设备故障处理指导书V12
广东电网公司存储设备故障处理指导书
广东电网公司信息中心
二零一三年七月
文档资料信息文档名称：
广东电网公司存储设备故障处理指导书
文档版本号：
V1.0
准备者：
准备日期：
2013-07-01
审定者：
审定日期：
版本历史版本号：
版本日期：
修订者：
描述：
文件名：
V1.0
2013-07-01
编写
广东电网公司存储设备故障处理指书
一、存储设备日常作业工作事项
表一：
IBM存储设备
项目名称
业务范围
排查及处理范围
备注
磁带库Driver故障处理
1、磁带库
1、检查带库前面板液晶屏故障信息
相关回退方案
2、备份服务器
2、通过NBU软件确认故障
3、磁带库
3、更换磁带库驱动
磁带库空间满故障处理
1、存储管理软件
1、分析磁带使用情况
相关回退方案
2、磁带介质
2、重置或者更换磁带
3、存储管理软件
3、重新扫描磁带
IBM存储橙灯告警故障处理
1、存储硬件
1、检查存储面板灯状态
2、存储管理软件
2、收集存储日志
IBM存储控制器故障处理
1、存储硬件
1、检查存储状态指示灯
2、存储管理软件
2、检查存储管理软件中的储存状态
3、存储硬件
3、更换控制器
IBMEVA存储硬盘故障处理
1、存储硬件
1、检查存储设备状态指示灯
2、存储管理软件
2、检查存储管理软件中的储存状态
3、存储硬件
3、检查硬盘状态及更换故障硬盘
IBM存储风扇故障处理
1、存储硬件
1、检查存储状态指示灯
2、存储管理软件
2、检查存储管理软件中的储存状态
3、存储硬件
3、更换故障风扇
表二：
HP存储设备
项目名称
业务范围
排查及处理范围
备注
磁带库driver故障处理
1、磁带库
检查带库前面板液晶屏故障信息
相关回退方案
2、备份服务器
通过NBU软件确认故障
3、磁带库
更换drive
磁带库空间满故障处理
1、备份服务器
1、分析磁带状态
相关回退方案
2、磁带过期操作
3、重新扫描磁带
存储橙灯告警故障处理
1、存储硬件
1、检查存储面板灯状态
2、存储管理软件
2、收集存储日志
HPEVA存储控制器
1、存储硬件
1、检查存储状态指示灯
2、存储管理软件
2、检查存储管理软件中的储存状态
3、存储硬件
3、更换控制器
HPEVA存储硬盘故障处理
1、存储硬件
1、检查存储状态指示灯
2、存储管理软件
2、检查存储管理软件中的储存状态
3、存储硬件
3、更换硬盘
二、运维配置清单
型号
序列号
管理IP
IDC
物理位置
备份服务器IP
备注
IBMTS3200
SN:
1339755
10.0.0.1
主楼数据中心A02机柜
10.151.80.6
IBMDS4700
SN:
13P6501
192.168.128.101/102
主楼数据中心C33机柜
7.50.13.0
存储
HPMSL6000
SN:
STH66Y
10.0.0.1
主楼数据中心A02机柜
10.151.80.X
三、作业准备
表一：
IBM存储设备
人员安排及分工
故障日志及分析：
平台管理员
故障处理操作:
存储系统负责人
工器具及资料准备
序号
内容
标准
备注
1
IBMStorageManagerClient10客户端管理软件
符合信息安全管理规范
2
登录账号
符合信息安全管理规范
3
支持文档及手册
符合信息安全管理规范
4
风险评估手续
符合信息系统及机房作业
安全风险管理规范
5
应急预案及实施方案
符合信息安全管理规范
表二：
HP存储设备
人员安排及分工
故障日志及分析：
平台管理员
故障处理操作:
存储系统负责人
工器具及资料准备
序号
内容
标准
备注
1
NBU软件
符合信息安全管理规范
2
登录账号
符合信息安全管理规范
3
支持文档及手册
符合信息安全管理规范
4
风险评估手续
符合信息系统及机房作业
安全风险管理规范
5
应急预案及实施方案
符合信息安全管理规范
四、常见故障处理和变更操作指导
表一：
IBMEVA存储硬盘故障处理
HPEVA存储硬盘故障编号
内容
HD1
存储硬件
HD2
存储管理软件
HD3
存储硬件
表二：
磁带库drive故障处理
Driver故障编号
现象
DRV1
磁带库
DRV2
备份服务器
DRV3
磁带库
表三：
存储橙灯告警故障处理
存储橙灯告警故障编号
内容
LG1
存储硬件
LG2
存储管理软件
表四：
磁带库空间满故障处理
空间满故障编号
内容
SP1
存储管理软件
SP2
磁带介质
SP3
存储管理软件
表五：
IBMEVA存储控制器故障处理
HPEVA存储控制器故障编号
内容
CTL1
存储硬件
CTL2
存储管理软件
CTL3
存储硬件
表六：
IBM存储风扇故障处理处理
HPEVA存储硬盘编号
内容
FAN1
存储硬件
FAN2
存储管理软件
FAN3
存储硬件
IBM存储设备
（一）存储设备硬盘故障
1.1、检查存储设备状态指示灯
1）检查存储设备前面板是否亮橙告警灯，如下图1所示：
（图1）
2）检查存储设备硬盘是否亮橙色告警灯，如图2所示：
（图2）
1.2、检查存储管理软件中的储存状态
1）将PC通过交换机连接至存储A\B控制器网口。
设置PC的IP地址为192.168.128.100/24，并分别PING两个控制器的地址：
192.168.128.101和192.168.128.102直至连通为止。
2）在PC上安装IBMStorageManagerClient10客户端管理软件，然后通过管理软件连接存储控制器，操作如图3所示:
（图3）
3）分别输入两台控制器的管理IP，并点击ADD,如图4所示：
（图4）
4）连接存储设备成功后，通过状态栏标识判断，如图5所示：
（图5）
1.3、检查硬盘状态
1）硬盘正常，则显示
图标。
2）硬盘不正常，则显示
图标，需要更换磁盘。
1.4、更换故障硬盘
1）按住硬盘蓝色按扣后，向外平拔出故障硬盘，如图6所示：
（图6）
2）硬盘拔出大约30秒后将新的硬盘插进去，然后更换硬盘。
存储自动开始同步数据。
3）数据同步完毕后，查看硬盘的运行状态，更换完后通过SM软件查看对应的阵列前是是否有个小时钟，最好是看eventlog有没有copybackstarted。
（二）磁带库Driver故障处理
2.1、检查磁带库前面板液晶屏故障信息与WEB界面故障确认
1）通过磁带库前面板液晶屏查看磁带库设备硬件状态，观察磁带库的告警灯是否亮起。
如图1所示：
（图1）
注：
1-检修门；2-电源按钮；3-绿色供电指示灯；4-琥珀色操作员干预警报指示灯（叹号指示灯）；5-操作面板（触摸屏）；6-5U控制模块；7-I/O仓；8-9U扩展模块。
2）将笔记本IP地址设置为10.0.0.5/24，PING带库管理口IP:
10.0.0.1,直至连通。
3）打开IE浏览器，输入带库IP:
http:
//10.0.0.1，输入默认用户:
Admin，密码:
secure。
如图2所示：
（图2）
4）点击查看Drive状态，如状态中出现
标识则表示正常，如出现
标识则表示故障。
5）通过日志查询分析是否是由于硬件故障导致，若是则致电厂家报修。
2.2、通过NBU软件检查Driver
打开NBU软件，查看Driver状态，在逻辑拓扑图中若出现
标识，则表示该Driver存在故障，需要更换。
2.3、更换磁带库驱动器
1）在NBU服务器上运行CMD命令，输入：
bpdown–f–v，停NBU服务；
2）关闭NBU服务器系统；
3）关闭磁带库；
4）打开磁带库的前面板；
5）更换驱动器，更换前先记录新的Driver的序列号，卸载及载入驱动器、使驱动器ONLINE等操作参考设备手册进行；
6）重启磁带库；
7）连接磁带库管理端口，通过IE登录到http:
//10.0.0.1上，查看磁带库状态。
8）重启NBU服务器；
9）查看系统是否识别硬件；
10）在NBU服务器上运行CMD命令，输入：
bpup–v，启动NBU服务。
11）打开NBU软件，查看Driver状态，在逻辑拓扑图中无
标识出现，则表示Driver恢复正常，如果无法识别需要重新扫描Driver;
12）进行NBU测试备份，检查备份读写性能等。
（三）IBM存储橙灯告警处理
3.1、检查存储面板灯状态
1）检查存储设备右下角的告警指示灯是否有亮橙色告警灯。
如图1所示。
（图1）
2）检查Recoverfromfailure图标。
3.2、收集ALLSupportData
1）将PC通过交换机连接至存储A\B控制器网口。
设置PC的IP地址为192.168.128.100/24，并分别PING两个控制器的IP地址：
192.168.128.101和192.168.128.102直至连通为止。
2）在PC上安装IBMStorageManagerClient10客户端管理软件，然后通过管理软件连接存储控制器，操作如图2所示:
（图2）
3）分别输入两台控制器的管理IP:
192.168.128.101和192.168.128.102并点击ADD,如图3所示：
（图3）
4）进入管理主界面后，点击选项卡Physical。
查看硬盘、控制器等硬件状态是否正常，定位具体告警错误。
图标状态注解，如图4所示：
（图4）
5）收集日志信息，选择选项卡Advanced->Troubleshooting->SupportData->Collect,点击Collect后，在弹出的对话框中选择日志保存的路径及文件名即可。
如图5所示：
（图5）
（四）IBM磁带库空间满故障处理
4.1、分析磁带状态
1）通过NBU软件查看带库使用情况，在备份服务器中运行CMD命令，输入：
Available_media。
2）磁带库各磁带使用情况,显示如下，若输出结果最后一列为数字，则表示该磁带空间已满，磁带空间满应分析磁带库满载还是加载的磁带不满足当前的备份需要添加磁带。
磁带库空间不足需要分析备份数据是否属正常的范围内，如果是备份异常导致数据猛增，则需要从备份脚本去考虑。
参考下图。
4.2、磁带过期操作
1）通过NBU软件查看带库使用情况，在备份服务器中运行CMD命令，输入：
Available_media。
如所有磁带均显示为“FULL”状态，确认是否存在比较旧的数据可以清除。
2）在cmd中运行bpexpdate-m0013L2-d0命令使磁带过期。
3）在备份数据正常情况下，如果磁带库可以添加磁带，则添加磁带，如果磁带库满载，则考虑降低备份版本或者添加备份存储设备。
4.3、重新扫描磁带
1）在NBU软件中，重新扫描磁带，如图1所示，选择“InventoryRobot”。
（图1）
2）在弹出窗口后，点击“start”，扫描新的磁带，如图2所示。
（图2）
3）操作完成。
（五）存储控制器故障处理
5.1、检查存储设备状态指示灯
检查存储前面板是否亮橙色告警灯，如图1所示：
（图1）
5.2、检查存储管理软件中的储存状态
1）将PC通过交换机连接至存储A\B控制器网口。
设置PC的IP地址为192.168.128.100/24，并分别PING两个控制器的地址：
192.168.128.101和192.168.128.102直至连通为止。
2）在PC上安装IBMStorageManagerClient10客户端管理软件，然后通过管理软件连接存储控制器，操作如图2所示:
（图2）
3）分别输入两台控制器的管理IP，并点击ADD,如图3所示：
（图3）
4）连接存储成功后，通过状态栏确认控制器状态。
如果控制器图标中有显示红色标识，则表示控制器故障，需要进行更换。
状态栏图标注释见图4。
（图4）
5.3、更换故障控制器
1）更换控制器前，根据需要将连接到故障控制器的主机和磁盘切换到另外一个控制器；
2）关闭故障控制器电源开关；
3）拔出连接在故障控制器上的光纤线、RJ45线和电源连接线，并做好标识；
4）握住控制器上的拉杆，向外平滑拔出故障的控制器，参照图5：
（图5）
5）更换控制器，按原来的标识接入光纤线、RJ45线、电源线；
6）在存储管理软件中查看控制器状态。
相关标识请参考图7。
（六）存储风扇故障处理处理
6.1、检查存储状态指示灯及风扇运行状态
1）检查存储设备前面板是否亮橙色告警灯，如图1所示：
（图1）
2）检查存储控制器上风扇是否正常转动（物理观察）,如图2所示：
（图2）
注：
图中红色圈示处为存储风扇位置
6.2、检查存储管理软件中的储存状态
1）将PC通过交换机连接至存储A\B控制器网口。
设置PC的IP地址为192.168.128.100/24，并分别PING两个控制器的地址：
192.168.128.101和192.168.128.102直至连通为止。
2）在PC上安装IBMStorageManagerClient10客户端管理软件，然后通过管理软件连接存储控制器，操作如图3所示:
（图3）
3）输入两台控制器的管理IP，并点击ADD,如图4所示：
（图4）
4）存储成功后，点击界面中的view按钮，查看风扇状态，找出对应信息。
如果风扇图标中有显示红色标识，则表示风扇故障，需要进行更换。
状态栏图标注释如图5所示：
（图5）
6.3、更换故障风扇
1）更换某个风扇前，根据需要将与故障风扇相关的控制器的主机和磁盘到另外一个控制器上；
2）关闭故障风扇模块；
3）握住拉杆平滑拉出故障风扇模块，参照图6：
（图6）
4）更换新风扇模块；
5）在存储管理软件中查看风扇状态。
相关标识请参考图5。
HP存储设备
（一）HPEVA存储硬盘故障处理
1.1、检查存储状态指示灯
1）检查存储设备右下角的告警指示灯是否有亮起。
如图1所示。
（图1）
2）检查硬盘状态灯。
如图2所示。
（图2）
1.2、通过存储管理软件查看控制器状态
1）登录管理机,打开COMMANDVIEW软件管理界面，输入用户名密码，点击LogOn。
如图3所示。
（图3）
2）通过hpcommandview软件检查硬盘状态。
在导航窗格中，选择：
存储系统硬件硬盘盒，在“状况/状态”字段中显示运行状态如出现黄色叹号图标则表示出现故障，需要进行更换。
1.3、更换故障硬盘
1）拔出故障硬盘，存储将会发出告警音（为正常）持续30秒，插入新硬盘。
如图4所示;
（图4）
2）插入新硬盘，大约1分钟左右，若硬盘指示灯中无橙色闪动，则表示硬盘已恢复正常;
3）若无法自动同步，可考虑手动同步。
（二）磁带库Driver故障处理
2.1、检查磁带库前面板液晶屏故障信息与WEB界面故障确认
1）通过磁带库前面板液晶屏查看磁带库设备硬件状态，观察磁带库的告警灯是否亮起。
如图1所示：
（图1）
注：
1-检修门；2-电源按钮；3-绿色供电指示灯；4-琥珀色操作员干预警报指示灯（叹号指示灯）；5-操作面板（触摸屏）；6-5U控制模块；7-I/O仓；8-9U扩展模块。
2）将笔记本IP地址设置为10.0.0.5/24，PING带库管理口IP:
10.0.0.1,直至连通。
3）打开IE浏览器，输入带库IP:
http:
//10.0.0.1，输入默认用户:
Admin，密码:
secure。
如图2所示：
（图2）
4）点击查看Drive状态，如状态中出现
标识则表示正常，如出现
标识则表示故障。
5）通过日志查询分析是否是由于硬件故障导致，若是则致电厂家报修。
2.2、通过NBU软件检查Driver
打开NBU软件，查看Driver状态，在逻辑拓扑图中若出现
标识，则表示该Driver存在故障，需要更换。
2.3、更换磁带库驱动器
1）在NBU服务器上运行CMD命令，输入：
bpdown–f–v，停NBU服务；
2）关闭NBU服务器系统；
3）关闭磁带库；
4）打开磁带库的前面板；
5）更换驱动器，更换前先记录新的Driver的序列号，卸载及载入驱动器、使驱动器ONLINE等操作参考设备手册进行；
6）重启磁带库；
7）连接磁带库管理端口，通过IE登录到http:
//10.0.0.1上，查看磁带库状态。
8）重启NBU服务器；
9）查看系统是否识别硬件；
10）在NBU服务器上运行CMD命令，输入：
bpup–v，启动NBU服务。
11）打开NBU软件，查看Driver状态，在逻辑拓扑图中无
标识出现，则表示Driver恢复正常，如果无法识别需要重新扫描Driver;
12）进行NBU测试备份，检查备份读写性能等。
（三）存储橙灯告警处理
3.1、检查存储面板灯状态
1）检查存储设备右下角的告警指示灯是否有亮起。
如图1所示。
（图1）
2）查看硬盘故障灯状态。
如图2所示。
（图2）
3.2、通过存储管理软件收集日志信息
1）登录管理机，打开commandview管理界面，输入用户名密码即可登录。
如图3所示。
（图3）
2）在commandview软件中，选择左侧EVA系统名称；在内容面板中选择viewevents，在弹出的窗口中选择ControllerEventLog，如图4所示。
（图4）
3）如信息中显示
标识，则点击该信息的moredetails键查看该事件的详细描述并收集信息。
（四）磁带库空间满故障处理
4.1、分析磁带状态
1）通过NBU软件查看带库使用情况，在备份服务器中运行CMD命令，输入：
Available_media。
2）磁带库各磁带使用情况,显示如下，若输出结果最后一列为数字，则表示该磁带空间已满。
参考下图。
4.2、将磁带过期（即清除磁带上的数据，重复利用磁带）
1）通过NBU软件查看带库使用情况，在备份服务器中运行CMD命令，输入：
Available_media。
如所有磁带均显示为“FULL”状态，确认是否存在比较旧的数据可以清除。
2）在cmd中运行bpexpdate-m0013L2-d0命令使磁带过期。
4.3、重新扫描磁带
1）在NBU软件中，重新扫描磁带，如图1所示，选择“InventoryRobot”。
（图1）
2）在弹出窗口后，点击“start”，扫描新的磁带，如图2所示。
（图2）
3）操作完成。
（五）HPEVA存储控制器故障处理
5.1、检查存储状态指示灯及控制器状态灯
1）查看存储外部硬件灯状态，检查右下角的告警指示灯是否有亮起。
（图1）
2）查看控制器状态灯，如图2--图4所示，观察状态灯。
（图2）
（图3）
控制器各状态灯指示：
（图4）
5.2、通过存储管理软件查看控制器状态
1）登录管理机,打开COMMANDVIEW软件管理界面，输入用户名密码，点击LogOn。
如图5所示。
（图5）
2）通过hpcommandview软件检查控制器状态：
A、在导航窗格中，选择：
存储系统硬件控制器盒控制器，在“状况/状态”字段中显示运行状态如出现
表示出现了故障，需要进行更换。
B、定位故障控制器，请单击：
定位（Located）定位在。
这会使控制器盒后面控制器模块上的蓝色UID灯亮起。
（见图3、图4）
5.3、更换控制器
1）更换控制器前，需先将与故障控制器相关的主机和LUN切换到另外一个控制器中；
2）关闭控制器；
A在导航窗格中，选择存储系统--硬件--控制器盒。
B选择出现的故障告警的那个控制器。
C单击关闭选项卡。
D在“关闭控制器”的窗口中“中止控制器”部分，单击“中断”。
3）拔出控制器电源线及其他连接线。
确认控制器后面连接线已做好标签，记录连线的标签与位置，移除所有连接线。
4）卸下控制器
A将安装闩锁移至右侧（如图6中的1所示）。
控制器将从控制器盒中轻轻弹出。
B将一只手放在控制器底下，用另一只手将控制器从控制器盒中拉出。
如图6中的2所示：
（图6）
5）安装控制器
A将控制器推入控制器盒一半（图7中的1）。
B将原来的连接线按原来的标记连接到控制器。
C完全插入控制器。
将安装闩锁左移，直到完全咬合，并且控制器完全装入控制器盒为止（图7中的2）。
控制器会自动通电。
（图7）
6）等待大约3分钟，系统自动完成对组件的状态检查。
7）查看控制器状态，如图8中的3号灯熄灭，5号灯长亮绿色，则表示控制器正常。
（图8）
（六）HPEVA存储风扇故障处理
6.1、检查存储状态指示灯及风扇状态灯
1）查看存储外部硬件灯状态，检查右下角的告警指示灯是否有亮起。
如图1所示。
（图1）
2）检查风扇状态灯，如图2所示，观察状态灯。
（图2）
说明：
风扇故障灯状态,判断：
若状态指示灯为橙色，表示有故障，若状态指示灯不亮，表示正常。
6.2、通过存储管理软件查看风扇状态
1）登录管理机，打开COMMANDVIEW管理界面，输入用户名、密码，点击LogOn即可登录。
如图3所示。
（图3）
2）通过hpcommandview软件检查风扇状态：
a.在“导航”窗格中，选择：
存储系统--硬件—磁盘盒
b.在“内容”窗格中，选择电源选项卡或散热选项卡，然后选择适当的组件（1或者2）。
操作状态有
表示出现了故障，需要进行更换。
c.找出正确的风扇，请单击：
定位--定位在。
这会使磁盘盒前面的状态指示灯闪烁
6.3、更换风扇
1）注意事项:
a.必须在七分钟内完成更换过程
b.如果电缆妨碍了您对电源/风扇执行操作，请小心移开电缆，避免使任何连接松动。
c.请采取适当的防静电保护措施，佩戴防静电手镯。
2）操作步骤：
a.先拆除原来的风扇：
按住两个深红色的安装锁（见图4中的1所示）向外抽出，从电源上卸下风扇。
（图4）
b.将风扇导柱（图5中的2）对准电源接头
（1）旁边的安装孔。
将风扇滑到电源（4）上，直到安装锁（3）卡入到位。
（图5）
注意：
按住风扇的中心部分可能会损坏叶片或风箱。
安装风扇时，只能按住其外边缘。
3）更换完毕后，需要等待10分钟后再验证风扇状态是否恢复正常。
如果风扇运转正常，存储面板告警灯熄灭，风扇状态灯熄灭，在HPCommandview查看风扇状态为
升级会员 