ESS快速维护手册.docx

1、ESS快速维护手册IBM ESS快速维护手册v3.3IBM全球服务（中国）有限公司目录目录 2一、如何观察ESS控制面板的指示灯？ 3二、控制面板开关的使用 3三、ESS的开关机步骤 4四、通过ESS 串口连接，进入控制台菜单查看运行状态 4五、如何登陆ESS的Service Terminal 5六、如何查看ESS的错误日志(Problem Log) 5七、如何全面检查ESS的工作状态是否正常 6八、如何生成ESS的PE Password? 6九、如何获取ESS的PE Package 6十、如何获取ESS的Statesave文件 8十一、如何将PE package和StateSave软盘恢复成

2、IMG格式文件 9十二、如何将ESS 用软盘做成的IMG格式文件转换为Testcase服务器支持的格式文件 10十三、ESS的上传文件命名规则 11十四、Testcase ESS日志文件服务器 12十五、如何远程拨号登陆ESS 12十六、如何开PMH让做Health check 17十七、在ESS发生影响客户应用的严重故障时，必须要在PMH里面用“FA 1661“输入表格1661，来说明实际的影响。 18十八、PMH Queue 19十九、快速换鲨鱼硬盘步骤简单介绍v1.2.1 19一、如何观察ESS控制面板的指示灯？正常状态应该是：Cluster 1/Line Cord1 Cluster 2

3、/Line Cord2Ready 绿灯常亮 ON 绿灯常亮 ONPower complete 绿灯常亮 ON 绿灯常亮 ONMessage 黄灯 灭 OFF 黄灯 灭 OFF若与上面正常状态不符，应立即处理。（对应下图）Power Complete 绿色显示灯 显示 Line Cord 1 和 Line Cord 2 的情况:Power Complete 绿色显示灯 长亮表示 ESS 启动结束并且没有出错Power Complete 绿色显示灯 慢闪表示电源有问题Power Complete 绿色显示灯 快闪表示正在启动或关机Power Complete 绿色显示灯 熄灭表示已关机Messag

4、es 黄色显示灯 显示 Cluster 1 和 Cluster 2 的情况：Messages 黄色显示灯 长亮表示 licensed internal code (LIC) 或 cluster 检测 到错误，需要干预Messages 黄色显示灯 快闪表示cluster正在启动二、控制面板开关的使用Local Power 白色开关，控制ESS里直流电的开关，在ESS加电正常后按此键开始加电。在异常情况下，当某个cluster power off后不能由另一个cluster power on时，可以尝试用此键power on cluster。Unit Emergency 红色紧急开关，只有在紧急情

5、况下才使用(如：天花板漏水)，正常启动和关机不应使用此开关。三、ESS的开关机步骤 ESS下电步骤：1. 确认在该ESS上运行的应用与操作系统已下完毕。2. 按ESS面板上的白色开关的下端。大约3到5分钟后Power Complete 绿色显示灯熄灭。上图中用蓝色表示的风扇仍然保持几分钟转动，以利于散热保护机器。 如果Power Complete绿色显示灯不熄灭，请通知Next Level Support。3. 等到面板上所有指示灯关闭。（约10分钟）4. 如需断电，先把红色紧急开关（Unit Emergency Only）置于OFF位置，然后将两个主电源（Bulk Power Assembl

6、y）开关置于OFF位置。 ESS上电步骤： 注意：紧急开关必须在开的位置1. 将两个主电源（Bulk Power Assembly）开关置于ON位置。等待约3分钟，电源模块上电结束。2. 按ESS面板上的白色开关的上端。3. 按下开关后，可以观察到Line Cord 1 和 Line Cord 2 的 Power Complete 绿色显示灯来回闪大约3 10秒。如果Power Complete 绿色显示灯慢闪，请检查电源并通知Next Level Support；如果Power Complete 绿色显示灯快闪表示机器正在启动。4. 等到面板上两个CLUSTER的READY灯都亮起来（约25

7、分钟），如果任意一个Cluster Ready显示灯不亮，请通知Next Level Support。5. 将硬盘交系统操作员恢复使用。四、通过ESS 串口连接，进入控制台菜单查看运行状态五、如何登陆ESS的Service Terminal1.通过ThinkPad或旧式的ESSNet主控台(Windows NT 4.0的PC，默认的Adminstrator密码是password)1)用ESS标配或连接RS/6000的9对9串口线连接Cluster1或Cluster2的串2口S2 （注意，一定要连在S2，千万不能连错）2)打开NetTerm，选择IBM 2105 ESS (Direct conn

8、ect, IBM3151 emulation)3)用户名为service，密码会在所连接的Cluster的LCD面板上显示2.通过新式的Master Console主控台(RedHat Linux的PC，默认的service密码是service)1)用鼠标双击ESS Terminal Selector2)根据序列号选择相应的Cluster3)用户名为service，密码会在相应Cluster的LCD面板上显示六、如何查看ESS的错误日志(Problem Log)1.ESS在有Problem发生时，控制面板上的Message灯会亮起，这时需要登陆进Service Terminal进行查看，登陆后

9、Message灯会自动熄灭，如果Problem没有Close或Cancel，Message灯会在结束登陆后一天重新亮起：1)在主菜单里选择Repair Menu2)选择Show / Repair Problems Needing Repair3)选择相应的Problem进行查看细节信息2.如果问题发生后7天不登陆进Service Terminal进行查看，Problem状态会转为Expire，Repair Menu里就看不到了。这时需要在Utility菜单里查看：1)在主菜单里选择Utility2)选择Problem Log Menu3)选择List Problems4)继续按回车，查看有没有

10、处于OPEN，PENDING，EXPIRE状态的Problem5)选择相应的Problem进行查看细节信息七、如何全面检查ESS的工作状态是否正常1.在主菜单里选择Repair Menu2.选择End of Call Status判断标准如下:1)The following problems are still OPEN or PENDING一栏是None2)The following resources are still quiesced一栏是None3)The following resources are still fenced一栏是None4)Pinned Data一栏是None5

11、)DDM , Array or Rank Status一栏是Normal6)Cluster dual hard drives status一栏是Normal(ESS800才有)如果任何一项状态不正常，则按d查看细节信息，否则按q退出八、如何生成ESS的PE Password?PE用户供日本的L2/L3支持专家远程拨号访问ESS时使用，它的密码需要在现场随机生成。(注意PE Password 大小写敏感，有效期7天*24168 小时，过期失效）1.通过ESS NET Console或Master Console的图形界面生成PE Password:1)打开ESS NET Console 或Mas

12、ter Console 中的游览器2)连接到ESS Specialist3)点击 Communication 按键4)点击Reset PE password按键5)在出现警告信息时选yes2.通过Service Terminal生成PE Password:1)在主菜单里选择Configuration Options Menu2)选择Configure Communications Resources Menu3)选择Call Home / Remote Services Menu4)选择Enable Product Engineering Access九、如何获取ESS的PE PackageP

13、E package是ESS的日志和配置信息集合，相当于RS/6000的snap文件，是L2/L3支持专家分析ESS故障的基本条件。每次ESS的维护都必须收集2个cluster的PE Package。除非有一个cluster不能启动到AIX基本操作系统。A:软盘方式1.在主菜单里选择Utility2.选择Trace/State Save Menu3.选择Build PE Package and Off-load to Diskettes4.在PE data一栏选择yes，在PE Copy Services data一栏，只有要分析CopyService的相关问题时才选yes，否则选默认值no5.

14、回车后按y确认软盘数量，并按a选择生成AIX格式的软盘，然后按屏幕操作即可，一般只需要1张软盘（切记要选“AIX”格式）6.每个cluster都要收集PE package注意：多带几张软盘，因为在恢复的过程中对软盘的质量要求比较高B:FTP方式，这种方式不需要使用软盘和软驱，强烈推荐使用在service terminal中设置如下：1.Configuration Options Menu-Configuration Communications Resources Menu-Call home/Remote Services Menu-Change /Show Call home via Ma

15、ster Console or via Modem Expander选master console选项2. Configuration Options Menu-Configuration Communications Resources Menu-Change/show Call home /Remote Services-Enable incoming Remote Support?和Enable outgoing Call home选项都要改成YES。1.将ThinkPad连入ESS的内网，配一个和Master Console相同网段的IP地址，例如172.31.1.88注意：千万不要和

16、ESS的2个cluster的IP冲突。可以通过以下菜单查看2个cluster的IP地址：Machine Test MenuExternal Connections MenuCluster-Cluster Communication Test2.在ThinkPad上启动一个FTP server，例如Netterm自带的NetFtpd3. 以NetFtpd为例，在Options菜单的Define FTP Server Access里面，选择Accept anyone who calls和Allow anonymous access 。关闭Windows的防火墙软件。（如果使用Serv-U做FTP

17、server，必须disable security）4.在Master Console的Console Launcher里面更改Call Home Setting5.在“Dumps and Traces”一栏，选择Use the IBM FTP Data Repository Server注意：“Select Call Home Interface”一栏应该选择“Modem”,图示不对。6.不要选择”Use Passive Transfers”7.在Destination server Host Name一栏填入ThinkPad的IP地址8.User ID/passwd/Port维持不变ano

18、nymous/*/21，Destination Server directory填入”/”9.用support或PE用户登陆鲨鱼，选择Initiate PE Package or Trace/Dump Retrieval（Service用户登陆没有这项菜单）10.根据实际需要选择是否需要Local/Alternate cluster的PE data，Phone Number的地方随意填一个数字。11.回车后系统会自动开始在相应cluster上收集PE Package并发给Master Console，完成后会回到步骤8的界面12.Master Console一般会在步骤9完成后5分钟之内收到文

19、件。在Console Launcher的Query Management里面可以看到处于Pending Transfer状态的call home记录。13.点击Query Management里面的Call home记录，选择Increase Priority可以加快文件发送14.打开Console Launcher的Console Status的Display message file，可以查看Master Console的全日志。可以看到文件是否成功发送到ThinkPad。当然，查看FTP 软件的窗口也能判断。15.ThinkPad接受到的文件将自动放在c:下面。注意：不要更改通过FTP方

20、式接收到的PE package的文件名，可以直接上传Testcase 服务器十、如何获取ESS的Statesave文件Statesave文件是ESS内存的关于应用程序的snapshot文件，相当于RS/6000的coredump文件。只有L2/L3的专家要求下，才需要获取。A:软盘方式1.在主菜单里选择Utility2.选择Trace/State Save Menu3.选择Off-load - Statesave/Trace/Dump Files to Diskettes4.选择Off-load Statesave Files to Diskettes5.根据支持专家在PMH里的指导选择相应的

21、Statesave文件(往往可能会存在很多个，支持专家会在PMH里说明需要哪一个文件)6.根据屏幕的提示操作即可，一般文件大小为47M，需要46张软盘7.登陆到另一个Cluster重复上述步骤注意：不要更改通过FTP方式接收到的Statesave的文件名，可以直接上传Testcase 服务器B:FTP方式与收集PE package的方法相同。只是在鲨鱼的Initiate PE Package or Trace/Dump Retrieval菜单里不选择收集PE data，而是在Local/Alternate cluster dump/trace files to retrieve的地方选择相应的

22、Statesave文件。十一、如何将PE package和StateSave软盘恢复成IMG格式文件（FTP方式不需要这一步）方法一：利用工具软件“EMT4WIN”，最快捷的方式是跳过前面的start wizard，进入入下图的主界面，点击“I”快捷图标build image from A:，选择放置路径并命名好image的名字，保存。方法二：利用P-Series机器的软驱，这种方法不需要使用ThinkPad的软驱将软盘插入P-Series机器的软驱，运行:dd if=/dev/rfd0 of=/tmp/xxxxxx.img建议以及技巧：1 选用新的软盘做image，以免失败以及影响软驱2 如

23、果刚开始做image就报软盘读写错，未必会是软盘问题，可以重复尝试，超过十次以上就可以确认是软盘问题，则另外更换软盘重做PE package或StateSave。十二、如何将ESS 用软盘做成的IMG格式文件转换为Testcase服务器支持的格式文件（FTP方式不需要这一步） 特点：必须要依赖P-Series机器1. 请工程师将生成好的IMG格式文件下载到本地，再上传至客户现场或者公司内部可用的P-Series机器上上传目录如：/tmp/PE在此目录下请使用restore -xvf xxxx.IMG命令恢复IMG文件： 恢复PE package：上传文件为： PE_CLL_1.IMG 和 PE

24、_CLL_2.IMG （一个PE Package包含多张软盘的情况）1）cd /tmp/PE2）restore -xvf PE_CLL_1.IMG (系统提示：Please mount volume 1 on PE_CL1_1.IMG. Press the Enter key to continue）3）回车后，因为有第二张盘，系统还会继续提示上面同样的内容，因此我们需要将PE_CL1_2.IMG改名为PE_CL1_1.IMG（如果一个PE Package只包含一张软盘，那么就结束了，直接跳到第5）步）4）打开第二个telent窗口后cd /tmp/PE mv PE_CLL_2.IMG PE_

25、CLL_1.IMG (将PE_CLL_2.IMG改名为PE_CLL_1.IMG)回到第一个telnet窗口，因为我们已经将第二张盘改名了，继续回车即可。5）恢复成功后，由于ESS的微码不同，可能会展开两种类型的文件： A:header 和 PE.tar.zip B:PE.tar 对于A：直接将这两个文件tar成一个文件即可：tar -cvf 2105XXXSNcx.PExxxxxx header PE.tar.zip 对于B: 因为该文件中包含A中的两个文件，且目录为绝对路径，PFE使用的DFS server不允许展开到别的目录中，因此我们需要在P-Series机器上重新封装，如下：tar -

26、xvf PE.tar 文件将被释放到/var/adm/searascd /var/adm/searastar -cvf 2105XXSNcx.PE0uydqc header PE.tar.zip至此，PE package 处理完毕，可以上传到testcase上。恢复statesave：上传文件为： CL1_dump2_1.IMG，CL1_dump2_1.IMG（一个Statesave文件肯定会包含多张软盘）可参照恢复PE pkg的步骤1）2）3）4）5）恢复成功后，可以看到两个文件：DumpTrace.tar，header（目前，我只看到这一种格式，可能也有类似于PE pkg的另外一种绝对路径

27、的格式，如果是，请参照上面的方法重新封装即可）验证DumpTrace.tar是否为tar格式相对路径：tar -tvf DumpTrace.tardrwxrwx- 0 0 0 May 14 10:55:33 2006 DumpTrace/ “DumpTrace/”为相对路径，绝对路径应该是“/DumpTrace/”-rw-rw-rw- 7 0 43 May 14 10:55:33 2006 DumpTrace/DumpTrace.package_errata-rw-rw-rw- 7 0 0 May 14 10:55:33 2006 DumpTrace/DumpTrace.package-rw-

28、rw-rw- 7 0 222 May 14 10:55:33 2006 DumpTrace/DumpTrace.rsProduct-rw-rw-rw- 7 0 90 May 14 10:55:33 2006 DumpTrace/DumpTrace.rsLocalClusterName-rw-rw-rw- 7 0 69 May 14 10:55:33 2006 DumpTrace/cpssdump03.02.level_cpss-rwxrwxrw- 7 0 18 May 14 10:55:33 2006 DumpTrace/level_dumpdrwxrwxrw- 7 0 0 May 14 10

29、:55:33 2006 DumpTrace/var_adm_searas/-rw-rw-rw- 7 0 1645809 May 14 10:55:34 2006 DumpTrace/var_adm_searas/cpssdump03.02.0.zip 格式正确，打包即可：tar -cvf 2105xxxSNc1.DTxxxxxx DumpTrace.tar，header （机器的序列MTMS可以参见header文件）。十三、ESS的上传文件命名规则如果是通过FTP方式收集到的日志文件，请保持原文件名，直接上传即可。如果使用软盘方式收集到的日志文件，请参照上面第十一章和第十二章介绍的方法转换为所

30、要求的格式，再按照下面的规则重命名，然后上传。命名规则说明如下MTMScluster.typeextensionMTMS:4 char machine type. 3 char machine model. Full 7 char serial number.cluster: cl0 or cl1type: PE mean PE package dt mean statesave/dumpextension: 6 random characters 随机的字符，可以是字母或数字 for example: 21058001328615c0.PEFPlgac = PE pkg from clust

31、er0 2105F201319646c1.PE0uydqc = PE pkg from cluster1 21058007525876c1.DTxggbqc = statesave/dump from cluster1 21058007526606c0.HBPMksib = HBA card dump十四、Testcase ESS日志文件服务器（日本的esfsc4 服务器已经停止使用）：地址：ftp:/用匿名用户登陆十五、如何远程拨号登陆ESS在设置好modem后，可以远程拨号登陆ESS，进行测试，以及进行一些基本的诊断。Tips：如果没有人在现场生成PE Password，可以尝试用“support”用户登陆，默认的密码是“supp0