redhat操作系统故障分析与解决手册.docx
《redhat操作系统故障分析与解决手册.docx》由会员分享，可在线阅读，更多相关《redhat操作系统故障分析与解决手册.docx（18页珍藏版）》请在冰豆网上搜索。
redhat操作系统故障分析与解决手册
redhat操作系统
故障分析与解决手册
更改前版本号
更改后版本号
更改人
生效日期
备注
1
1.1
薛煜昆
2015-3-2
修改内存故障检查方法
1.1
1.2
张德帅
2015-7-3
修改CPU故障检查方法
1.2
1.3
张德帅
2015-10-4
修改磁盘阵列链接方法
第一章
Linux常用命令
1.1常规查询命令
1.1.1查看修改主机IP地址命令
查看IP方法一：
[root@ahdx-yqzl~]#ifconfig
查看IP方法二：
[root@ahdx-yqzl~]#cat/etc/sysconfig/network-scripts/ifcfg-eth0
修改主机IP
[root@ahdx-yqzl~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0
修改IPADDR，NETMASK，GATEWAY的值
[root@ahdx-yqzl~]#servicenetworkrestart重启network服务来使IP生效
在一块网卡上生成多个IP
[root@ahdx-yqzl~]ifconfigeth0:
1134.64.101.98netmks255.255.255.224
注：
用ifconfig新增的IP保存在内存中，重启network或者重启主机以后，地址就失效了，如果长期使用建议采用新增网卡配置文件的方法
在/etc/sysconfig/network-scripts目录里面创建一个名为ifcfg-eth0:
1的文件
内容样例为：
DEVICE=eth0:
1
IPADDR=172.16.170.2
BROADCAST=172.16.170.254
NETMASK=255.255.255.0
ONBOOT=yes
保存退出后，重启network后生效
1.1.2.查看主机网卡速率和全半双工设置
[root@ahdx-yqzl~]#ethtooleth0
1.1.3.查看修改主机路由表
查看路由表方法一：
[root@ahdx-yqzl~]#netstat-rn
查看路由表方法二：
[root@ahdx-yqzl~]#route–n
增加路由：
增加某一个IP的路由
routeadd-host192.168.198.34gw172.29.97.1deveth0
增加某一段IP路由
routeadd-host192.168.198.0netmask255.255.255.0gw172.29.97.1deveth0
删除某一条路由
routedel–host192.168.198.34
1.1.4.查看主机序列号
[root@ahdx-yqzl~]#dmidecode-ssystem-serial-number
注：
在某些刀片机安装的Redhat需要使用下面的命令查看序列号
[root@ahdx-yqzl~]#dmidecode-schassis-serial-number
1.1.5.查看操作系统发行版本和内核版本
查看操作系统发行版本方法一：
[root@ahdx-yqzl~]#head-n1/etc/issue
查看操作系统发行版本方法二：
注：
在一些主机上安装oracle时会修改/etc/redhat-release中的发行版本号，所以有时候用方法二看到的操作系统发行版本并不一定是真实的。
查看操作系统内核版本：
[root@ahdx-yqzl~]#uname–a
1.1.6.查看主机网卡&HBA卡
查看网卡&HBA型号
[root@crmnmdb~]#lspci–tv
查看网卡mac地址
[root@ahdx-yqzl~]#ifconfig-a
查看HBA卡WWN号
[root@crmnmdb~]#cat/sys/class/fc_host/host2/port_name
注：
/sys/class/fc_host/下的每一个hostX代表一块HBA卡
查看HBA卡当前的链接速率
[root@crmnmdbhost2]#cat/sys/class/fc_host/host2/speed
1.1.7.查看主机系统盘和文件系统
文件系统使用率
[root@ahdx-yqzl~]#df–h
系统所在磁盘
[root@ahdx-yqzl~]#fdisk–l
如果是LVM格式可以使用pvdisplay来查看
1.1.8.用户、组相关操作
增加一个用户
[root@ahdx-yqzl~]#useraddbossnmv3
注：
默认情况下增加的用户的主目录会在/home目录下，如果要修改可以使用如下参数
[root@ahdx-yqzl~]#useraddbossnmv3–d/opt/bossnmv3
注：
默认情况下useraddusername以后会自动新建一个与username名称一样的groupname，如果要加入到别的组可以使用如下参数
[root@ahdx-yqzl~]#useraddbossnmv3–d/opt/bossnmv3–gbossnm
注：
默认情况下新增用户使用的是bsh，如果想使用其他sh，可以使用如下参数
[root@ahdx-yqzl~]#useraddbossnmv3–d/opt/bossnmv3–gbossnm–s/bin/ksh
注：
在vsftp环境下想新建用户，但不需要新增的用户能够登陆主机，所以就不需要这个用户在主目录生成它自己的环境变量，可以使用如下参数
[root@ahdx-yqzl~]#useraddbossnmv3–d/opt/bossnmv3–gbossnm–M
修改某用户的密码
[root@ahdx-yqzl~]#passwdbossnmv3
1.1.9.修改主机名
方法一：
[root@ahdx-yqzl~]hostnameoratest
注：
用命令修改主机名只在重启network前或重启主机前生效，如果需要长期修改建议修改配置文件
方法二：
[root@ahdx-yqzl~]vi/etc/sysconfig/network
修改HOSTNAME字段，重启network生效
配置主机hosts
[root@ahdx-yqzl~]vi/etc/hosts
增加IPhostname
1.1.10.网络链路聚合的设置
1、在/etc/sysconfig/network-scripts/目录下新建ifcfg-bond0文件并按照如下编辑
[root@ahdx-yqzl~]vi/etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
BOOTPROTO=static
IPADDR=172.31.0.13
NETMASK=255.255.252.0
BROADCAST=172.31.3.254
ONBOOT=yes
TYPE=Ethernet
2、按照如下修改/etc/sysconfig/network-scripts/下的ifcfg-eth0，ifcfg-eth1（本例假设是将eth0和eth1聚合）
[root@ahdx-yqzl~]vi/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
BOOTPROTO=none
HWADDR=D8:
D3:
85:
FC:
89:
42
ONBOOT=yes
MASTER=bond0
SLAVE=yes
TYPE=Ethernet
USERCTL=no
[root@ahdx-yqzl~]vi/etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=none
HWADDR=D8:
D3:
85:
FC:
89:
52
ONBOOT=yes
MASTER=bond0
SLAVE=yes
TYPE=Ethernet
USERCTL=no
3、修改modules.conf文件新增如下内容
[root@ahdx-yqzl~]vi/etc/modules.conf
aliasbond0bonding
optionsbond0miimon=100mode=1
说明：
miimon是用来进行链路监测的。
比如:
miimon=100，那么系统每100ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路；
mode的值表示工作模式，他共有0，1,2,3四种模式，常用的为0,1两种。
mode=0表示loadbalancing（round-robin）为负载均衡方式，两块网卡都工作。
mode=1表示fault-tolerance（active-backup）提供冗余功能，工作方式是主备的工作方式,也就是说默认情况下只有一块网卡工作,另一块做备份.
4、重启主机后生效
第二章Linux系统检查
2.1主机硬件检查
方法一：
到机房现场查看主机有没有告警灯提示
方法二：
有的主机配置了管理口IP，可以远程通过web登陆查看主机状态
方法三：
查看系统日志，关键看日志中有没有IOerror等字样
[root@ahdx-yqzl~]more/var/log/messages
方法四：
根据不同的机型（IBM，DELL，HP）可以去官网或者找800索要硬件诊断工具，收集相关信息后发到800后台，定位硬件故障
2.2操作系统关键日志检查
查看系统日志
[root@ahdx-yqzl~]more/var/log/messages
查看系统最近100条登陆日志
[root@ahdx-yqzl~]last-100
查看用户mail（如果主机关闭sendmail可能没有mail日志）
[root@ahdx-yqzl~]mail
2.3操作系统性能检查
2.3.1主机当前整体负载情况
[root@ahdx-yqzl~]top
利用top可以获得以下关键数据
主机启动至今的时间：
up625days
主机当前进程数：
Tasks257
CPU使用率：
用户进程us1.5%，系统进程sy11.1%，空闲进程id87.4%
内存（Mem）使用率：
总共内存total16432976k，已使用used1294344k，空闲free3489532k，缓冲池buffers2101412k
交换区（Swap）：
总共交换区total16383992k，已使用used212k，空闲free16383780k，缓存cached9753692k
在top运行后，可以输入“-A”可以分列显示
2.3.2CPU使用率
[root@ahdx-yqzl~]sar-u15#每一秒一个输出，5秒内的CPU使用率
注：
重点关注%idleCPU空闲
2.3.2内存使用率
[root@ahdx-yqzl~]free–m
注：
剩余内存为free+buffers+cached
2.3.3磁盘I/O
[root@ahdx-yqzl~]#iostat15
注：
重点关注%iowait
2.3.4网卡流量
[root@ahdx-yqzl~]#sar-nDEV13#每一秒一个输出，3秒内的网卡流量
2.3.5当前主机端口监听情况
[root@ahdx-yqzl~]#netstat-an|greptcp
可以加-p参数得到监听端口对应的进程名和PID
[root@ahdx-yqzl~]#netstat-anp|grepLISTEN|greptcp
第三章Linux参数调整
5.1ulimit参数调整
5.1.1修改主机最大进程数，最大文件打开数
修改主机进程最大数，文件打开数
vi/etc/security/limits.conf
#添加如下的行
*softnoproc11000
*hardnoproc11000
*softnofile4100
*hardnofile4100
说明：
*代表针对所有用户
noproc是代表最大进程数
nofile是代表最大文件打开数
5.1.2限制用户创建文件大小
#ulimit–f1000#限制当前用户创建文件大小在1000个block以内
说明：
在Linux系统下一个block的默认大小是512bytes。
例子中所能创建的文件size的最大值为512x1000=512000bytes。
5.1.3限制用户的管道缓冲区大小
#ulimit–p512#限制管道缓冲区的大小为512Kbytes
5.1.4限制进程最大可用的虚拟内存
#ulimit–v200000#限制最大可用的虚拟内存为200000Kbytes
5.2修改系统内核参数
修改系统内核参数多数用于oracle数据库的安装，修改值参考oracle安装手册的要求
#vi/etc/sysctl.conf
kernel.shmall=2097152#系统一次可以使用共享内存总量，一般不需修改
kernel.shmmax=4294967296#共享内存段最大尺寸，这里设为4G
kernel.shmmni=4096#共享内存段最大数量，默认即可，不需修改
kernel.sem=25032000100128#信号量
fs.file-max=6815744#可以打开的文件数量
fs.aio-max-nr=1048576
net.ipv4.ip_local_port_range=900065500
net.core.rmem_default=262144#默认接收窗口大小
net.core.rmem_max=4194304#接收窗口最大大小
net.core.wmem_default=262144#默认发送窗口大小
net.core.wmem_max=1048586#发送窗口最大大小
执行以下命令使设置生效：
/sbin/sysctl-p
第四章Linux故障处理
6.1主机网络故障处理
模拟场景一：
用户申告服务器连不上，ping不通
处理过程：
1、先用安全平台或者SecureCRT看能否登陆，排除用户地址限制或者操作不当。
2、登陆到与故障估计相同网段的主机上去ping故障主机，判断是否是网络限制。
3、远程无法连接的情况下，去现场连显示器登陆主机，排除是否是主机宕机导致。
4、无宕机的情况下，在图形界面打开终端窗口，ping网关是否ping通。
5、网关ping不通情况下，重启network服务，跟踪后台日志，看网卡启动过程中有没有报错信息，排除网卡故障和链路故障
6、观察主机网线接口指示灯闪烁是否正常，如不闪烁，拔插网线，观察是否恢复；如网卡灯不闪烁，换一个网线接交换机，排除网线和交换机端口问题。
7、以上步骤都完成后仍然无法恢复网络，可以联系网络维护人员一起协查。
模拟场景二：
服务器无法和指定IP通信
处理过程：
1、在服务器上ping对端IP，看是否能ping通。
2、利用tracerouteIP命令跟踪主机到对端IP的路由，看在哪一段路由无法到达。
3、观察路由最后一跳和指定IP是否一致或同一网段。
4、如果路由不可达，可以联系网络管理员协查
模拟场景三：
无法访问服务器某端口
处理过程：
1、在同网段的其他主机上telnet故障主机的IP+端口（telnetIPport），排除端口是否处于监听状态。
2、利用netstat–an查看端口是否在正确的网卡上处于LISTEN状态
3、如果端口监听正常，联系网络管理员查看端口是否在防火墙上被屏蔽；如果端口监听不正常，建议用户重启应用进程。
6.2主机宕机故障
模拟场景一：
用户申告服务器连不上，ping不通
处理过程：
1、先用安全平台或者SecureCRT看能否登陆，排除用户地址限制或者操作不当。
2、登陆到与故障估计相同网段的主机上去ping故障主机，判断是否是网络限制。
3、远程无法连接的情况下，去现场连显示器登陆主机，排除是否是主机宕机导致。
4、如果主机宕机，观察主机有没有告警灯，排除硬件故障。
5、如果连显示器没有显示，键盘鼠标没有反应，基本上主机已经宕机。
长按主机电源开关键强制重启主机。
6、跟踪观察主机重启过程，尤其是主机硬件自检过程中有没有报错信息。
7、主机硬件自检通过后，启动操作系统时，观察操作系统启动中有没有报错信息。
8、系统启动完毕后，查看/var/log/messages中在宕机时间段内有没有错误信息。
9、通过ITSM的历史性能分析，观察主机在宕机时间段的交换区负载是不是过高。
6.3HBA卡光纤链路故障
模拟场景一：
主机一条链路丢失
1、通过multipath–ll观察聚合路径中哪些多路径的盘的状态时ghost
2、通过pvscan观察有没有device是failed状态
3、根据multipath–ll可以看到device对应的路径4:
0:
3:
3有ghost状态，路径第一个数字4代表了host4的光纤卡，去机房观察host4的光纤卡指示灯闪烁是否正常。
4、如果HBA接有SAN环境，检查SAN到存储的光路是否正常。
5、登陆存储检查存储的光纤卡是否正常。
注：
本例中是两块HBA卡接入SAN环境，SAN到存储有4条路径，所以当存储一端有问题的时候，会有两条路径不可用。
升级会员 