weblogic中间件通用应急预案Word文档格式.docx
《weblogic中间件通用应急预案Word文档格式.docx》由会员分享，可在线阅读，更多相关《weblogic中间件通用应急预案Word文档格式.docx（12页珍藏版）》请在冰豆网上搜索。
节点启动过程中
9,12
2
morethantheconfiguredtime（StuckThreadMaxTime）of"
600"
seconds
线程阻塞
3
erroroccured:
weblogic.jdbc.extensions.PoolLimitSQLException:
mon.resourcepool.ResourceLimitException:
NoresourcescurrentlyavailableinpooldgNonPooltoallocatetoapplications,pleaseincreasethesizeofthepoolandretry..
JDBC连接池满
6,12
4
BEA-000627Reachedmaximumcapacityofpool“JDB-HQGL”make0newresourceinstances
<
BEA-000628>
<
Created"
1"
resourcesforpool"
JDBCDataSource-0"
outofwhich"
0"
areavailableand"
areunavailable.
1,2,3,4,5,6
5
Toomanyopenfiles
打开文件超过系统限制
1,2,3,4,5,7,11,12
6
BEA-000386>
Serversubsystemfailed.Reason:
weblogic.security.SecurityInitializationException:
Authenticationforuserweblogicdenied
weblogic.security.SecurityInitializationException:
weblogic密码错误
8,12
7
/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startWebLogic.sh:
line
180:
64034
Killed
${JAVA_HOME}/bin/java
${JAVA_VM}
${MEM_ARGS}
-Dweblogic.Name=${SERVER_NAME}
-Djava.security.policy=${WL_HOME}/server/lib/weblogic.policy
${JAVA_OPTIONS}
${PROXY_SETTINGS}
${SERVER_CLASS}
人为停止节点
1,2,3,4,12
8
Aug
10,
2014
1:
41:
37
AM
CST>
Error>
EmbeddedLDAP>
BEA-000000>
Error
opening
the
Transaction
Log:
/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/servers/server1/data/ldap/ldapfiles/EmbeddedLDAP.tran
（Permission
denied）>
权限问题
10,11,12
9
3:
15:
07
JDBC>
BEA-001112>
Test
"
SELECT
1
FROM
DUAL"
set
up
for
pool
JDBC
Data
Source-0"
failed
with
exception:
java.sql.SQLRecoverableException:
No
more
data
to
read
from
socket"
.>
Warning>
BEA-001129>
Received
exception
while
creating
connection
:
IO
Error:
The
Network
Adapter
could
not
establish
connection.>
数据库单节点异常，RAC无法全部正常对外提供服务
13,11,12
10
JRE
was
found
in
directory
/usr/java/k1.6.0_38.
（JAVA_HOME）
Please
edit
your
environment
and
JAVA_HOME
variable
point
root
of
Java
installation.
Java环境变量配置不正确
14,12
11
BEA-002621>
Connectionrejected,theserverlicenseallowsconnectionsfromonly5uniqueIP
addresses.>
Weblogic9版本license未授权
1,2,3,4,5,15,11,12
12
VMVersion1.5.0_12-b04fromSunMicrosystemsInc.>
2014-8-11下午04时50分58秒CST>
Critical>
WebLogicServer>
BEA-000362>
Serverfailed.Reason:
Thereare1nestederrors:
weblogic.management.ManagementException:
Unabletoobtainlockon/home/weblogic/bea/user_projects/domains/bzcb_domain/servers/AdminServer/tmp/AdminServer.lok.Servermayalreadyberunning
节点未正常停止
5，11，12
13
因硬件或者系统故障，应用服务器全部无法启动
16
四、应急处理步骤
1.使用IE登陆访问对应故障节点应用地址，验证故障现象，防止误告警出现。
2.登录weblogic控制台，确认故障节点名称。
使用IE浏览器，访问weblogic控制台http:
//IP:
端口，根据异常端口号确认异常节点名称，如下图。
3.使用weblogic用户登陆操作系统。
4.备份对应节点日志。
$cd/app/logs/hqgl/server1.log---进入对应日志目录
$cp–rserver1.log20140808server1.log-----按照日期备份节点日志
5.查看节点进程状态。
$ps–ef|grepserver1（server1为节点名称）
如果返回值为空，如下，则执行步骤12：
weblogic590862803022:
12pts/100:
00:
00grepserver1
如果返回值不为空，如下，则执行步骤11：
6.增加JDBC连接池上限
1）登陆weilogic控制台，进入JDBC配置页面，修改增加JDBC配置。
主要调整initialcapacity及maximumcapacity两个参数，其中initialcapacity表示初始建立的连接数，maximumcapacity表示最大的连接数，主要调整增大MaximumCapacity参数，再原有基础上增加20。
（具体要根据对应数据库的process上限，要求weblogic节点数*MaximumCapacity值<
数据库process数的80%）如下图所示：
2）如果无法进入JDBC控制界面，可以按照步骤11,12，通过重启应用节点，释放数据库连接资源，达到抢通业务的目标。
7.调整操作系统用户打开文件数量上限
使用root用户登录系统
#vi/etc/security/limits.Conf
weblogic-nofile10240----新增该内容，或者调整该值上限。
#su–weblogic---切换到weblogic用户
$ulimit–Hn---验证配置是否生效，如下表示生效
10240
8.修改weblogic后台启动密码问题
使用weblogic用户登录系统,进入节点缓存目录,修改后台启动密码文件。
$cd/app/weblogic/Oracle/Middleware/user_projects/domain名称/servers/节点名称/security/
$viboot.properties
Username=weblogic-------登录控制台使用的用户名
Password=12345qwert------登录控制台使用的密码，在启动节点后会自动进行加密。
9.调整JVM参数设置
使用weblogic用户登录系统
$cd/home/weblogic/startsh/----进入启动脚本目录
$viserver1.sh--修改对应节点启动时的JVM内存配置，具体要根据服务器的物理内存确定，原则上该服务器上运行的java进程内存总和，不得超过物理内存的80%。
exportUSER_MEM_ARGS="
-Xms2048m-Xmx2048m-XX:
PermSize=512m-XX:
MaxPermSize=512m"
WL_LOG=/app/logs/hqgl/server1.log
nohup
/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startManagedWebLogic.sh
server1
http:
//192.168.0.4:
7001
>
$WL_LOG
&
tailf
$WL_LOG
10.修改文件权限
使用root用户登录操作系统
#chown–Rweblogic:
bea/app/source_program/hqgl/----修改程序包的权限
#chown–R/app/weblogic/Oracle/Middleware/user_projects/domains/对应domain名称------修改weblogic相关文件权限
#chown–R/app/logs/hqgl/------修改启动日志文件权限
11.停止异常节点进程
weblogic@teststartsh]$kill-961658----停止异常节点进程
12.启动异常节点
weblogic@teststartsh]$cd/home/weblogic/startsh/--进入启动脚本路径
[weblogic@teststartsh]$ls
admin.shserver1.sh
[weblogic@teststartsh]$./server1.sh---启动节点
13.修改JDBC连接串
如果在数据库单节点或者VIP等集群服务异常时，导致数据库RAC节点无法全部正常对外提供服务时，修改JDBC连接串，让应用节点连接到可用的数据库地址上。
登陆weilogic控制台，进入JDBC配置页面，根据数据库专责提供的可用连接串，修改JDBC连接串地址为
jdbc:
oracle:
thin:
@（DESCRIPTION=（ADDRESS_LIST=（ADDRESS=（PROTOCOL=TCP）（HOST=10.1.80.141）（PORT=1521）））（CONNECT_DATA=（SERVICE_NAME=test）（INSTANCE_NAME=test）））
14.JAVA环境变量错误
Weblogic用户登录系统
$
java
–version--------查询weblogic用户下jdk信息
version
1.6.0_37"
Java（TM）
SE
Runtime
Environment
（build
1.6.0_37-b06）
HotSpot（TM）
64-Bit
Server
VM
20.12-b01,
mixed
mode）
which
java---查询jdk安装路径
/usr/java/jdk1.6.0_37/bin/java
$cd/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin
$visetDomainEnv.sh---按照上面查询的路径结果修改weblogic脚本中的JDK配置
SUN_JAVA_HOME="
/usr/java/jdk1.6.0_37"
export
SUN_JAVA_HOME
if
[
${JAVA_VENDOR}"
=
Oracle"
]
;
then
JAVA_HOME="
${BEA_JAVA_HOME}"
else
Sun"
${SUN_JAVA_HOME}"
JAVA_VENDOR="
JAVA_VENDOR
fi
15.更换weblogic9版本更换license
使用FTP工具上传授权license至/home/weblogic/bea目录下
16.因硬件或者系统故障，节点均无法启动
临时调配应用服务器，重新安装weblogic中间件，利用备份文件，进行重新发布配置。
建议保留原故障环境。
升级会员 