weblogic中间件通用应急预案.docx

上传人:b****6 文档编号:4581485 上传时间:2022-12-06 格式:DOCX 页数:12 大小:207.17KB
下载 相关 举报
weblogic中间件通用应急预案.docx_第1页
第1页 / 共12页
weblogic中间件通用应急预案.docx_第2页
第2页 / 共12页
weblogic中间件通用应急预案.docx_第3页
第3页 / 共12页
weblogic中间件通用应急预案.docx_第4页
第4页 / 共12页
weblogic中间件通用应急预案.docx_第5页
第5页 / 共12页
点击查看更多>>
下载资源
资源描述

weblogic中间件通用应急预案.docx

《weblogic中间件通用应急预案.docx》由会员分享,可在线阅读,更多相关《weblogic中间件通用应急预案.docx(12页珍藏版)》请在冰豆网上搜索。

weblogic中间件通用应急预案.docx

weblogic中间件通用应急预案

weblogic中间件通用应急预案

Weblogic中间件(含业务应用)通用应急预案

一、应急处置原则与工作流程

国网信息系统中间件主要采用weblogic集群方式部署,通过中间件控制台对各应用节点进行统一管理和监控,本次中间件应急预案以“先抢通、后抢修”为处理原则,首先恢复业务应用,保存相关日志,后期再根据日志进行详细分析和故障定位。

weblogic中间件是应用程序的发布平台,相对比较稳定。

业务应用均通过weblogic中间件进行发布,通过weblogic中间件的JDBC等配置,实现前端应用和后台数据库之间的交互。

因此不管是程序代码问题、硬件问题、数据库问题均有可能体现在weblogic中间件节点异常;并且由于程序代码效率低下、参数配置不当,也会导致weblogic中间件节点异常。

这种情况下,重启异常weblogic节点,释放资源,是最快的恢复业务的应急手段。

具体原因可以通过备份日志,事后进行分析排查。

本应急预案中涉及到的程序包路径,均是根据信通公司weblogic中间件安装规范中指定的路径。

如果未按照规范安装的中间件,请电话咨询对应系统专责协助处理。

二、weblogic中间件故障应急场景

故障应急处理步骤6步:

1、使用IE浏览器访问节点应用确认节点可用性。

2、登陆weblogic控制台确认节点状态。

3、收集故障点日志,备份节点日志。

4、查看节点日志,根据报错信息确定故障原因。

5、根据故障原因,执行应急操作。

6、组织人员进行具体原因分析并整改。

三、故障场景

Weblogic中间件日志文件中常见错误如下:

序号

错误信息

原因

出现时机

执行步骤

1

java.lang.OutOfMemoryError

内存溢出

节点运行过程中

1,2,3,4,5

java.lang.OutOfMemoryError

内存溢出

节点启动过程中

9,12

2

morethantheconfiguredtime(StuckThreadMaxTime)of"600"seconds

线程阻塞

节点运行过程中

1,2,3,4,5

3

erroroccured:

weblogic.jdbc.extensions.PoolLimitSQLException:

mon.resourcepool.ResourceLimitException:

NoresourcescurrentlyavailableinpooldgNonPooltoallocatetoapplications,pleaseincreasethesizeofthepoolandretry..

JDBC连接池满

节点启动过程中

6,12

4

BEA-000627Reachedmaximumcapacityofpool“JDB-HQGL”make0newresourceinstances

JDBC连接池满

节点运行过程中

1,2,3,4,5,6

5

Toomanyopenfiles

打开文件超过系统限制

节点运行过程中

1,2,3,4,5,7,11,12

6

weblogic.security.SecurityInitializationException:

Authenticationforuserweblogicdenied

weblogic.security.SecurityInitializationException:

Authenticationforuserweblogicdenied

weblogic密码错误

节点启动过程中

8,12

7

/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startWebLogic.sh:

 line 180:

 64034 Killed                  ${JAVA_HOME}/bin/java ${JAVA_VM} ${MEM_ARGS} -Dweblogic.Name=${SERVER_NAME} -Djava.security.policy=${WL_HOME}/server/lib/weblogic.policy ${JAVA_OPTIONS} ${PROXY_SETTINGS} ${SERVER_CLASS}

人为停止节点

节点运行过程中

1,2,3,4,12

8

41:

37 AM CST>    

 /home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/servers/server1/data/ldap/ldapfiles/EmbeddedLDAP.tran (Permission denied)> 

权限问题

节点启动过程中

10,11,12

9

15:

07 AM CST>    

 "java.sql.SQLRecoverableException:

 No more data to read from socket".> 

15:

07 AM CST>    

 IO Error:

 The Network Adapter could not establish the connection.> 

数据库单节点异常,RAC无法全部正常对外提供服务

节点运行过程中

13,11,12

10

The JRE was not found in directory /usr/java/k1.6.0_38. (JAVA_HOME)

Please edit your environment and set the JAVA_HOME

variable to point to the root directory of your Java installation.

Java环境变量配置不正确

节点启动过程中

14,12

11

 

Weblogic9版本license未授权

节点运行过程中

1,2,3,4,5,15,11,12

12

VMVersion1.5.0_12-b04fromSunMicrosystemsInc.>

<2014-8-11下午04时50分58秒CST>

Thereare1nestederrors:

weblogic.management.ManagementException:

Unabletoobtainlockon/home/weblogic/bea/user_projects/domains/bzcb_domain/servers/AdminServer/tmp/AdminServer.lok.Servermayalreadyberunning

节点未正常停止

节点启动过程中

5,11,12

13

因硬件或者系统故障,应用服务器全部无法启动

16

四、应急处理步骤

1.使用IE登陆访问对应故障节点应用地址,验证故障现象,防止误告警出现。

2.登录weblogic控制台,确认故障节点名称。

使用IE浏览器,访问weblogic控制台http:

//IP:

端口,根据异常端口号确认异常节点名称,如下图。

3.使用weblogic用户登陆操作系统。

4.备份对应节点日志。

$cd/app/logs/hqgl/server1.log---进入对应日志目录

$cp–rserver1.log20140808server1.log-----按照日期备份节点日志

5.查看节点进程状态。

$ps–ef|grepserver1(server1为节点名称)

如果返回值为空,如下,则执行步骤12:

weblogic590862803022:

12pts/100:

00:

00grepserver1

如果返回值不为空,如下,则执行步骤11:

6.增加JDBC连接池上限

1)登陆weilogic控制台,进入JDBC配置页面,修改增加JDBC配置。

主要调整initialcapacity及maximumcapacity两个参数,其中initialcapacity表示初始建立的连接数,maximumcapacity表示最大的连接数,主要调整增大MaximumCapacity参数,再原有基础上增加20。

(具体要根据对应数据库的process上限,要求weblogic节点数*MaximumCapacity值<数据库process数的80%)如下图所示:

2)如果无法进入JDBC控制界面,可以按照步骤11,12,通过重启应用节点,释放数据库连接资源,达到抢通业务的目标。

7.调整操作系统用户打开文件数量上限

使用root用户登录系统

#vi/etc/security/limits.Conf

weblogic-nofile10240----新增该内容,或者调整该值上限。

#su–weblogic---切换到weblogic用户

$ulimit–Hn---验证配置是否生效,如下表示生效

10240

8.修改weblogic后台启动密码问题

使用weblogic用户登录系统,进入节点缓存目录,修改后台启动密码文件。

$cd/app/weblogic/Oracle/Middleware/user_projects/domain名称/servers/节点名称/security/

$viboot.properties

Username=weblogic-------登录控制台使用的用户名

Password=12345qwert------登录控制台使用的密码,在启动节点后会自动进行加密。

9.调整JVM参数设置

使用weblogic用户登录系统

$cd/home/weblogic/startsh/----进入启动脚本目录

$viserver1.sh--修改对应节点启动时的JVM内存配置,具体要根据服务器的物理内存确定,原则上该服务器上运行的java进程内存总和,不得超过物理内存的80%。

exportUSER_MEM_ARGS="-Xms2048m-Xmx2048m-XX:

PermSize=512m-XX:

MaxPermSize=512m"

WL_LOG=/app/logs/hqgl/server1.log

nohup /home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin/startManagedWebLogic.sh server1 http:

//192.168.0.4:

7001 > $WL_LOG &

tailf $WL_LOG

10.修改文件权限

使用root用户登录操作系统

#chown–Rweblogic:

bea/app/source_program/hqgl/----修改程序包的权限

#chown–R/app/weblogic/Oracle/Middleware/user_projects/domains/对应domain名称------修改weblogic相关文件权限

#chown–R/app/logs/hqgl/------修改启动日志文件权限

11.停止异常节点进程

weblogic@teststartsh]$kill-961658----停止异常节点进程

12.启动异常节点

weblogic@teststartsh]$cd/home/weblogic/startsh/--进入启动脚本路径

[weblogic@teststartsh]$ls

admin.shserver1.sh

[weblogic@teststartsh]$./server1.sh---启动节点

13.修改JDBC连接串

如果在数据库单节点或者VIP等集群服务异常时,导致数据库RAC节点无法全部正常对外提供服务时,修改JDBC连接串,让应用节点连接到可用的数据库地址上。

登陆weilogic控制台,进入JDBC配置页面,根据数据库专责提供的可用连接串,修改JDBC连接串地址为

jdbc:

oracle:

thin:

@(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=10.1.80.141)(PORT=1521)))(CONNECT_DATA=(SERVICE_NAME=test)(INSTANCE_NAME=test)))

14.JAVA环境变量错误

Weblogic用户登录系统

$ java –version--------查询weblogic用户下jdk信息

java version "1.6.0_37"

Java(TM) SE Runtime Environment (build 1.6.0_37-b06)

Java HotSpot(TM) 64-Bit Server VM (build 20.12-b01, mixed mode)

$ which java---查询jdk安装路径

/usr/java/jdk1.6.0_37/bin/java

$cd/home/weblogic/Oracle/Middleware/user_projects/domains/test_domain/bin

$visetDomainEnv.sh---按照上面查询的路径结果修改weblogic脚本中的JDK配置

SUN_JAVA_HOME="/usr/java/jdk1.6.0_37"

export SUN_JAVA_HOME

if [ "${JAVA_VENDOR}" = "Oracle" ] ; then

        JAVA_HOME="${BEA_JAVA_HOME}"

        export JAVA_HOME

else

        if [ "${JAVA_VENDOR}" = "Sun" ] ; then

                JAVA_HOME="${SUN_JAVA_HOME}"

                export JAVA_HOME

        else

                JAVA_VENDOR="Sun"

                export JAVA_VENDOR

                JAVA_HOME="/usr/java/jdk1.6.0_37"

                export JAVA_HOME

        fi

fi

15.更换weblogic9版本更换license

Weblogic用户登录系统

使用FTP工具上传授权license至/home/weblogic/bea目录下

16.因硬件或者系统故障,节点均无法启动

临时调配应用服务器,重新安装weblogic中间件,利用备份文件,进行重新发布配置。

建议保留原故障环境。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 小学教育 > 英语

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1