最新ITSS信息技术服务标准体系文件运维监控方案Word格式.docx
《最新ITSS信息技术服务标准体系文件运维监控方案Word格式.docx》由会员分享，可在线阅读，更多相关《最新ITSS信息技术服务标准体系文件运维监控方案Word格式.docx（10页珍藏版）》请在冰豆网上搜索。
批准日期
发布日期
生效日期
修改日期
版本号
修改内容
修改人
2015-01-05
V1.0
创建文档
1概述
营销技术系统是电力企业重要的信息技术系统，支持着全省营销业务的开展，系统的高可用性、稳定性尤其重要，系统运维工作开展极其重要。
整体系统庞大而复杂，涉及多种硬件设备和多套软件系统构成，日常的系统运维监控工作量大且繁琐，必须采用自动化监控软件，即时、高效的开展监控工作，保障系统稳定性。
ICINGA软件提供一个开源的监控平台，能即时反馈各类警告信息，并提供常用的硬件、软件监控插件，同时ICINGA是一个开放的平台，可根据需求自行开发插件。
因此我公司采用开源工具ICINGA进行对客户应用系统、硬件设施、网络等进行监控
2ICINGA软件架构及功能
2.1ICINGA架构介绍
该软件安装在一台独立的服务器上运行，这台服务器称为监控中心，监控中心服务器采用Linux操作系统；
每一台被监视的硬件主机或服务都运行一个与监控中心服务器进行通信的ICINGA（Nagios）软件后台程序。
监控中心服务器读取配置文件中的指令与远程的守护程序进行通信，并且指示远程的守护程序进行必要的检查。
虽然ICINGA软件在Linux操作系统上运行，但是远程被监控的机器可以是任何能够与其进行通信的主机，根据远程主机返回的应答，ICINGA将依据配置进行回应；
接着ICINGA将通过本地的机器进行测试，如果检测返回值不正确，ICINGA将通过一种或多种方式报警；
具体原理如下图所示：
2.2ICINGA软件功能
1、监控网络服务（SMTP、POP3、HTTP、NNTP、PING等）；
2、监控主机资源（处理器负荷、磁盘利用率、内存使用率等）；
3、监控主机负载，进程队列排队情况。
4、监控设备运行状态，表达网络主机间的关系，是否宕机或不可达状态。
5、简单插件设计使得用户可以方便地扩展自己服务的检测方法；
6、并行服务检查机制；
7、当服务或主机问题产生与解决时将告警发送给联系人（通过EMail、短信、用户定义方式）；
8、可以定义一些处理程序，使之能够在服务或者主机发生故障时起到预防作用；
9、自动的日志滚动功能；
10、可以支持并实现对主机的冗余监控；
11、可选的WEB界面用于查看当前的网络状态、通知和故障历史、日志文件等;
12、自定义插件实现各种状态数据获取及第三方接口应用功能。
3监控范围
ICINGA是一个开放的平台，利用常用插件或自定义插件，可实现营销应用系统的设备（光纤交换机、磁带库、硬盘陈列）、操作系统（生产库、应用服务器）、应用系统（ORACLE\WEBLOGIC）及业务情况的监控。
实现四维一体数据监控。
3.1硬件设备监控
主机设备是重点监控对象之一，主机的CPU、内存、及IO情况直接反映出系统负载情况，是否可持续为系统提供服务。
ICINGA配置数据库及应用主机，首先以PING的方式确定主机是否可达或宕机，并即时反馈主机状态，一旦出现异常，根据预警阀值第一时间发出警告。
主机状态监控总图：
主机各资源监控：
系统CPU图曲线：
CPU插件SHELL脚本片断：
#CPUUtilizationStatisticsUnixPlateform（LinuxandAIXaresupported）
case`uname`in
Linux）CPU_REPORT=`iostat-c52|tr-s'
'
;
'
|sed'
/^$/d'
|tail-1`
CPU_USER=`echo$CPU_REPORT|cut-d"
"
-f2`
CPU_SYSTEM=`echo$CPU_REPORT|cut-d"
-f4`
CPU_IOWAIT=`echo$CPU_REPORT|cut-d"
-f5`
CPU_IOWAIT_INT=`echo$CPU_IOWAIT|cut-d"
."
-f1|cut-d"
"
-f1`
CPU_IDLE=`echo$CPU_REPORT|cut-d"
-f6`
;
*）echo"
UNKNOWN:
`uname`notyetsupportedbythisplugin.Comingsoon!
exit$STATE_UNKNOWN
esac
#Return
if[${CPU_IOWAIT_INT}-ge$WARNING_THRESHOLD]&
&
[${CPU_IOWAIT_INT}-lt$CRITICAL_THRESHOLD];
then
echo"
CPUIOWAITWARNING:
user=${CPU_USER}%system=${CPU_SYSTEM}%iowait=${CPU_IOWAIT}%idle=${CPU_IDLE}%|${CPU_USER};
${CPU_SYSTEM};
${CPU_IOWAIT};
${CPU_IDLE};
$WARNING_THRESHOLD"
exit$STATE_WARNING
elif[${CPU_IOWAIT_INT}-ge$CRITICAL_THRESHOLD];
CPUIOWAITCRITICAL:
exit$STATE_CRITICAL
else
CPUSTATISTICSOK:
$WARNING_THRESHOLD;
$CRITICAL_THRESHOLD"
exit$STATE_OK
fi
通过向被监控主机，增加插件的方式，获取所需的主机资源数据，预警阀值设置在被监控端，阀值可调，插件根据监控的数据与阀值进行比较，超出阀值则向ICINGA服务端反馈预警信息，服务端收到预警信息之后，显示出预警信息，并根据设置发出（以邮件、短信等方式）相应的警告。
3.2软件监控
我公司主要应用系统为典型的业务交易系统，采用主流数据库软件ORACLE，应用中间件采用WEBLOGIC，系统架构采用J2EE架构。
监控的重点对象是数据库与中间件软件。
应用数据库活动会话及主机资源监控图：
应用服务器链接监控图：
3.3应用业务量监控
ICINGA在业务应用中，可以完成多项业务内容的监控，如系统在线用户数、银电联网交易情况、95598电话接入、对外网站等。
通过编写相应的插件代码部署至被监控端服务器或应用系统中，ICINGA服务端会定期循环检测被监控端状态，并反馈业务数据。
3.3.1银电联网监控
银电交易监控图：
通过在银电联网前置机，部署ICINGA客户端，并编写PERL插件获取前置机交易数据，ICINGA服务端定期轮循主动检查客户端，反馈业务数据，在监控WEB界面展示银行与电力部门业务交易汇总数据。
同时也监控着前置机主机是否可达。
PERL脚本的优势在于强大的文本分析处理能力，可高速高效分析文本数据，对于系统资源占用较少。
3.3.2登录监控
在线用户监控图：
利用PERL分析应用负载均衡器（如F5设备）数据文件，统计当前用户在线连接情况。
也可以利用SHELL脚本调用SQLPLUS连接数据库，从业务系统数据库中，统计在线用户情况。
后者需要优化SQL语句，注意监控频率，减少监控活动对业务系统的性能影响。
2.3.3客服95598电话接入监控
客服电话交换机监控图：
客服95598电话是电力企业最重要对外窗口，需重点监控电话接入的可用性。
可以从两个方面进行监控，一是电话交换机，二是电话接入服务。
电话交换机带SNMP功能或具简单TCPIP协议，ICINGA监控电话交换机的网络通信情况，来监控电话是否可用。
对于电话接入服务，通过监控服务进程状态，确定是否可用。
3.3.4电力微信服务监控
电力微信平台作为企业面向公众的窗口之一，其可用性、稳定性直接影响企业的形象，在故障第一时间或即将出现故障前介入处理，保存持续可用性非常重要。
部署ICINGA基于perl脚本插件，监控电力微信服务器状态，分析应用日志发出预警信息。
电力微信服务，通常部署在weblogic、jboss中间件，编写perl脚本分析中间件日志文件，获取相关预警信息，由ICINGA第一时间发启警告。
4问题处理方式
4.4监控警告提醒
ICINGA内置警告插件，但警告阀值在被监控端定义，ICINGA服务按约定格式接收每次检查反馈信息，根据反馈内容确定是否发出警告。
用户可通过多种方式发送警告信息，最常用的邮件、短信发送，以及组合发送。
还可以自定义警告信息发送级别、分组发送、发送时段、发送间隔等。
也可以利用当前流行的QQ、微信、MSN等即时通信工具发送警告信息，当然前提条件时，必须获取相应的服务接口。
以下是最普遍的邮件及短信截图：
警告短信截图：
4.5监控系统数据汇总
ICINGA提供监控平台、常用的监控功能及有限的统计分析功能。
可利用此平台进行二次开发，满足个性化需求。
如ICINGA为我们提供单台主机CPU数据并将其图形化显示。
如果需要了解整套系统中多台主机的CPU曲线，就需要我们二次开发。
如下图：
多台主机CPU曲线
以上功能利用perl脚本语言，实时监控ICINGA状态文件，分析CPU状态数据，并将数据实时传输至数据库存储，最后利用图表工具生成曲线。
以下为perl代码片断：
#connettoDB
$dbh=DBI->
connect（"
dbi:
Oracle:
$tnsdb"
$user,$passwd）ordie"
can'
tconnecttodatabase"
.DBI-errstr;
foreachmy$statusobjectname（keys%{$status->
{'
SERVICES'
}}）{
#只传输service_description为CPU、Disk、Memory的数据内容
if（$status->
}->
{$statusobjectname}->
service_descrip
升级会员 