XX系统巡检方案xxx年度xx巡检报告doc.docx

1、XX系统巡检方案xxx年度xx巡检报告docXX系统巡检报告（xxx年度第x季度）系统名称：XX系统 巡检日期： 编 写： 编写日期：审 核： 审核日期：批 准： 批准日期： 一、概述 合同名称： 合同编号： 巡检地点： 巡检人员： 巡检时间及安排：2 巡检目标：检查XX系统本期巡检重点：1、检查数据库参数，是否有问题。2、检查应用服务器状况是否正常。3、监控系统的日常运行，包括操作系统，数据库，应用服务，网络。 4、监控一线操作人员登陆业务系统，业务使用系统情况。5、检查服务器可用资源，包括 内存，CPU,磁盘的使用情况，以及数据的备份情况。建议：在非业务时间（19:00-24:00之间）操

2、作应用服务器 (A、B机分别执行) ap.bat，数据库服务器db.bat、db_stat.bat、yw.bat、ts.bat二、巡检方案1 数据库方面1.1 数据库服务器（硬件）基本信息：序号项目名称检查方法参考值实际结果1机器名登录数据库服务器，执行db.bat 脚本中的命令ipconfig /all，在网络信息中查看机器名DongChanYW-db1DongChanYW-db12用途 (生产,测试,开发)生产生产生产3所在城市，物理位置（机房，远程）机房机房机房4硬件供货商IBMIBMIBM5型号IBM,9133-55AIBM,8233-E8B6操作系统登录数据库服务器，执行db.bat

3、 脚本中的命令verWindows_NT Windows_NT 7操作系统版本登录数据库服务器，执行db.bat 脚本中的命令echo %OS% Microsoft Windows 版本 6.1.7601Microsoft Windows 版本 6.1.76018内存登录数据库服务器，打开任务管理器，选择性能标签页 7936 MB8191 MB9CPU 个数登录数据库服务器，打开任务管理器，选择性能标签页4410剩余磁盘空间(in %)登录数据库服务器，命令行打开diskmgmt.msc查看磁盘使用情况卷 文件系统 状态可用 C: NTFS 状态良好 30% 卷 文件系统 状态可用C: NTF

4、S 状态良好 30%系统保留 NTFS 状态良好 74%E: NTFS 状态良好 60%11处理器数(由实例使用)打开SQLServer服务器面板查看4412总服务器内存(KB)打开SQLServer服务器面板查看3147776314777613可用性需求(系统使用时间)正常正常1.2 数据库配置生产库:序号项目名称检查方法参考值实际结果1实例名打开SQLServer服务器面板，查看实例名称DONGCHANYW-DB1DONGCHANYW-DB12数据库名SCFDBSCFDB3版本打开SQLServer服务器面板，查看数据库版本10.50.1600.110.50.1600.14表空间信息执行d

5、b_stat.bat 脚本正常正常1.3 数据库检查内容序号检查项目方法检查项目描述参考值实际结果1打开sqlserver管理面板，选择日志，检查数据库日志文件中是否有系统错误信息。查看sqlserverlog_日期.log文件中11月31日后是否有错误码，要查看错误码的相关解释可参考sqlserver帮助文档正常正常2检查表空间使用情况，评估数据库表空间的使用情况方法：执行db_stat.bat 脚本执行命令后可查看到保留空间、使用空间、索引使用空间、未用空间正常正常3检查每晚的备份是否成功目前采用虚拟机整机备份，检查备份是否正常备份正常。备份正常。4监控数据库性能：执行db_stat_co

6、nnection.bat，统计物理连接数情况，执行db_stat_lock.bat，检查是否存在死锁，并解锁主要关注以下几项：1、查看物理连接数是否在正常范围内2、检查是否存在死锁在业务高峰期取6次快照得到以下结论：1、当前连接的应用程序的最大连接数48在系统范围设置范围内(0-90)2、未检测到死锁。在业务高峰期取6次快照得到以下结论:1、当前连接的应用程序的最大连接数23在系统范围设置范围内(0-103)2、未检测到死锁5检查数据库配置信息：执行db.bat 脚本通过提取的配置信息,结合数据库表空间使用情况,分析数据库是否满足目前的系统要求。正常正常6检查数据库基础数据方法：执行base_

7、data.bat脚本通过提取的基础数据，结合业务配置流程等，分析基础数据是否满足目前的系统要求正常经过检测分析得到如下结论:正常7查看业务繁忙时数据库cpu及内存使用情况方法：打开命令行，输入taskmgr.exe，打开任务管理器，选择“性能”标签项，并截图保存(根据统计语句获得业务系统统计的数据量得到每天的业务高峰时间段，在这个时间段内执行6次)。cpu的平均使用率低于30%。正常正常1.4 数据库检查总结通过对收集到的数据库信息分析得出以下结论：1、关于数据库连接数，本系统web服务器was设置的最大数据库连接数为100个，而目前业务高峰期的数据库最大连接数为20个，也就是在当前业务高峰期

8、间，数据库的最大连接数只占到系统设置的20%左右，完全满足系统业务需求。 2 、未检测到有死锁现象，数据库运行良好。2 应用服务器方面2.1 应用服务器（硬件）基本信息：序号项目名称检查方法 参考值实际结果1机器名登录应用服务器，执行ap.bat 脚本中的ipconfig /all，在网络信息中查看机器名DongChanYW-app1DongChanYW-app12用途 (生产,测试,开发)生产生产生产3所在城市，物理位置（机房，远程）机房机房机房4硬件供货商IBMIBMIBM5型号IBM,9133-55AIBM,9133-55A6操作系统登录应用服务器，执行ap.bat 脚本中的命令echo

9、 %OS%Windows_NTWindows_NT7操作系统版本登录应用服务器，执行ap.bat 脚本中的命令 verMicrosoft Windows 版本 6.1.7601Microsoft Windows 版本 6.1.76018内存登录应用服务器，打开任务管理器性能标签4095 MB4095 MB9CPU 个数登录应用服务器，打开任务管理器性能标签2210剩余磁盘空间(in %)登录数据库服务器，命令行打开diskmgmt.msc查看磁盘使用情况卷 文件系统 状态可用 C: NTFS 状态良好 30% 卷 文件系统 状态可用C: NTFS 状态良好 79%系统保留 NTFS 状态良好

10、72%E: NTFS 状态良好 94%11可用性需求(系统使用时间)13*713*72.2 应用服务器检查内容序号检查项目方法检查项目描述参考值实际结果1检查所有应用服务器标准输出和错误输出日志。查看错误日志（ E:/IBM/WebSphere/AppServer/profiles/AppSrv01/logs/server1/ScfOut.log）中是否有错误代码，如果存在，根据日志中错误信息检查检查是否存在错误日志正常正常2查看业务繁忙时应用服务器的CPU以及内存使用情况。方法：打开命令行，输入taskmgr.exe，打开任务管理器，选择“性能”标签项，并截图保存。根据统计语句获得业务系统统

11、计的数据量得到每天的业务高峰时间段，在这个时间段内执行6次(根据统计语句获得业务系统统计的数据量得到每天的业务高峰时间段，在这个时间段内执行数次)。打开任务管理器性能页面，查看系统资源使用情况是否正常CPU的平均使用率低于30%。CPU的平均使用率低于30%。3查看应用服务器进程状态方法：执行ap.bat 脚本中的%SystemRoot%/system32/tasklist查看当前是否有was进程在运行正常正常4主要参数/配置方法：1、Websphere服务器处理线程数。打开管理控制台，依次打开目录树，应用程序服务器 server1 线程池 WebContainer，查看最大大小2、JVM虚拟

12、机堆大小，服务器-应用程序服务器-server1-进程定义-java虚拟机，查看初始堆大小和最大堆大小的值3、Web 容器传输链，应用程序服务器 server1 Web 容器传输链 WCInboundDefault HTTP 入站通道（HTTP_2），查看最大持久请求数4、数据源- Microsoft SQL Server JDBC Driver App1 查看连接数据库的服务器的IP地址，并点“测试连接”，连接成功；点“连接池属性”，查看最大连接数检查Web容器线程池大小、Java虚拟机堆大小、每个连接最大持久请求数、数据库连接池最大连接数1、 Web容器线程池502、Java虚拟机堆大小2

13、56M-1024M3、Web 容器最大持久请求数1004、数据库连接池 最大连接数1001、Web容器线程池502、Java虚拟机堆大小256M-1024M3、Web 容器最大持久请求数1004、数据库连接池 最大连接数1002.3 应用服务器检查总结通过应用服务器检查分析得出以下结论：应用服务器各项检查正常。3 XX系统业务检查3.1 业务检查内容1、非业务时间（建议在19:00-24:00之间），登录数据库服务器执行以下脚本： 1)通过执行脚本yw.bat可以分析得到每天的业务操作高峰大约在几点钟的每天的业务量。2、执行表数据量统计脚本db_stat.bat，得到目前各个表数据量。3、查看

14、WAS连接数据库的物理连接数，可以在数据库服务器上每间隔一段时间执行db_connection.bat查看当前数据库连接数。或者登录Was控制台，进入性能查看器，选择数据源，查看目前连接池打开的物理连接。3.2 业务检查总结1. 最近一星期内每天每小时的业务流水量：时间2013-04-102013-04-112013-04-122013-04-132013-04-1480110092101010222311195990121101013352001492256152428616240021722000718012000190200020010002100000结论：通过上表可以看出业务高峰期集

15、中在(时间段)：10:0012:002.最近一星期内每天的业务流水量：日期申请笔数2013-04-1092013-04-11202013-04-1222013-04-13122013-04-146日期通信笔数2013-04-103982013-04-115102013-04-12272013-04-13372013-04-14792结论：通过上表可以看出日平均业务量较少3.业务高峰期数据库连接数执行时间2013-04-10 10:002013-04-10 10:202013-04-10 11:002013-04-10 14:002013-04-10 14:302013-04-10 15:00物

16、理连接数161816192018结论： 通过上表可以看出在业务高峰期数据库连接数大概为18个左右4.数据量统计收集数据表的数据量和统计信息，据此进行重整规则优化，必要时制定数据清理方案，需要关注的大表及记录数如下：结论： 目前以上为纪录数均未超过20万，暂不需对历史数据迁移。4 XX系统特色检查4.1日终批次情况检查提取最近一周终批处理日志,分析批次运行情况，检查每一步运行是否成功，以及每一步运行时间。 1）7月-9月批次总耗时时间抽样:日期处理类型是否成功开始时间结束时间用时(毫秒)2013-01-05日终批次成功2013-01-05 23:00:302013-01-05 23:00:377

17、1422013-01-21日终批次成功2013-01-21 23:00:232013-01-21 23:00:3071722013-02-02日终批次成功2013-02-02 23:00:182013-02-02 23:00:2466412013-02-29日终批次成功2013-02-29 23:00:282013-02-29 23:00:3572032013-03-01日终批次成功2013-03-01 23:00:332013-03-01 23:00:4062502013-03-09日终批次成功2013-03-09 23:00:292013-04-09 23:00:355641 2）1月-3

18、月批次各任务的平均时间（毫秒）如下:模块1月2月3月跌破监管下限预警104910381052价格波动异常预警960980973流转频率预警393742未巡库提示959996SCF库存信息同步CMS402399403跌破监管下限预警（监管公司设定上浮值）4543393）1月-3月批次涉及关联系统接口通讯情况:日期CMS2013-1-01正常2013-1-20正常2013-2-04正常2013-2-22正常2013-3-01正常2013-3-10正常结论： 日终批次运行正常，批次中涉及关联接口通讯正常4.2业务统计检查执行ts.bat，检查业务统计情况，包括按申请类型（出质入库、换货、调价、监管下

19、限调整等）查询业务申请统计情况，分析目前动产业务系统承载能力。业务申请统计情况:业务类型代码总笔数绑定规则修改申请23 2监管协议终止申请92 59日常入库申请22 210换货通知申请90 5调价申请(快速)97 11追加出质申请07510提货申请03 1押品监管下限设定申请25 130换货申请04 53岀质入库申请02 250调价申请98 72押品监管下限调整申请18 761 结论：各业务种类申请数据量不大，系统能够支撑正常业务处理。5网络通讯部分5.1网络通信检查内容序号检查项目操作命令或检查方法参考值实际结果1数据库服务器通讯检查ping 数据库服务器IP正常发送和收到数据包正常发送和收

20、到数据包2应用服务器A通讯检查ping 应用服务器IP正常发送和收到数据包正常发送和收到数据包3应用服务器B通讯检查ping 应用服务器IP正常发送和收到数据包正常发送和收到数据包4HTTP服务器A通讯检查ping HTTP所在服务器IP正常发送和收到数据包正常发送和收到数据包5HTTP服务器B通讯检查ping HTTP所在服务器IP正常发送和收到数据包正常发送和收到数据包5.2网络通信检查总结 6热备/冷备部分6.1 热备/冷备检查内容序号检查项目操作命令或检查方法参考值实际结果1热备软件的可用性1）在CAMA监控系统查看备份是否成功，是否定期正常运行。2）检查备份目录下是否有近一周备份数据

21、。备份执行成功虚拟机整机备份2备份方式及策略1）备份方式：每天零晨3：00执行执行联机热备份备份方式和策略合理虚拟机整机备份6.2热备/冷备检查总结7 系统性能评估1） 通过 任务管理器及系统信息信息界面，检查服务器目前内存、CPU个数及频率，通过磁盘管理器检查目前磁盘空间的使用情况。通过任务管理器检查服务器平稳运行情况下，虚拟内存的使用情况。分析目前 内存，CPU，硬盘空间是否满足业务系统的要求。总结：根据获取的硬盘信息分析，应用服务器及数据库服务器部份文件系统占用磁盘空间较大，按照目前的业务增量，后续可能会导致磁盘空间不够，建议增加磁盘空间。系统运行的线程数量没有超出CPU上限，cpu平均

22、空闲率达到90%。2） 通过db.bat 中 执行sql脚本获取数据库版本检查数据库的补丁版本及实例是否启动并正常运行总结：数据库运行情况良好。 3） 通过db.bat 中执行sql脚本获取数据库表空间使用情况检查数据库表空间的状态是否正常，及使用情况。总结：数据库表空间的使用情况正常。4） 检查近期的备份是否正常，分析备份策略是否合理。总结：备份情况正常，备份方式和策略合理。5） 通过 db.bat 中的命令提起快照信息，分析数据库的发生的死锁数及缓冲池的命中率。总结：没有检测到互斥锁定升级,也没有检测到死锁。缓冲池使用情况良好。6） 登录Was的控制台，检查Was的配置参数是否符合要求。W

23、eb容器线程池：50Java虚拟机堆大小：512M-1024MWeb 容器传输链 WCInboundDefault HTTP 入站通道（HTTP_2） 为100数据库连接池最大连接数：100总结：符合系统配置要求。7） 通过ap.bat 中 tasklist命令列出服务器上进程信息。查看Websphere的进程服务和httpd的进程是否启动，如果没有启动需要手工启动。总结：进程启动正常。8）通过 ping ip 命令检查网络连通性是否正常。总结：从反馈的数据来观察，网络通讯正常。9）统计分析业务量，评估目前系统情况。总结：XX系统最大业务量主要取决两个方面：报文接口的承受压力和最大并发用户数，

24、通过对比，我们可以预测，系统在当前环境下能够承载100个用户并发（1000个用户在线）访问，175个用户并发（1750个用户在线）访问时，应用服务器CPU使用率将接近100%，数据库服务器CPU使用率将接近20%。受应用服务器CPU瓶颈影响，175个用户并发（1750个用户在线）访问将是系统最大用户并发数的峰值。如需满足更大的在线用户量，建议提高应用服务器的配置。由于实际生产环境采用的是集群配置，两台应用服务器。因此并发用户最多是350，此时CPU使用率将接近100%，数据库服务器CPU使用率将接近40%，满足业务使用。10）提取分析日终批处理运行情况，根据情况对批次进行优化。总结：从批次日志的数据分析，目前动产业务系统数据量相对较小，根据抽样表（详见1月-11月批次总耗时抽样表）统计，日终批次处理总时间均在秒级范围内，暂不需做进一步优化。11）根据收集的数据评估系统的支撑能力。总结：从9）的业务分析中可以看到，系统在业务上完全能满足业务需求，同时在涉及整个系统性能方面的情况，如：数据库情况，应用服务器情况以及网络情况等等都是正常且运行良好的。12）巡检建议XX系统：系统性能正常，能正常支持生产运行。13）运维人员意见