运维文档.docx
《运维文档.docx》由会员分享，可在线阅读，更多相关《运维文档.docx（26页珍藏版）》请在冰豆网上搜索。
运维文档
运维服务方案
2013年12月
北京许继电气有限公司
1北京许继电气有限公司的服务内容
1.1服务目标
北京许继电气有限公司可为提供的运行维护服务包括，与电动汽车智能充换电服务网络运营监控系统（以下简称运营监控系统）相关的主机设备、操作系统、数据库和存储设备的运行维护服务，保证用户现有运营监控系统的正常运行，降低整体管理成本，提高运营监控系统的整体服务水平。
同时根据日常维护的数据和记录，提供用户运营监控系统的整体建设规划和建议，更好的为用户的信息化发展提供有力的保障。
用户运营监控系统的组成主要可分为两类：
硬件设备和软件系统。
硬件设备包括网络设备、安全设备、主机设备、存储设备等；软件设备可分为操作系统软件、典型应用软件（如：
数据库软件、中间件软件等）、业务应用软件等。
北京许继电气有限公司通过对运行维护服务的有效管理来提升用户运营监控系统的服务效率，协调各业务应用系统的内部运作，改善网络运营监控系统与业务部门的沟通，提高服务质量。
结合用户现有的环境、组织结构、IT资源和管理流程的特点，从流程、人员和技术三方面来规划用户的网络运营监控系统的结构。
将用户的运行目标、业务需求与IT服务的相协调一致。
北京许继电气有限公司提供的运营监控系统服务的目标是，对用户现有的运营监控系统基础资源进行监控和管理，及时掌握网络运营监控系统资源现状和配置信息，反映运营监控系统资源的可用性情况和健康状况，创建一个可知可控的良好环境，从而保证用户的运营监控系统的各类业务应用系统的可靠、高效、持续、安全运行。
服务项目范围覆盖的运营监控系统资源以下方面的关键状态及参数指标：
Ø运行状态、故障情况
Ø配置信息
Ø可用性情况及健康状况性能指标
1.2资产统计服务
此项服务为基本服务，包含在运行维护服务中，帮助我们对用户现有的信息资产情况进行了解，更好的提供系统的运行维护服务。
服务内容包括：
Ø硬件设备型号、数量、版本等信息统计记录
Ø软件产品型号、版本和补丁等信息统计记录
Ø网络结构、网络路由、网络IP地址统计记录
Ø综合布线系统结构图的绘制
Ø其它附属设备的统计记录
1.3现场巡检服务
现场巡检服务是北京许继电气有限公司对客户的设备及网络进行全面检查的服务项目，通过该服务可使客户获得设备运行的第一手资料，最大可能地发现存在的隐患，保障设备稳定运行。
同时，北京许继电气有限公司将有针对性地提出预警及解决建议，使客户能够提早预防，最大限度降低运营风险。
巡检包括的内容如下：
编号
巡检内容
1
硬件运行状态检查项目
单板状态检查
电源模块状态检查
风扇状态检查
整机指示灯状态检查
机框防尘网检查
机房温度、湿度检查
设备地线检查
2
软件运行情况检查项目
设备运行情况检查
网络报文分析
设备对接运行状况检查
路由运行情况检查
3
网络整体运行情况调查
网络运行问题调查
网络变更情况调查
网络历史故障调查
重要时刻专人值守服务
北京许继电气有限公司深刻知道保证重要时刻设备稳定运行对客户成功尤为关键，因此，北京许继电气有限公司可对客户提供重要时刻的专人现场值守支持，包括政府客户的重大会议期间、金融客户的年终结算日、运营商客户的生产网重大割接或其它任何客户认为可能对其业务运营产生重大影响的时刻。
如需专人值守，客户需至少提前3周与授权服务商客户服务经理联系。
对每位合约客户，授权服务商均需按事先合同约定提供专人值守服务。
客户如需超出合同约定范围的更多值守支持，需额外支付相应人力和差旅费用。
1.4主机、存储系统运维服务
北京许继电气有限公司提供的主机、存储系统的运维服务包括：
主机、存储设备的日常监控，设备的运行状态监控，故障处理，操作系统维护，补丁升级等内容。
主机存储系统基本服务内容：
序号
服务模块
内容描述
提供方
1
现场备件安装
配合用户进行。
按备件到达现场时间工程师到达现场
设备厂商、
北京许继电气有限公司
2
补丁服务
消除软件漏洞给系统带来的安全隐患，并对安装补丁所引起的系统连锁反应进行合理的平衡。
北京许继电气有限公司
3
升级服务
对系统进行软件或硬件的升级，以改进、完善现有系统或消除现有系统的漏洞。
北京许继电气有限公司
4
现场故障诊断
按服务级别：
7×24小时
5×8小时
北京许继电气有限公司
5
电话远程技术支持
7×24小时
北京许继电气有限公司
6
问题管理系统
对遇到的问题进行汇总和发布
北京许继电气有限公司
7
系统优化
对客户系统的括主机、存储设备、操作系统、提供优化服务。
北京许继电气有限公司现场人员可进行监控管理的内容包括：
ØCPU性能管理；
Ø内存使用情况管理；
Ø硬盘利用情况管理；
Ø系统进程管理；
Ø主机性能管理；
Ø实时监控主机电源、风扇的使用情况及主机机箱内部温度；
Ø监控主机硬盘运行状态；
Ø监控主机网卡、阵列卡等硬件状态；
Ø监控主机HA运行状况；
Ø主机系统文件系统管理；
Ø监控存储交换机设备状态、端口状态；
Ø监控备份服务进程、备份情况（起止时间、是否成功、出错告警）；
Ø监控记录磁盘阵列、磁带库等存储硬件故障提示和告警，并及时解决故障问题；
Ø对存储的性能（如高速缓存、光纤通道等）进行监控。
Ø设备巡视按下表各项内容进行。
检查项
结论
备注
机房环境
空气条件系统
温度
□正常□异常
℃
湿度
□正常□异常
%
环境卫生
清洁
□正常□异常
痕迹
□正常□异常
故障甄别
异味
□有□无
异响
□有□无
安全防护
门禁
□正常□异常
检查项
结论
备注
网
络
设
备
防火墙
网络通讯状况
□正常□异常
路由器
网络通讯状况
□正常□异常
网络交换机
数据指示灯状况
□正常□异常
网络通讯状况
□正常□异常
交换机端口及网线状况
□正常□异常
检查项
操作提示/正常值
结论
备注
整体检查
硬件故障
查看服务器设备故障灯
□正常□异常
故障原因及解决方法：
补丁
是否有新补丁需要测试安装
□是□否
安装的补丁名称及对应的服务器名称：
防病毒
病毒库是否升级为最新
□是□否
病毒库日期：
检查项
结论
备注
1#
数据库服务器
冗余电源
电源指示灯显示状况
□正常□异常
系统指示
系统指示灯状况
□正常□异常
CPU利用率
CPU利用状况的百分比
□正常□异常
具体值：
内存利用率
内存利用状况的百分比
□正常□异常
具体值：
系统事件
无错误事件与不明登录事件
□正常□异常
日志文件
设置已经运行正常，数据量正常
□正常□异常
磁盘卷组
无处于失效状态的逻辑卷
□正常□异常
功能
远程登录正常工作
□正常□异常
数据库正常工作
□正常□异常
数据备份
最近备份时间：
年月日
□正常□异常
存储设备
状态指示灯，硬盘指示灯检查
□正常□异常
HBA卡
连接指示灯状况
□正常□异常
服务
Oracle数据库运行状况
□正常□异常
版本号：
检查项
结论
备注
2#
数据库服务器
冗余电源
电源指示灯显示状况
□正常□异常
系统指示
系统指示灯状况
□正常□异常
CPU利用率
CPU利用状况的百分比
□正常□异常
具体值：
内存利用率
内存利用状况的百分比
□正常□异常
具体值：
系统事件
无错误事件与不明登录事件
□正常□异常
日志文件
设置已经运行正常，数据量正常
□正常□异常
磁盘卷组
无处于失效状态的逻辑卷
□正常□异常
功能
远程登录正常工作
□正常□异常
数据库正常工作
□正常□异常
数据备份
最近备份时间：
年月日
□正常□异常
存储设备
状态指示灯，硬盘指示灯检查
□正常□异常
HBA卡
连接指示灯状况
□正常□异常
服务
Oracle数据库运行状况
□正常□异常
版本号：
检查项
结论
备注
1#
应用服务器
冗余电源
电源指示灯显示状况
□正常□异常
系统指示
系统指示灯状况
□正常□异常
CPU利用率
CPU利用状况的百分比
□正常□异常
具体值：
内存利用率
内存利用状况的百分比
□正常□异常
具体值：
系统事件
无错误事件与不明登录事件
□正常□异常
日志文件
设置已经运行正常，数据量正常
□正常□异常
磁盘卷组
无处于失效状态的逻辑卷
□正常□异常
服务
Weblogic运行状况
□正常□异常
版本号：
Bpm运行状况
□正常□异常
版本号：
检查项
结论
备注
2#
应用服务器
冗余电源
电源指示灯显示状况
□正常□异常
系统指示
系统指示灯状况
□正常□异常
CPU利用率
CPU利用状况的百分比
□正常□异常
具体值：
内存利用率
内存利用状况的百分比
□正常□异常
具体值：
系统事件
无错误事件与不明登录事件
□正常□异常
日志文件
设置已经运行正常，数据量正常
□正常□异常
磁盘卷组
无处于失效状态的逻辑卷
□正常□异常
服务
Weblogic运行状况
□正常□异常
版本号：
Bpm运行状况
□正常□异常
版本号：
检查项
结论
备注
1#
后台
计算服务器
冗余电源
电源指示灯显示状况
□正常□异常
系统指示
系统指示灯状况
□正常□异常
CPU利用率
CPU利用状况的百分比
□正常□异常
具体值：
内存利用率
内存利用状况的百分比
□正常□异常
具体值：
系统事件
无错误事件与不明登录事件
□正常□异常
日志文件
设置已经运行正常，数据量正常
□正常□异常
磁盘卷组
无处于失效状态的逻辑卷
□正常□异常
服务
Oracle客户端运行状况
□正常□异常
版本号：
Tuxedo运行状况
□正常□异常
版本号：
检查项
结论
备注
2#
后台
计算服务器
冗余电源
电源指示灯显示状况
□正常□异常
系统指示
系统指示灯状况
□正常□异常
CPU利用率
CPU利用状况的百分比
□正常□异常
具体值：
内存利用率
内存利用状况的百分比
□正常□异常
具体值：
系统事件
无错误事件与不明登录事件
□正常□异常
日志文件
设置已经运行正常，数据量正常
□正常□异常
磁盘卷组
无处于失效状态的逻辑卷
□正常□异常
服务
Oracle客户端运行状况
□正常□异常
版本号：
Tuxedo运行状况
□正常□异常
版本号：
检查项
结论
备注
前置服务器
冗余电源
电源指示灯显示状况
□正常□异常
系统指示
系统指示灯状况
□正常□异常
CPU利用率
CPU利用状况的百分比
□正常□异常
具体值：
内存利用率
内存利用状况的百分比
□正常□异常
具体值：
系统事件
无错误事件与不明登录事件
□正常□异常
日志文件
设置已经运行正常，数据量正常
□正常□异常
磁盘卷组
无处于失效状态的逻辑卷
□正常□异常
服务
Oracle客户端运行状况
□正常□异常
版本号：
Tuxedo运行状况
□正常□异常
版本号：
Redis运行状况
□正常□异常
版本号：
Boost运行状况
□正常□异常
版本号：
Thrift运行状况
□正常□异常
版本号：
检查项
结论
备注
磁盘阵列
冗余控制
A、B控制器状况
□正常□异常
系统指示
系统指示灯状况
□正常□异常
光纤链接
光纤链接端口指示灯状况
□正常□异常
磁盘卷组
无处于失效状态的逻辑卷
□正常□异常
具体槽口：
日志文件
设置已经运行正常，数据量正常
□正常□异常
1.5数据库系统运维服务
北京许继电气有限公司提供的数据库运行维护服务是包括主动数据库性能管理，数据库的主动性能管理对系统运维非常重要。
通过主动式性能管理可了解数据库的日常运行状态，识别数据库的性能问题发生在什么地方，有针对性地进行性能优化。
同时，密切注意数据库系统的变化，主动地预防可能发生的问题。
北京许继电气有限公司提供的数据库运行维护服务还包括快速发现、诊断和解决性能问题，在出现问题时，及时找出性能瓶颈，解决数据库性能问题，维护高效的应用系统。
北京许继电气有限公司的数据库运行维护服务，主要工作是使用技术手段来达到管理的目标，以系统最终的运行维护为目标，提高用户的工作效率。
具体数据库运行维护监控的基本服务内容包括：
序号
服务模块
内容描述
提供方
1
Oracle数据库
7*24电话支持服务
每周7天，每天24小时电话支持，电子邮件答询，以满足业务发展的需要。
根据问题的严重程度，将优先解决客户认为是关键而紧急的任务。
对客户提出的一般性问题进行技术咨询、指导。
定期的客户管理报告,避免问题再度发生。
北京许继电气有限公司
2
Oracle数据库产品
现场服务响应
数据库宕机
数据坏块
影响业务不能进行的产品问题
软件产品的更新及维护。
北京许继电气有限公司
3
Oracle数据库产品
系统健康检查
对系统的配置及运作框架提出建议，以帮助您得到一个更坚强可靠的运作环境
降低系统潜在的风险，包括数据丢失、安全漏洞、系统崩溃、性能降低及资源紧张
检查并分析系统日志及跟踪文件，发现并排除数据库系统错误隐患
检查数据库系统是否需要应用最新的补丁集
检查数据库空间的使用情况
协助进行数据库空间的规划管理
检查数据库备份的完整性
监控数据库性能
确认系统的资源需求
明确您系统的能力及不足
优化OracleServer的表现
通过改善系统环境的稳定性来降低潜在的系统宕机时间
北京许继电气有限公司
4
Oracle数据库产品
性能调优
分析用户的应用类型和用户行为
评价并修改ORACLE数据库的参数设置
评价并调整ORACLE数据库的数据分布
评价应用对硬件和系统的使用情况，并提出建议
培训用户有关性能调整的概念
北京许继电气有限公司
1.6中间件运维服务
中间件管理是指对Weblogic、Tuxedo、Redis、Boost、Thrift等中间件的日常维护管理和监控工作，提高对中间件平台事件的分析解决能力，确保中间件平台持续稳定运行。
中间件监控指标包括配置信息管理、故障监控、性能监控。
⏹执行线程：
监控WebLogic配置执行线程的空闲数量。
⏹JVM内存：
JVM内存曲线正常，能够及时的进行内存空间回收。
⏹检查WEBLOG日志文件是否有异常报错
⏹如果有WEBLOG集群配置，需要检查集群的配置是否正常。
⏹执行线程：
监控Tuxedo、Redis、Boost、Thrift等运行情况。
2运维服务流程
北京许继电气有限公司建议用户采用的服务方式为两种：
一种为技术人员现场值守，另一种是定期巡检结合故障现场服务。
技术人员现场值守运行维护服务的基本操作流程如下图所示：
定期巡检结合故障现场运行维护服务的基本操作流程如下图所示：
3服务管理制度规范
3.1服务时间
（1）接收服务请求和咨询：
在每周8小时工作时间内接听服务请求，并记录服务内容和事件处理结果。
（2）在非工作时间24小时接听的移动电话并进行技术支持，用于解决内部的技术问题以及机房监控人员的机房突发情况汇报。
（3）服务响应时间：
故障级别
响应时间
故障解决时间
I级：
属于紧急问题；其具体现象为：
系统崩溃导致业务停止、数据丢失。
60分钟，4小时内提交故障处理方案
24小时以内
II级：
属于严重问题；其具体现象为：
出现部分部件失效、系统性能下降但能正常运行，不影响正常业务运作。
60分钟，4小时内提交故障处理方案
36小时以内
III级：
属于较严重问题；其具体现象为：
出现系统报错或警告，但业务系统能继续运行且性能不受影响。
60分钟，4小时内提交故障处理方案
48小时以内
IV级：
属于普通问题；其具体现象为：
系统技术功能、安装或配置咨询，或其他显然不影响业务的预约服务。
60分钟，4小时内提交故障处理方案
5天内
技术支持人员在解决故障时，要最大限度保护好数据，做好故障恢复的文档，力争恢复到故障点前的业务状态。
对于“系统瘫痪，业务系统不能运转”的故障级别，如果不能于24小时内解决故障，北京许继电气有限公司将在16小时内提出应急方案，确保业务系统的运行。
故障解决后24小时内，提交故障处理报告。
说明故障种类、故障原因、故障解决中使用的方法及故障损失等情况。
3.2行为规范
（1）遵守用户的各项规章制度，严格按照用户相应的规章制度办事。
（2）与用户运行维护体系其他部门和环节协同工作，密切配合，共同开展技术支持工作。
（3）出现疑难技术、业务问题和重大紧急情况时，及时向负责人报告。
（4）现场技术支持时要精神饱满，穿着得体，谈吐文明，举止庄重。
接听电话时要文明礼貌，语言清晰明了，语气和善。
（5）遵守保密原则。
对被支持单位的网络、主机、系统软件、应用软件等的密码、核心参数、业务数据等负有保密责任，不得随意复制和传播。
3.3现场服务支持规范
运维服务人员要做到耐心、细心、热心的服务。
工作要做到事事有记录、事事有反馈、重大问题及时汇报。
严格遵守工作作息时间，严格按照服务工作流程操作。
（1）现场支持工程师应着装整洁、言行礼貌大方，技术专业，操作熟练、严谨、规范；现场支持时必须遵守用户单位的相关规章制度。
（2）现场支持工程师在进行现场支持工作时必须在保证数据和系统安全的前提下开展工作。
（3）现场支持时出现暂时无法解决的故障或其他新的故障时，应告知用户并及时上报负责人，寻找其他解决途径。
（4）故障解决后，现场支持工程师要详细记录问题的发生时间、地点、提出人和问题描述，并形成书面文档，必要时应向用户介绍故障出现的原因及预防方法和解决技巧。
3.4问题记录规范
根据使用人员提出问题的类别，将问题分为咨询类问题和系统缺陷类问题二类：
咨询类问题是指通过服务热线或现场解疑等方式能够当场解决用户提出的问题，具有问题解答直接、快速和实时的特点，该问题到现场支持人员处即可中止，对于该类问题的记录可使用咨询类问题记录模版进行记录。
系统缺陷类问题是指使用人员提出的问题涉及到系统相应环节的确认修改，需要经过逐级提交、诊断、确认、处理和回复等环节，处理解决需要北京许继电气有限项目组的分析确认，问题有解决方案后，将解决方案反馈给用户。
具体提交流程如下：
（1）问题提交。
应用运营监控系统的用户发现属于系统缺陷类的问题时，填写系统缺陷类问题提交单，提交服务支持中心。
（2）问题分析。
服务中心接到用户提交的问题单，要组织相应人员对问题单中描述的问题进行分析研判，确定问题的类型（技术问题、业务问题或者操作问题）。
属于技术问题，提交服务中心技术人员对存在的问题提出具体的处理意见和建议；属于业务问题，提交服务中心业务人员进行处理；属于操作问题，可安排相关人员对问题提出人进行解释，并将系统缺陷类问题提交单转为系统咨询类问题提交单。
（3）问题确认、解决。
服务中心的技术人员和业务人员收到系统缺陷类问题提交单后，对提交的问题进行归类汇总和分析、确认。
可以解决的，明确问题解决的具体处理建议和措施，经主管领导签字同意后，交实施人员进行解决方案的实施。
服务人员确认是否解决，并将解决方法附在系统缺陷类问题提交单上反馈给问题提出人员。
（4）问题上报。
服务人员收到经业务或技术人员确认的系统缺陷类问题提交单后，上报服务中心。
（5）问题回复。
服务中心根据提交问题的进行分析，制定解决方案并进行实施的解决，同时做好变更记录。
将解决方案汇总后及时向问题提交单位或问题交办单位作出回复，并将分析过程和问题产生原因一并提交。
4应急服务响应措施
北京许继电气有限公司已经针对本项目制定了详尽的设计、应急处理预案，整个流程严谨而有序。
但是，在服务维护过程中，意外情况将难以完全避免。
下面，我们将对项目实施的突发风险进行详细分析，并且针对各类突发事件，设计了相应的预防与解决措施，同时提供了完整的应急处理流程。
4.1应急基本流程
维护服务应急处理流程
4.2预防措施
针对系统维护服务过程中可能遇到的各种各样的风险，北京许继电气有限公司总结多年维护服务经验，针对一些可能出现的情况，制定了一系列预防处理措施，举例如下：
类型
事件
预防措施
处理
应用软件
无法启动软件可执行文件
维护人员提前准备好各类需维护软件安装程序
将应用软件数据文件备份后，重新安装
软件打开过程中或运行中异常错误关闭
维护人员准备好安装程序，操作系统优化和修补软件，查杀病毒软件
判断出错原因，备份数据，采取相关修复措施
操作系统
使用者本机操作系统异常或系统资源占用严重
准备好系统检查程序及修补程序，以及查杀病毒软件
告知使用者错误原因可能类型，提出解决方案，经使用者认可后采取相应措施
B/S结构系统，IE浏览器异常或无法下载控件
准备流氓软件清理程序、修复浏览器软件、查杀病毒软件
检查IE浏览器选项设置，分析原因进行修复
网络或服务器
B/S结构系统网络流量异常或服务器登录异常
判断服务器是否异常，否则准备杀毒软件
检查网络流量，流量异常小则报修网络服务商，流量异常大则查杀病毒
4.3突发事件应急策略
系统运维应急方案是对中断或严重影响业务的故障，如宕机、数据丢失、业务中断等，进行快速响应和处理，在最短时间内恢复业务系统，将损失降到最低。
在系统维护过程中，突发事件的出现将是很难完全避免的，针对这种情况，北京许继电气有限公司设计了完善的突发事件应急策略。
系统巡检人员要定期规范检查各硬件设备的运转情况和应用软件运行情况，同时做好日常的数据增量备份和定期全备份。
对发现的问题在报各级负责人的同时，要协调相关资源分析问题根源，确定解决方案和临时解决措施，避免造成更大的影响。
问题得到稳定或彻底解决后，要形成问题汇报，避免以后类似重大紧急情况的发生。
对发现的问题在报负责人的同时，要协调相关
升级会员 