城市运维方案.docx

1、城市运维方案北京广通信达科技有限公司2013/3/1城市视频监控运维管理平台解决方案第1章概述随着城市视频监控系统建设的持续推进,通过各区县城市监控摄像头以及相关系统的建设,全市摄像头保有量已经初具规模。三分建设,七分管理,各区县以及市局本级单纯依靠传统的人工作业方式来进行日常巡检与维护管理,将难以保证整个系统的高可用性,需要专业的、自动化的运维管理工具与良好运维管理系统来支撑。图1.城市视频监控系统架构图在政策方面,为了提升全国应对重大恐怖与灾害等特殊突发公共事件的安全防范能力,公安部启动了全国视频监控联网平台建设工作,基于GB/T28281标准实现全国城市视频监控系统的互联共享,并对全网所

2、有登记注册的摄像头实施抽样考核,以考核为抓手,来提升所建摄像头的可用率。图2.全市联网平台与共享平台逻辑架构图面对来自运维管理的要求与政策的管理要求,市局需要建设综合运维管理平台门户,解决:1)全局联网视频监控摄像机的自动巡检系统问题,能够实现每天定时对市局管理的视频监控摄像机运行状态的自动巡检,并能将故障作详细统计分类形成报表。同时未来能够采集各区县视频监控摄像机运行状态的在线率等运维数据,并形成考核数据,从而能够以考核促管理,提高全市视频监控管理水平。2)可执行对本级平台系统内监控设备以及平台服务器执行自动巡检功能,能显示异常设备信息,可查瞧每个异常设备的详细信息,可对巡检情况进行统计分析

3、,可查瞧每个巡检时间段对前端设备、服务器等运行情况,可通过图形化的展现方式显示不同巡检时间段内的设备信息以及正常、故障、离线等情况的比例。同时管理员可随时查瞧所有设备的运行情况。3)分别在公安视频图像信息共享平台、北京市高清数字视频监控一级平台的核心交换机配置网络流量分析引擎,通过流量分析系统将引擎采集的流量分析数据进行集中存储与管理,可针对进出平台的流量数据根据时间、源地址、目的地址、端口号进行精细化统计与报表展现。4)整合网管系统的设备运行状态信息;整合IDS入侵检测系统的相关告警与管理信息。5)建立从视频监控摄像机的故障发现、故障处置到处置结束的完整故障处理工作流模型,对视频监控摄像机所

4、属单位、发生故障的时间、故障类型、故障处置情况、故障处置结束时间等信息进行全过程采集。可按照周、月、年,根据单位来统计各单位视频摄像机的完好率,从而形成各单位年度视频监控摄像机运行管理考评结果,并进行网上发布。6)通过与本级平台系统设备的统一管理与维护,可录入各监控点安装单位、维护单位、联系电话、维修记录等信息,方便操作员查询使用,并可以与本级平台系统集成,管理操作日志、设备日志、告警日志三类。综上所述,技术与管理方面主要就是要解决自动巡检、资源台账管理、运维规范化管理与量化考核等方面的业务诉求,并实现与视频管理平台的集成。第2章全市总体架构设计从建立全市视频监控统一运维管理系统的高度来设计市

5、局的视频监控运维管理平台,该平台应由市县两级管理平台组成,通过数据级联实现两级系统之间的运维管理数据同步,实现资源统一管理、业务工作考核管理,提升全市视频监控运维管理能力。图3.全市视频监控运维系统部署方案市局系统分别在公安网上与视频网上部署监控系统,其中公安网的系统主要与视频网的系统同步考核数据,用于考核管理,系统主要实现:（1）对全市视频资源台账的统一管理;（2）对架构在视频网上的视频前端设备的可用性进行自动巡检;（3）对架构在公安网上的联网平台系统与视频前端设备进行全面监控;（4）量化各区县摄像头在线率,实施KPI考核。区县端系统部署在视频网上,主要实现:（1）对区县视频监控系统资源台账

6、进行全面管理;（2）对视频网上外场与内场设备进行全面监控;（3）对各类设备的故障维护实现闭环管理;（4）量化运行维护质量,实施KPI考核。图4.全市视频监控运维系统逻辑架构图第3章建设目标本解决方案市县两级部分,分别满足两级用户的管理要求,以满足日常运行维护实际管理需求为根本,以全面提高资源综合利用率为主要目标,实现对全网设备“全天候、全过程、全方位”的集中监控、集中展现、集中维护、集中考核统计,保证城市视频监控系统能够发挥最大效益。运维系统主要实现以下功能目标:1、建设资产配置数据库(CMDB),理清资源台账资产配置库(CMDB)建立IT 基础架构的单一信息参照,为各项运维业务提供流程与数据

7、支持。资产配置库遵循ITIL/ISO20000标准,采用面向对象的建模设计方法建构,维护每个配置项的详细数据、变更版本,而且能维护各配置项之间关系、各配置项关联的维修记录在内的管理数据。根据城市视频监控系统的管理特性,梳理与建设全网资产配置库CMDB,实现对外场设备、传输设备、内场设备、机房设备、人力资源、虚拟资源的闭环管理,保证资源台账的鲜活性。2、建设集中监控系统,实现全网自动化巡检根据对各类资源的监测要求建立巡检计划,自动执行各类巡检任务,及时向值班人员报告巡检结果。通过集中监控系统,定期对前端设备(视频摄像头、卡口、传输设备)、内场设备(主机/虚拟机、存储、安全、数据网络、机房动力、业

8、务应用系统等)进行可用性与健康度检查,及时发现故障并快速定位故障设备,显著降低运维人员的工作量,提高管理效率。3、建立闭环流程系统,规范日常值班与维护工作。结合“平安城市”的业务特色,根据运维管理体系的设计,规划化日常值班与巡检管理、故障修复管理、资产与配置管理等运维标准化流程,实现日常运行维护工作的规范化、标准化,并沉淀运维知识与经验。4、自动考核统计,量化运行维护质量基于运维管理平台基础数据进行统计分析,量化前端设备的在线率、量化运维人员的工作量、量化各类设备的综合可用率等,从宏观上综合分析所有监测对象的运维状况,并研判系统运维发展趋势,为业务系统优化、运维规划提供依据,为领导层进行系统升

9、级、改造、扩容提供更加有效的工具,为业主单位对承接单位或者维护团队的运维服务考核提供数据支撑。第4章管理平台系统架构设计城市视频监控运维管理平台由四个子系统组成:集中监控管理子系统、资产配置管理子系统、运维服务管理子系统、综合管理子系统。图5.管理平台逻辑架构集中监控管理子系统主要实现对生产环境中IT基础设施的集中监控管理,包括了对视频终端设备、传输设备、网络设备、服务器、存储设备、数据库系统、中间件系统、安全设备、业务应用系统等性能采集与事件处理,并利用监控可视化平台提供可视化展现,同时支持与第三方系统(如机房动力环境系统、第三方网管系统等)集成,方式可以就是数据集成与界面集成。资产配置管理

10、子系统旨在帮助用户建立统一的IT基础设施台帐。通过一系列业务建模、自动采集、调与、变更控制等手段,保证IT生产环境中配置项的完整性与精准性,为上层服务流程提供数据支撑。运维服务管理子系统通过规范服务流程与技术服务工作,建立一套标准的运维服务流程,围绕值班管理、服务台、事件管理、巡检管理等ITIL最佳实践,进行运维服务的流程化、规范化管理。通过完善知识库建设,实现知识库共享,从而提高信息服务效率,提高用户的满意度。综合管理子系统包括了统一运维门户、报表平台、全文检索、权限管理等主要模块,目的就是保证平台不同角色的运维人员可以通过浏览器访问到跟自身职责对应的功能与视图,就是信息的集中呈现窗口与日常

11、工作的平台。第5章市局技术功能方案5.1资产配置管理理清资源台账就是实施有效管理的前提与基础,资产配置管理模块实现对各类资源的有效管理。资产配置管理模块实现对以下类资源的管理:前端设备:视频摄像头、视频编解码设备、卡口监控设备、立杆、取电方式等;传输设备:包括光端机、GPON/EPON等;内场设备,包括网络、服务器、存储、安全边界接入设备、数据库、中间件、视频应用与模块等;机房设备:包括机房、机柜、动力环境等;人力资源:包括外场维护人员、内场维护人员、设备生产厂家与集成商技术支持人员、最终用户等;虚拟资源:包括IP地址、文档资料等。通过资产配置管理模块可以实现:最大限度地自动收集全网资源,协助

12、用户理清资源台账,并提供自动化的技术功能,保证各类资源数据的准确性与完整性。其逻辑架构如下:图6.CMDB逻辑架构5.1.1CMDB建模考虑到实施CMDB项目的复杂性,系统提供构建CMDB的最佳实践模型,可帮助用户快速落地CMDB建设,有效缩短时间周期。CMDB采用了面向对象的建模思想,提供配置项的类别、属性、关系、字典以及表单的继承与派生,并支持通过建立与应用规则来触发管理动作,扩展管理行为,如某些配置项发生变更时,可根据规则定义就是否生成新的配置项版本等。CMDB建模过程相当容易,全面操作都就是基于可视化的界面,最大限度的适应不断变化的业务场景的管理要求。基本模型分类及关联关系图7.配置建

13、模图8.资产配置采集5.1.2配置变更控制系统提供了多样化的CMDB配置变更管理方法,在管理的便捷性与严谨性取得平衡。系统支持对配置项的变更审核模式有三种:一种就是走配置变更流程的审核方式,一种就是简单审核模式、还有一种就是通过设定规则自动审核。三种方式适合不同的场景。对于核心业务的配置项信息,可以选择走配置变更流程的审核方式,管理员用户选中变更区中的待审核配置项记录后,系统自动生成配置变更工单,工单审批通过后,系统自动执行审核操作。对于简单审核模式,就就是由具有配置项审核权限的管理员用户选中变更区中的待审核配置项记录后,执行配置审核操作。系统自动记录下配置审核的操作记录(如审核时间、审核人等

14、)。该种审核方式比较适用于非核心业务的配置项信息。对于设定规则自动审核模式,适用于变更频繁但不重要的配置信息,可保证数据准确性与合法性的基础上,大幅减少了人工审核的工作量。图9.配置项变更审核5.1.3资产配置可视化浏览器CMDB的可视化就是及其重要的功能,系统提供了集编辑与展现一体的纯web化的CI浏览器,独特的“画布”功能,不仅能够帮助用户全面直观地查瞧配置项之间的关系,还能通过连线操作所见即所得的方式维护配置项关系。“画布”也支持完全的定制化,可通过勾选关系类型、显示层次数、切换布局模式、隐藏等实用功能过滤不必要的CI,方便得到更精简的视图。图10.CI浏览器界面5.1.4分区化、独立管

15、理模式支撑CMDB也支持对配置项进行分区化管理,可对CMDB建立不同的管理域,为地域跨度较大、各分支机构有自治管理诉求的企业或组织提供了便捷的解决方案。使用一个平台即可实现资产配置数据大集中,既满足了上级对下级的管理要求,又不失管理上的变通性。图11.CMDB分区管理5.1.5高性能、大容量系统设计CMDB的设计充分考虑了大容量环境的管理需求,在功能的全面性、用户体验以及性能吞吐、容量方面相比竞争者具备明显的优势,目前CMDB可支持40用户并发数情况下管理100万配置项的能力,单条数据查询调用达到毫秒级,绝大部分界面操作从发起到呈现小于3秒。5.2设备集中监控自动巡检实现对全局联网视频监控摄像

16、机及相关网络及系统设备自动巡检系统,能够实现每天定时对全网的视频监控摄像机运行状态的自动巡检,并能将故障作详细统计分类形成报表。5.2.1集中监控系统管理模型集中监控管理子系统实现了对用户IT生产环境基础设施的监控,包括:视频终端设备、传输设备、IP网络设备、安全设备、业务服务器、存储设备、数据库系统、实战应用系统等。图12.集中监控子系统管理范围集中监控子系统主要由网络监测模块、系统与应用监测模块、视频图像监测模块、通用监控模块、统一事件平台模块、统一性能管理模块、性能管理数据库PMDB以及监控可视化平台组成。同时支持与第三方系统(如机房动力环境系统、第三方网管系统)集成,集成包括数据集成与

17、界面集成。逻辑架构如下:图13.集中监控子系统逻辑架构5.2.1.1分布式采集、集中管理分布式采集、集中管理技术就是相对集中式管理而言的。在分布式管理模式下,集中管理服务器把采集指令下发到采集探针,完成分管区域的数据收集处理,有效的分担了集中管理服务器的负载,尤其适合有物理隔离的大型数据中心或分布在不同地理位置的大型行业客户。探针自带了存储功能,在网络临时中断或服务端临时关闭的情况下,探针会临时保存监测数据,待网络与服务端恢复后再向服务端传输数据,保证监测数据的完整性。探针支持在常见的操作系统下如Windows、类Unix下运行,并以服务方式自动启动,当采集探针由于某些原因无法正确运行时,探针

18、会自动重启并迅速执行监测任务,保证监测数据的连续性。图14.分布式采集示意图5.2.1.2统一事件处理利用实时数据总线与高速事件处理算法,系统每分钟能处理几千条告警事件,事件经过标准化、过滤、归并、关联分析、丰富等过程最后形成准确的告警信息。当网络发生故障风暴时,系统提供了队列机制保证事件处理高效稳定,满足大型网络的实时告警监视的需要。对于有一定技术能力的运维技术人员,可利用系统提供的事件规则处理语言,以实现更灵活的事件处理规则及扩展。通过告警的规则定义的可视化界面,帮助技术人员优化统一事件平台告警处理规则,提高告警的自动化识别与关联分析能力。图15.事件分析处理原理5.2.1.3集中告警监控

19、大量的事件经过处理,形成了最终需用户关注的告警,直观的呈现在告警台上,随后可对告警进行生命周期管理。在告警台上,可对告警进行确认、清除、删除或者派发工单操作,可查瞧告警资源当前的性能情况,分析故障根源,并利用CMDB关系对故障影响做初步判断,还可查瞧告警资源历史故障及工单派发、短信通知情况。独特的告警导航,可即时显示当前告警分类就是否有新的未处理告警,帮助运维人员运筹帷幄,掌控全局。图16.告警监控台系统对企业IT环境实施全天候的实时监测,一旦发现运行故障或者监测指标超过预定的告警阈值时,系统就会根据预先配置的动作策略内的告警通知方式立即通知运维人员,通知方式包括触发紧急事件工单、声音告警、邮

20、件通知、短信通知等。5.2.2视频图像自动巡检基于T28281与DB33标准与视频联网平台系统(或直接从视频终端设备)自动采集视频码流,并对码流进行诊断分析。支持IP摄像机、数字矩阵以及网络视频服务器、数字硬盘录像机设备接入,支持模拟摄像机及模拟矩阵设备输入。视频图像监测系统负责对视频图像出现的雪花、滚屏、模糊、偏色、画面冻结、增益失衡、云台失控、视频信号丢失等常见摄像头故障、视频信号干扰、视频质量下降进行分析、判断与报警。视频图像监测系统与运维管理平台之间通过服务接口(如:WebService)交互,视频图像监测系统分析出视频质量出问题后,将视频的告警信息,通过接口反馈到运维管理平台。图17

21、.视频图像监测5.2.3视频设备自动巡检对各类视频终端设备的运行情况进行监控与管理,包括视频摄像头、视频编解码设备(NVR、DVR等)、卡口监控设备等。对视频终端设备的监控指标包括:视频设备的在线状态、视频通道的工作状态;卡口设备的在线状态、设备的抓拍工作状态。图18.视频设备监测5.2.4传输设备自动巡检对光纤收发器、EPON(以太网无源光网络传输设备)设备进行监控,实时轮询与采集设备的在线状态与性能指标。图19.传输设备监测5.2.5内场设备运行状态管理系统可监测常用的网络设备、服务器、数据库、中间件、安全设备、存储设备、通用服务等IT资源,支持SNMP、CLI(Telnet、SSH)、W

22、MI、JMX、CORBA等远程非代理监测与Agent代理监测 (即需要在目标设备上安装部署代理程序) 两种手段结合,为业务网络提供724不间断监测服务。图20.全面的资源监控管理系统提供了强大的监测插件体系,可不断扩展系统的监测范围与内容。监测插件之间相互独立,互补影响,可保证整个监测体系的稳定运行。系统也提供了通用监测器编写界面,允许用户通过编写shell或者groovy脚本满足个性化监测指标的需求。图21.网络监测5.2.6虚拟化资源管理对虚拟化平台的管理监测,采用VMbridge模块,通过Webservice接口与Restful api接口与各个虚拟化监控平台(包括VCenter、vm

23、manager等)集成,采集虚拟服务器的运行状态、配置、性能、事件指标,并将数据与告警信息转发到性能指标与告警平台、CMDB资源库中。图22.服务器虚拟化监控框架虚拟服务器监控指标主要包括:基本信息采集:虚拟机的操作系统类型、虚拟机的总体状态、虚拟机的电源状态、虚拟机的配置文件路径、虚拟机名称、主机的基本信息或状态等;虚拟机CPU监测:虚拟机可使用的CPU数量、虚拟机的CPU频率、虚拟机的CPU使用率;集群信息采集: 通过vCenter获取虚拟机与虚拟化集群的基本配置信息;。虚拟机关系发现:在OS安装VMTools的基础上,自动发现虚拟机与操作系统、虚拟机与集群之间的配置关系;虚拟机内存监测:

24、虚拟机的内存使用率、虚拟机可已使用的内存量;虚拟机磁盘监测:存储置备大小、已分配使用率、未共享大小、已分配大小、虚拟机名称;获取虚拟机相关的告警信息,并发送给统一事件平台进行集中处理。5.2.7综合监控展示系统提供了电信级的数据中心可视化利器灵动可视化平台,它具备实时响应、快速设计、所见即所得的特点,可用来直观展现业务、网络、机房、机房环境等多种视图,方便管理员实时掌握整体运行情况。此外,还可以利用其独具特色的幻灯片功能,把各类视图投影在网络运营中心大屏上。图23.机房与机柜视图图24. 地图展示5.3视频监控摄像机故障管理运维服务管理子系统就是IT运维工作及对外服务接口的平台,它遵循ITIL

25、管理框架,提供可视化的BPM流程引擎,实现流程定义、流程相关角色权限与流程跟踪控制、审计与统计以及流程关联等功能。系统基于流程引擎内置了服务台与事件等常用流程,并涵盖了巡检作业、运行值班、值班日志等实用功能。其逻辑架构如下:图25.流程管理子系统逻辑架构5.3.1BPM流程引擎在内置标准流程的基础上,系统还提供了BPM流程引擎供用户进行“随需而变”的业务流程设计,满足个性化的业务流程需求。BPM业务流程引擎符合WFMC国际标准,完全通过web可视化设计界面,实现流程、表单、数据字典快速建模。拖拽式的流程设计功能,可实现流程跳转、流程环节的执行人、流程环节的执行优先级等定义,协调组成工作流的四大

26、元素,即人员、资源、事件、状态,推动流程的发生、发展、完成,实现全过程监控。同时,BMP引擎提供了灵活的触发器设置,可以将流程管理中的各类事件与期望处理的动作自动关联,完成系统中自动协调控制需求。图26.BPM流程管理界面5.3.2值班服务台值班服务台主要承担以下职责:故障监控与接收用户服务请求;故障与用户服务请求的初步支持;确认故障,并创建与派发工单;跟踪工单的执行,确定故障恢复并关闭工单。值班服务台可支持IT服务水平、能力、效率与质量的提高,改善服务部门与业务用户之间的关系。同时值班服务台能够制定与执行排班计划以及日常机房、设备巡检计划,并通过监控视图对相关设备进行巡检。图27.值班服务台

27、工作示意图图28.自助服务台与值班服务台5.3.3事件管理实现对故障处理的闭环管理,由事件工单创建、事件工单派发、事件工单流转、事件升级与事件工单关闭等环节组成。图29.故障工单流程设计图事件工单的创建实现自动集成集中监控平台故障信息,提供人工、Web、Email等多种方式的事件登记管理功能。图30.服务台工单跟踪视图事件工单分配自动/手动将事件工单分配给相应的维修工程师,提供组分配与个人分配以及多人分配方式。支持针对分配不当的情况,提供拒绝、重新分配功能。事件分配能促发消息机制,将事件信息以多种方式发送给相应的事件处理人员。如果事件在初次分配时在规定事件内被分配人员没有响应,事件模块自动通过

28、邮件与短信通知事件管理员。为了提高事件的解决效率,事件的责任人在事件的处理过程中需要填写事件的诊断过程与结果,以便事件分配给她人后后续处理人员可以避免重复的工作,从而提高事件流程的效率。事件的诊断过程可以采用追加的方式,不允许修改以前的诊断过程,但可以把自己的诊断过程追加进去。在事件的解决过程中,如果事件的解决方案比较复杂,如需要通过图片等加以说明,可以把解决方案做成附件,把附件上传到事件记录中,附件的个数不受限制。图31.工单处理-事件记录事件升级根据SLA,监督事件处理进展,对于超出SLA的事件,提供事件自动升级功能。以邮件、短信等多种方式提醒事件处理人员的上级领导,以期引起更多的重视,快

29、速处理事件,恢复业务。事件需要在一定的时限内获得解决,当一个事件不能够在限定的时限内被处理或处理完,这种情况下必须触发升级机制,让事件信息升级到相关领导,以期引起重视并获得更多的资源,达到快速解决事件、恢复服务的目的。事件关闭事件解决后,关闭事件,实现事件的闭环处理。支持事件满意度调查,能在事件在关闭时,自动向事件的申告人发送电子邮件,进行满意度调查,事件申告者可以通过邮件或web方式进行满意度与客户意见反馈。同时进行设备重新诊断、巡检,确认就是否关闭或重新分配维修。5.3.4巡检管理巡检计划主要就是对城市视频监控系统的所有对象进行巡检、常规检查等的作业计划,使得运行维护人员能够准确、高效的完

30、成各项日常维护任务。1) 为使巡检更加规范,巡检管理应建立巡检项的标准操作要求,并在实际的巡检过程中严格执行这些要求。应能在巡检记录进入系统时对不规范的内容进行限制。2) 为使巡检更具通用性,巡检计划应有较为灵活的模板,并具有自定义功能,自定义功能包括添加、编辑巡检计划表,但应控制相关的权限。3) 系统应提供与巡检计划相关的配置项的维护管理功能,提供特定的界面,支持对与巡检计划相关的配置项的维护管理功能,并支持相应的增、删、改、查等操作。4) 通过集成,实现与各个模块的互动,并与信息中心的值班制度联动,以此作为响应内部用户与外部用户需求的统一入口,采用集中联系点模式。5) 提供值班日志功能,便

31、于值班用户记录每次值班的事务处理情况。5.3.5值班与值班日志管理根据运维习惯,系统提供了日历化值班表、多班次排班、值班日志管理等多项实用业务功能,并与自助服务台、值班服务台进行充分结合。有效的值班管理可保证服务连续不间断,有助于运维团队人力资源合理配置,做到各项工作权责明晰,有迹可循。所有运维人员需要填写工作日志,描述当班的工作内容,工作日志需要经过相关负责人审核。工作日志包括值班日志与巡检工作日志等。图32.值班表日志管理5.3.6运行网站提供运行信息自动发布与内容管理功能。运行发布平台能够满足公安部最新运行服务考核规范要求,自动生成并发布日通报与月通报。对城市视频监控系统的各类资源运行信息,可按照自定义的时间每天多次自动生成巡检,并将巡检内容形成日通报发布在网上发布。要求根据不同类别资源可以分项记录,记录内容包括该资源的基本运行参数、记录人、记录时间等;支持手工发布日通报、月通报、新闻稿件、运行管理会议纪要等功能,并且支持手动调整各项表格模版。5.4整合网络流量分析网络流量分析技术主要采用分布式采集,集中处理的方式实现对进出平台的流量数据根据时间、源地址、目的地址、端口号进行精细化统计与报表展现。流量的