智慧城管应用实施建设方案.docx

智慧城管应用实施建设方案.docx

《智慧城管应用实施建设方案.docx》由会员分享，可在线阅读，更多相关《智慧城管应用实施建设方案.docx（32页珍藏版）》请在冰豆网上搜索。

智慧城管应用实施建设方案

统一视频智能监测及告警辅助应用建设方案

二○一九年三月

1.概述

1.1.背景介绍

为了全面推行电力营销规范化、精细化管理，提升营销服务水平，加强对营业厅日常业务工作的监督，广安积极布局，在公司大力支持下，建立了广安公司营业场所视频监控系统。

通过视频监控系统能够查看各营业场所的工作情况及精神面貌，对违规违纪行为能及时发现并进行纠正，同时产生纠纷时保留的视频影响也能作为最有利的证据。

基于现有视频系统，通过引入智能视频分析技术，实现供电营业服务“实时监测、智能分析、在线告警、全程跟踪”闭环管理模式。

1.2.编写目的

用于指导及明确本项目建设内容及实时过程保障，为进一步细化设计方案及实施方案提供依据。

2.设计依据

（1）《国家电网公司后勤管理实务知识》国家电网公司后勤工作部中国电力出版社

（2）《GB/T8567-2006计算及软件文档编制规范》

（3）《GB/T5271.1—2000信息技术》

（4）《GB/T11457-2006软件工程》

（5）《GA/T387-2002计算及信息系统安全等级》

（6）《国家电网公司企业数据模型模型规范》

（7）《国家电网公司“SG186”工程一体化企业级信息集成平台建设方案》

3.建设背景

随着社会的迅猛发展，优质服务的要求在不断提高，行为规范、工作效率、安全隐患、工作流程等任何一个环节的掉队都会影响服务质量及服务效率，传统的人员巡检及稽查工作效率低下，不在适应信息化时代的管理要求。

视频监测作为一种新技术为管理及稽查人员开辟了一个新的管理通道，但受技术发展的局限，现有视频监控系统大多仅能提供现场监视等简单功能,仍然需要投入大量的人员进行全程监测，同时各项稽查及异常情况分析不及时、漏分析时有发生，制约了供电服务质量及服务水平的进一步提高，如何进一步通过视频监测内容快速分析营业厅的工作状态及服务情况，提供针对性的预防及整改建议，提升服务效率，是当前智能营业厅管理的一个迫切需求。

本期工作旨在基于现有视频系统，引入智能视频分析技术，实现供电营业服务“实时监测、智能分析、在线告警、全程跟踪”闭环管理模式,满足供电服务管理的全面提升，确保营业厅日常工作标准高效开展。

4.系统功能

4.1.术语及定义

序号

术语

释意

4.2.营业厅日常规范巡检

4.2.1.穿着规范巡检

4.2.1.1.着装规范设定

根据营业厅工作人员着装规范主要设定其着装标准，主要功能包括：

1.工作服装管理：

记录并维护该营业厅各季节标准工作服装。

2.季节设定

1）根据营业厅管理要求默认设定着装换季时间开始及结束时间。

2）手工调整着装换季时间点，每次手工调整即为最新标准，执行完成后恢复默认设置

4.2.1.2.着装规范巡检

对营业大厅工作人员进行分析，判断其是否按照要求身穿制服，佩带工牌等，对巡检到的不规范着装进行记录。

1.着装分析

按照规范设定中的季节及工作装对工作人员进行视频分析。

2.混装分析

检查工作人员是否将不同季节的工作服装进行混穿。

3.鞋子分析

检查工作人员是否光脚，是否穿拖鞋。

4.工位牌分析

营业窗口是否摆放好工位牌。

4.2.2.在/离岗巡检

对营业大厅柜台人员进行在岗，离岗情况进行分析，若发生异常离岗情况情况，进行告警，通知相关管理或稽核人员。

4.2.2.1.在/离岗基础设定

1.工作时间设定

设定营业厅工作时间点。

2.离席时间设定

设置在/离岗巡检中判断离席的时间间隔，单位为分钟。

3.岗位状态基础设定

设置营业厅中的岗位是否需要进行巡检

4.2.2.2.在/离岗巡检

1.在/离岗巡检

判断工位上是否有工作人员上班。

2.在/离岗巡检（高级）

判断工位上人员是否工作人员。

4.2.2.3.在/离岗巡检分析

1.离岗时间分析

1）分析离岗时间合计。

2）分析最长离岗时间。

2.离岗次数分析

分析离岗次数。

4.3.客户服务

4.3.1.客户流量分析

对营业大厅中的客户人数（流量）进行统计，掌握营业厅的客流情况及营收情况。

4.3.1.1.营业厅进出人数统计

对进出营业大厅的人数进行统计，单位时人次。

4.3.1.2.营业厅流量分析

通过对营业大厅进出人数的统计，实时分析当前营业厅的滞留人数。

4.3.1.3.营业厅流量告警

根据设置的营业厅流量告警点，并进行动态分析，到达流量阈值时进行告警。

4.3.2.排队分析

对营业大厅柜台的客户排队情况进行分析，判断其是否出现异常（人数过多或等候时间过长），进行告警。

4.3.2.1.排队范围识别

对每个柜台的排队范围区域进行识别分析。

4.3.2.2.排队长度计算

对每个柜台的排队长度进行计算。

4.3.2.3.排队时间分析

对每个柜台的排队时间进行计算分析。

4.3.2.4.排队时间过长告警

设置长时间排队阈值，并进行动态分析，到达长时间排队阈值时进行告警。

4.4.营业大厅安全情况分析

4.4.1.人员倒地分析

通过对客户行为或肢体状态进行分析，判断其是否出现倒地现象，发出警报，并通知管理人员及营业厅安保人员。

4.4.1.1.人员倒地分析设置

1.倒地时间分析

设置倒地时间阈值，用于进行分析人员倒地后进行告警的条件。

2.小孩倒地判断

设置小孩（1.1米）倒地判断，当小孩倒地时是否要进行判断。

4.4.1.2.人员倒地动作分析

根据客户肢体行为判断其是否倒地。

4.4.1.3.人员倒地时间分析

进行客户倒地后的时间计算。

4.4.1.4.人员倒地时间告警

当客户倒地后计算的时长超过阈值，进行告警。

4.4.2.打架斗殴分析

 通过视频监控系统，实时监控和防范打架斗殴行为。

4.4.2.1.打架斗殴样本学习

由于斗殴样本较少，因此需要不断的输入样本进行学习。

4.4.2.2.打架斗殴分析

通过对视频内容实时分析，通过客户肢体动作分析客户是否进行打架斗殴。

4.4.2.3.打架斗殴工作人员参与分析（高级应用）

当出现打架斗殴时，判断工作人员是否参与。

4.4.2.4.打架斗殴告警。

出现打架斗殴时发起实时告警，设置最先优先权，并第一时间调用短信接口进行通知。

4.4.3.营业厅开关门时间

记录营业厅开关门时间，对于每次开关门时间进行记录，对非正常时间的开关门进行标记，发出告警，并通知管理人员及安保人员。

4.4.3.1.营业厅开门时间

记录营业厅开门状态及开门时间，并记录当时图片及视频。

4.4.3.2.营业厅关门时间

记录营业厅关门状态及关门时间，并记录当时图片及视频。

4.4.3.3.营业厅关门门状态异常

对超过设定下班最迟时间，门状态仍然开放，进行标注及提醒。

4.4.3.4.营业厅非法闯入

1.营业厅非法闯入分析

对于非营业时间，分析营业厅是否有人员进入。

2.营业厅非法闯入分析告警

若有非法闯入人员则进行告警，同时提供实时的抓拍图片和视频。

4.5.监测告警应用

4.5.1.监测主题管理

实现监测主题的信息维护功能，可新增、删除和修改监测主题的相关信息，包含监测主题编号、名称、监测类型、维护人、维护时间、状态等。

4.5.2.监测主题监控规则管理

实现监测主题的监控规则的配置管理，针对不同类型的监测主题可配置不同类型的监测规则,设定监测告警阈值。

4.5.3.监测规则库管理

实现监测规则库的管理，提供针对各种监测类型的监测规则的新增、查询和启用等功能。

4.5.4.告警及推送

当监测阈值触发了告警规则后，执行异常告警提示信息的推送。

4.6.可视化监测

将每日巡检及监测结果的核心结果进行汇总并加以展示。

4.6.1.综合监测

全面展示营业厅的各种运行情况，分为单个营业厅及全市营业两个展板。

4.6.2.营业厅在/离岗情况

显示今日实时在/离岗分析情况，分为单个营业厅及全市营业两个展板。

4.6.3.营业厅实时排队情况

显示今日实时排队分析情况，分为单个营业厅及全市营业两个展板。

4.6.4.营业厅客流情况

显示今日实时客流分析情况，分为单个营业厅及全市营业两个展板。

4.6.5.异常情况

1.综合异常

显示今日营业厅异常情况，分为单个营业厅及全市营业两个展板。

2.打架斗殴异常

当出现打架斗殴异常时，将强制性弹出异常情况显示。

4.7.报表管理

4.7.1.穿着规范报表

1.营业厅人员着装规范日报表

按营业厅统计，每个营业厅每日的着装规范情况。

2.营业厅人员着装规范月报表

按营业厅统计，每个营业厅每月的着装规范情况

3.营业厅人员着装规范综合报表（月报）

按地市，统计各营业厅月着装规范情况。

4.7.2.在/离岗报表

1.营业厅在/离岗日报表

按营业厅统计，每个营业厅每日在/离岗情况。

2.营业厅人员在/离岗月报表

按营业厅统计，每个营业厅每月在/离岗情况

3.营业厅人员在/离岗综合报表（月报）

按地市，统计各营业厅月在/离岗情况。

4.7.3.营业厅客户流量报表

1.营业厅分时客户人数（流量）统计表（日报）。

2.营业厅每月客户人数（流量）统计表（月报）

3.营业厅客户人数（流量）汇总情况表（月报）

4.营业厅客户人数（流量）日分布情况表（按月统计）

5.营业厅客户人数（流量）日分布情况表

4.7.4.营业厅客户排队报表

1.营业厅排队综合报表（月报）

2.营业厅排队分析报表（月报）

4.7.5.营业厅安全情况报表

1.营业厅人员倒地综合分析报表（月报）

2.营业厅打架斗殴综合分析报表（月报）

3.营业厅开关门综合分析报表（月报）

4.营业厅非法闯入综合分析报表（月报）

5.技术方案

5.1.系统架构

5.1.1.整体架构

数据资源层：

结合内外部数据，包括视频数据、设备档案、人员档案、衣着规范库等数据，形成数据资源视图，为全面分析提供数据基础支撑。

分析支撑层：

建立完善的分析主题及分析模型，使用最先进的算法，进行识别，并将识别结果提供给业务进行使用。

应用场景层：

以日常管理规范、客户服务、异常隐患为主线，以视频分析为主要方法，以执行规范和安全标准为基础参照，按照“实时监测、智能分析、在线告警、全程跟踪”的基本思路，来开展应用场景的建设工作。

应用视图层：

以应用场景的各项成果，对基层、管理层及决策层提供应用对接，提供视频展示、图标展示、列表展示、分析展示等可视化视图；同时为其他业务共享分析成果，实现业务督办、业务协作、业务通知等业务融通工作，满足其他业务系统对创新应用的要求。

系统总体框架如下图所示：

5.1.2.应用架构

统一视频智能监测及告警辅助应用主要由营业厅日常规范巡检、客户服务、营业大厅安全情况分析、监测告警应用、可视化展示及报表管理构成。

充分利用现有视频监控系统，引入视频分析技术，代替日常监测及稽查人员对营业厅日常规范、客户服务及安全情况进行分析，将营业厅的日常基础管理动态化、可视化。

应用架构如下：

5.1.3.数据架构

5.1.4.技术架构

5.2.技术路线

5.2.1.营业厅日常规范巡检分析

5.2.1.1.穿着规范分析

穿着规范分析是先用人体姿态预测技术标定出人体的关键点，再通过关键点的信息来推测出目标衣物的所在位置。

根据衣物的所在位置提取出衣物的图片，进行识别。

整体流程如下：

姿态估计（PoseEstimation）是重建人体姿态的任务，基于图像来检测和组合人体的关键点。

日常生活中我们描述物体的姿态，是以脚下的大地作为参考的同样，姿态估计也分为单目标姿态估计和多目标姿态估计。

Step1：

利用姿态估计标定出人体身上的所有关键点。

下面是利用姿态检测技术得到的结果。

这里利用RMPE模型来做。

下面是这个算法的示意图。

5.2.1.2.在/离岗分析

在/离岗分析针对射线摄像头，首先将摄像头中的区域划分，分出工作人员的岗位，再用目标检测的方法找出视频中的每一帧岗位区域中是否存在员工，再通过工作人员出现在岗位区域中的时间、位置等信息分析工作人员的工作状态。

整体流程如下：

目标检测（ObjectionDetection）的目的是找出一张图片的一个或多个目标在图片中的位置（给出确定的边界框）及其所属的种类（如人体、猫、狗等）。

目标检测分为单目标检测和多目标检测，其中多目标检测方向是近几年的热门方向。

常用的多目标检测模型有SSD、YOLO、Faster-RCNN等。

目前主流的目标检测算法主要是基于深度学习模型，其可以分成两大类：

two-stage检测算法，其将检测问题划分为两个阶段，首先产生候选区域（regionproposals），然后对候选区域分类（一般还需要对位置精修），这类算法的典型代表是基于regionproposal的R-CNN系算法，如R-CNN，FastR-CNN，FasterR-CNN等；

one-stage检测算法，其不需要regionproposal阶段，直接产生物体的类别概率和位置坐标值，比较典型的算法如YOLO和SSD。

目标检测模型的主要性能指标是检测准确度和速度，对于准确度，目标检测要考虑物体的定位准确性，而不单单是分类准确度。

一般情况下，two-stage算法在准确度上有优势，而one-stage算法在速度上有优势。

不过，随着研究的发展，两类算法都在两个方面做改进。

5.2.2.客户服务分析

5.2.2.1.客户流量分析

客户流量可以通过进出营业厅的人员数量来估计。

首先找到正对门口的摄像头或划分出营业厅门口区域。

针对这个摄像头或划分出来的区域视频的每一帧，利用目标检测和目标跟踪的手段找出目标的行动轨迹，如果目标轨迹穿过大门，则进行流量统计。

分为入营业厅和出营业厅两种形式分析，利用目标检测手段，将每名进入营业厅的人员进行随机编号，形成人员基本库，将人员字段细化，如人流量（按日周月年分类）、驻场时长、当前店内顾客、新顾客统计、老顾客统计，支持客流数据的查看。

5.2.2.2.排队分析

排队分析可以直接通过统计排队区域人数统计来得到。

首先对视频的每一帧，划分出排队区域，再利用人流密度（crowdcounting）估计技术，得到人流头部的热度图，再对密度图进行分析得到区域内的人数。

公共场合中通过摄像机实现人数计数具有重要的研究价值。

比如:

候车大厅中人群计数的结果，可优化公共交通的调度;某区域中人数的急剧变化既可能会导致意外事件的发生，又可能是意外事件发生的结果。

公共场合中采用摄像机实现人群计数在智能安防领域具有重要价值。

因此，人群计数（CrowdCounting）或者人群密度估计（CrowdDensityEstimation）是计算机视觉和智能视频监控领域的重要研究内容。

人群计数的通常的方法大致可以分为三种:

1）行人检测:

这种方法比较直接，在人群较稀疏的场景中，通过检测视频中的每一个行人，进而得到人群计数的结果，一般是用基于外观和运动特征的boosting，贝叶斯模型为基础的分割，或集成的自顶向下和自底向上的处理，这种方法在人群拥挤情况下不大奏效，需要运用到基于部件模型（如DPM）的检测器来克服人群拥挤遮挡的问题。

2）视觉特征轨迹聚类：

对于视频监控，一般用KLT跟踪器和聚类的方法，通过轨迹聚类得到的数目来估计人数。

3）基于特征的回归:

建立图像特征和图像人数的回归模型，通过测量图像特征从而估计场景中的人数。

由于拥挤情况下采用直接法容易受到遮挡等难点问题的影响，而间接法从人群的整体特征出发，具有大规模人群计数的能力。

1、监控视频中人群计数算法

视觉特征轨迹聚类和基于特征的回归两种方法。

视觉特征轨迹聚类一般是针对视频图像序列，用KLT跟踪器和聚类的方法，通过轨迹聚类得到的数目来估计人数。

如下图研究公交车车门视频的乘客计数，采用的就是视觉特征轨迹聚类方法。

如下图所示为该文章的单目摄像头乘客计数系统流程图。

基于特征的回归一般分为以下3个步骤：

1）前景分割：

前景（行人或人群）分割的目的是将人群从图像中分割出来便于后面的特征提取，分割性能的好坏直接关系的最终的计数精度，因此这是限制传统算法性能的一个重要因素。

常用的分割算法有：

光流法、混合动态纹理、小波分析、背景差分等。

2）特征提取：

从分割得到的前景提取各种不同的底层特征，常用的特征有：

人群面积和周长、边缘信息、纹理特征、闵可夫斯基维度等。

3）人数回归：

将提取到的特征回归到图像中的人数。

常用的回归方法有：

线性回归、分段线性回归、脊回归、高斯过程回归等。

首先用动态纹理的方法分割出运动的人群，之后做视角归一化，在归一化后的人群块上提取特征，用高斯过程回归将提取的特征回归到图像中人群数量。

系统框图如下：

2、单幅图像人群计数算法 

对于单幅图像而言没有运动信息，那么人群分割就显得非常困难，因此此类算法一般直接从整张图像或者将图像分块从其子区域提取特征，然后再计算图像中人群数量。

图像分块可以理解为是一种离散化透视效果的方法。

3、基于深度学习的人群计数算法

在监控视频的人群计数算法中，前景分割是不可或缺的步骤，然而前景分割本事就是一个比较困难的任务，算法性能很大程度地受其影响。

最近深度学习比较热门，在各种传统领域内取得了惊人的进展。

卷积神经网络实现了端对端训练，无需进行前景分割以及人工设计和提取特征，经过多层卷积之后得到高层的语义特征。

一个适用人群计数的深度卷积神经网络模型如下图所示，相比于人工特征对人群有更好的表述能力，交替回归该图像块的人群密度和人群总数来实现人数估计。

上图中，conv1是327*7*3filters，conv2是327*7*32filters，conv3是645*5*32filters。

conv1和conv2之后都是一个2*2的最大值pooling。

5.2.3.营业大厅安全情况分析

5.2.3.1.人员倒地分析

人员倒地分析首先通过人体姿态预测技术标定出视频流每一帧的所有人体的关键点，再对人体关键点进行分析，得到每个人体的状态，如果长时间出现“卧倒”的状态，则判断为人员倒地。

人体姿态估计总的来说有两大类方法：

top-down和bottom-up。

top-down：

就是首先检测图像中的所有人，然后分别对每个人进行人体姿态估计。

bottom-up：

首先提取出图像中所有的人体部件personparts,然后对部件进行聚类，将属于同一个人的部件连接起来。

从时间效率的角度来说，bottom-up更具优势，它的时间不会随着图像人数的增加而线性增加。

人体关键点分析将用到AlphaPose模型，与其他模型对比来看，RMPE框架采用自顶向下的方法，先检测人，再去做姿态估计。

该框架有三个主要组成部分：

首先是对称空间变换网络（SymmetricSTN），用于解决传统两步法中的主要问题，即imperfectproposal的问题。

对于质量较差的人体检测结果，symmetricSTN能够自动调整proposal的位置，将refine过后的结果输入单人姿态估计网络，并将输出映射回原空间，从而使得在人体检测框不准确的情况下，姿态估计网络依然能够有良好的效果。

第二个组成部件为由姿态引导的样本生成器（Pose-guidedProposalsGenerator），该部件能够根据不同人体姿态生成额外的detectionproposal用于训练姿态估计网络，从而获得大量符合真实测试场景数据分布的训练数据。

第三个组成部件为参数化的姿态非极大值抑制器（ParametricPoseNMS）。

传统的两步法中，人体定位框会有较多的冗余检测。

通过使用新的姿态距离度量来比较姿态相似性，来消除冗余姿态。

5.2.3.2.打架斗殴分析

打架斗殴分析可以直接通过动作识别技术来判断。

对于输入的视频流，切分成等长的多个短时间片段，将这些视频片段直接输入到打架斗殴分析动作识别模型中进行判断。

动作识别特征

从视频序列中提取出有效的运动特征是人体动作识别中重要的一环，直接影响到动作识别的准确度和鲁棒性，且同一特征对不同类别人体动作的描述能力并不相同。

因此，我们依据视频质量和应用场景的不同，往往要选用不同类型的特征，这与具体的应用场景以及研究者所关心的动作类别均有关系。

比如：

在远景情况下，可以利用目标的运动轨迹进行轨迹分析；而近景情况下，则需利用从图像序列中提取的信息对目标的四肢与躯干进行二维或三维的建模。

常见的形状、轨迹、光流、局部时空兴趣点等特征可以分为以下四类：

基于轮廓和形状的静态特征，基于光流或运动信息的动态特征，基于时空立方体的时空特征以及描述性特征。

类别

形式

静态特征

大小、颜色、轮廓、形状、深度

动态特征

光流、速度、速率、方向、轨迹

时空特征

时空形状、时空兴趣点、时空上下文

描述性特征

属性、场景、物体、姿态

静态特征主要描述的是人体目标的尺寸、颜色、边缘、轮廓、形状和深度等。

静态特征可以较好的表示出人体目标的整体信息，可为动作识别提供有用线索。

例如：

人体轮廓（Contour）可以表示当前人体目标的基本形状。

局部时空兴趣点

基于时空模板的方法往往依赖于预处理（人体轮廓或是剪影的提取）或是模式自动搜索和匹配的精度与速度，因而其有效性受到一定限制。

动作识别方法

人体动作识别可以看成时空数据的分类问题，即将测试序列归入特定已知的动作类别中，同时需要处理同类动作运动模式在时间和空间上的类内变化。

对于连续动作的识别，通常引入滑动窗口策略对所有可能的子序列进行分类。

常见的动作识别方法分为以下几类：

基于模板的方法，概率统计的方法，基于语法的方法。

5.2.3.3.营业厅开关门时间分析

开关门时间问题可以转化为进出营业厅大门的最早和最晚时间问题。

首先找到正对门口的摄像头或划分出营业厅门口区域。

针对这个摄像头或划分出来的区域视频的每一帧，利用目标检测和目标跟踪的手段找出目标的行动轨迹。

对于每日的视频流，找到最早和最晚穿过营业厅大门的时间，并将这两个时间作为营业厅的开关门时间。

第二种方法可通过提取营业厅大门的特征，利用目标检测技术，在时间阈值范围内，有针对性的注意大门门闸是否下拉完毕，计算拉下完毕后的面积是否与设定的面积一致，记录该时间节点作为关门时间；记录大门门闸拉伸后面积与设定的面积偏差度以及拉伸的时间节点作为开门时间。

5.3.系统接口

5.3.1.视频接入接口

5.3.2.短信平台接口

5.3.3.第三方平台接口

6.建设方案

6.1.建设原则

在“实用性、标准化、兼容性、整体性、共享性、安全性、保密性、可扩展性、可维护性”等方面提出原则性要求。

实用性：

完全从需求角度出发，实现相应的业务和功能需求。

对于用户来说，实用性非常强。

标准化：

开发本系统之前，编制单位参考了四川省电力公司的相关资料。

在进行系统设计和开发的时候，制定的很多标准都是符合用户管理流程所需，最大程度的保障用户了解的电力行业的相应标准。

整体性：

在项目开发的数据库设计阶段，设计者会站在全局的高度进行数据的抽象和组织；同时要求完整、准确的描述数据自身和数据之间的联系，建立起需要的数据模型。

使得数据库中的数据冗余度变小，避免了由于数据冗余度过大带来的数据冲突问题和由此产生的数据维护麻烦和数据统计错误问题。

共享性：

由于数据库系统是从整体角度看待和描述数据，数据不再面向某个应用，而是面向整个系统。

数据共享程度越高，信息化发展水平越高。

提高系统数据共享性，能使更多的系统使用者充分地运用已有的数据资源，方便了信息的交流，从而减少搜集资