综合人像采集识别系统解决方案.docx

1、综合人像采集识别系统解决方案综合人像采集识别系统解决方案深圳市欣横纵技术股份有限公司2019年1. 方案概述随着信息技术、网络技术的迅猛发展，特别是平安城市、智慧城市工作的开展，视频监控系统、电子警察系统、治安卡口系统的发展非常迅速，在打击、预防违法犯罪方面起到了良好的作用。1.1. 背景分析目前城市对车辆的监管系统已经非常有成效，但针对个体人员的监管一直是空白。由于城市人口体量巨大，人员流动速度加快、外来人口比例不断攀升，同时国内外反恐形势不容乐观，这些现状都向城市的治安和保卫工作提出了挑战。随着监控系统的日益普及和发展，视频监控系统的大量应用，视频数据呈几何级增长，在海量的数据内寻找有用的

2、数据成为了视频监控系统的难点，视频结构化技术即在此背景下诞生。视频结构化是一种将视频内容中的重要信息进行结构化提取的技术，利用它对视频内容按照语义关系，采用时空分割、特征提取、对象识别、深度学习等处理手段，组织成可供计算机和人理解的文本信息或可视化图形信息。视频数据结构化从多个维度优化现有的安防业务，将原本许多数量庞大、响应龟速、且大多没有应用价值的监控视频进行精缩，变为更易查找、占存更小且可被深度挖掘的高密度数据。结构化的视频数据可极大提升搜索和排查效率。本方案是以视频结构化为技术基础，以平安城市需求为目标，建设一套覆盖范围内重点区域的人员出入口监控系统，实现实时人脸识别，人脸数据建模，支持

3、实时布控人员比对、预警。同时，建立人脸大数据基础，为安保应用提供数据基础服务。视频结构化是指根据视频画面中呈现出的人、车、物、颜色、数字及其他属性特征，建立视频数据结构化平台。视频被结构化后，相关的应用系统可依据视频结构化所提取的人、物特征进行分析（例如人脸信息、车辆信息等），根据不同的应用场景，完成不同的应用功能。同时视频结构化可将所提取到的特征数据存入相应的结构化数据仓库，存储的容量极大降低。1.2. 应用场景结构化系统可以从视频资料库中查找到某张截图上的嫌疑目标，有助于进行社会治安监控的风险评估和事件预警，并可通过不同位置采集的监控资料，研判目标的行为过程。视频结构化分析服务器对于视频图

4、像中尤其关注的人、车、非机动车类别的目标提供更深层次的结构化解析。1.3. 应用分类1） 行人结构化对于视频图像中的人物，并可提供行人的各种结构化特征属性信息，包括衣着和装饰物特征：上衣、裤子、裙子和连衣裙、鞋子、帽子、太阳镜墨镜、围巾、皮带腰带；携带物特征：单肩挎包、双肩背包、手提包、拉杆箱、雨伞；人体特征：头发、面部。2） 车辆结构化对于视频图像中的车辆，可进行多车道车辆检测、车头车尾检测识别功能，能够提取识别车辆的10多项结构化属性信息，包括车辆号牌、车身颜色、车辆品牌、车辆类型、子品牌、车辆年款及各种车辆特征物信息，如：年检标、遮阳板、挂件、摆件、纸巾盒、安全带等。3） 人骑车结构化人

5、骑车结构化即对视频资源里的骑车行人进行结构化处理与识别，包括骑车人的衣着类型、配饰、体态、机动车颜色、朝向、车上人数、有无打伞等等与人骑车外部特征相关的结构化处理。4） 目标轨迹提取当结构化识别某行人、机动车、人骑车目标对象后，还可对目标对象的行驶轨迹进行快速提取，节省检索时间，一键确定目标对象行踪。2. 需求分析本次项目涉及的需求整理如下：1） 区域驻留报警。通过视频结构化技术，提取目标区域内的人形特征，并对视频监控区域进行区域划分，特定的区域内，人员可以进入，但是超过规定时间，就进行报警。2） 人员跨越区域报警通过视频结构化技术，将视频画面中的人员特征进行采集，并出入该区域的人脸信息进行识

6、别，判断人员身份，对于无权限出入该区域的人员进行报警。3） 人员轨迹追踪通过对前端视频设备采集到的监控画面，进行结构化分析，提取目标人员的特征信息，从而识别人员的身份，进而对该人员所经过的区域记录，形成完整的运行轨迹。系统应用的重点是实现动态视频条件下的人脸识别、人脸布控。这里面包含两个层面的工作目标。第一，人脸识别准确率、漏报率要满足实际使用的基本要求。这要求在现场勘查、设备选型、设备安装、参数调试、平台接入、结果筛查等各个方面按照标准进行设计，保证最终识别结果。第二，应该充分根据用户需求，设计一套人脸识别的工作机制，解决整个业务流程。实现规范化管理、操作，实现数字化记录。3. 系统设计3.

7、1. 设计思路系统应基于SOA（面向服务的架构）体系架构设计，通过组件搭建应用系统功能，适应软件架构对复用性、扩展性、维护性的要求。组件设计的核心思想就是“高内聚、松耦合、可复用”，最大程度地提高代码的重用率，提高系统的可维护性和灵活性。主要的思路包括：第一，建立统一规范的数据接口,各组件可以按照标准访问数据接口,实现程序的复用性。第二，明确各组件的功能定义和逻辑边界，提高程序的内聚性。第三，分层结构设计，通过分层设计明确各组件之间的逻辑关系，提高各组件的复用性和送耦合性，可以更灵活地支撑各种业务和用户的个性需求。3.2. 系统架构本系统架构综合考虑了对普通摄像机的接入、对人像卡口摄像机的接入

8、，对视频平台的接入支持。1、通过抓拍服务器完成从普通摄像机的视频流中抓拍人脸服务。2、通过转发服务器完成人员卡口摄像机的接入，转发服务器将图片传输给中心的存储系统，识别云服务、结构云服务。3、通过接口网关服务器完成对视频平台的接入，包括接入视频巡逻时的抓拍照片，重点的摄像机的视频。建设统一存储系统用于保存所有人脸图片，建设大数据系统用于记录所有结构化数据，同时，系统还将对接PGIS（地理信息系统）系统，完成对人员轨迹的追踪和定位。3.3. 前端子系统设计为了保证人脸识别的准确率，除了设备本身的品质，现场摄像机的安装部署也非常重要。一般为了保证现场人车的正常通过，摄像机高度不应低于5米，在此高度

9、上，人脸识别水平距离应该在20米左右，可正负5米。以人体平均身高1.7米计算，摄像机俯仰角在15度范围之内，能够满足人脸识别算法要求。对于部分场景摄像机安装距离可以降低至3m左右的场景，监控距离一般在12m左右，同样分辨率的摄像机可以选配更小的镜头。3.4. 摄像机的场景选择摄像机的场景以交通要道，进出口通道，重点防护部位等场景为设计对象。这些场景人流量大、人群复杂，易于产生战果。同时摄像机安装的场景应尽量考虑通道式场景，人员在行走过程中具有典型的方向性。现场光线尽量避免出现大逆光、大曝光等情况，以提高整合系统的识别效果。3.5. 摄像机的规格选型人脸识别相机的选型主要包括：（1）摄像机类型的

10、选择。（2）摄像机分辨率的选择。（3）镜头的选择。本系统支持普通高清摄像机接入，支持人脸抓拍卡口摄像机接入。既可以接入视频，也可以接入人脸图片进行分析。摄像机的分辨率选择与所要覆盖的现场宽度正相关。如上图所示，根据理论计算：200万分辨率摄像机可以覆盖3米的宽度。计算原理如下：一般成年男性的瞳距在60mm73mm之间，成年女性的瞳距在53mm68mm之间，以60mm计算，在1080P分辨率，即水平方向上为1920像素的摄像机成像图片中，保证人脸瞳距不低于40像素的情况下，覆盖宽度不能超过3米。(1920像素*0.06米/40像素=2.88米）一般人的肩宽为40CM，理论上横向可以覆盖7个人，考

11、虑到前后空间距离上可能容下1015个人。本系统中所采用的人脸抓拍服务器支持单画面25个人脸的检测和抓拍，可充分满足实际需求。3.6. 人脸识别子系统人脸的识别过程包括人脸检测定位、人脸质量判断、人脸特征点提取和人脸识别几个过程。系统设计在分局部署人脸抓拍服务，完成人脸检测定位、质量诊断的工作。人脸识别、比对服务和抓拍图片的存储服务部署在数据中心完成。所有系统部署在视频专网中。如下图所示：抓拍服务器完成人脸抓拍，包括人脸抠图抓拍和人身抓拍图片，传输给识别服务器。识别服务器除了完成人脸的特征提取和比对之外，还将图片转发给图片存储服务器保存记录。镜头的选择主要和摄像机靶面、摄像机分辨率以及需要覆盖的

12、宽度相关。一般来说，在同样覆盖宽度需求的条件下，摄像机靶面越小所需要的镜头焦距越短。摄像机分辨率越高，单位面积上获得的人脸像素越多。镜头的选择以保证在设计监控距离上，人脸两眼间的像素不低于40*40像素。动态人像识别方案由前端摄像机、人像抓拍比对服务器等构成。前端摄像机：前端摄像机为高清网络摄像机，高清网络摄像机主要进行图像采集。高清网络摄像机可以对监控画面进行区域感兴趣编码等算法处理，对人像图像进行优化，更适合于人像卡口场景下获取最优人像图片。人像采集比对服务器：人像采集比对服务器采用旷视科技领先的人像关键点技术、人像检测技术，对监控画面中的人像进行定位、跟踪、人像图片质量优化，最终获取高质

13、量的人像图片。采用旷视科技领先的人像比对算法，对抓拍的人像图片进行特征提取，和人像库中的人像图片特征进行比对，获取高准确性的比对结果。3.7. 与PGIS的对接子系统动态人脸识别系统与PGIS系统紧密结合，实现公安用户的挂图作战。在应用展示时将调用PGIS系统的服务并进行二次开发，实现所有业务应用，包括人员查询、轨迹刻画、时空碰撞等应用的空间可视化呈现。并可以实时显示PGIS系统中的公共地理位置信息，包括行政区域、街道等。4. 基本功能介绍4.1. 应用概述本系统的功能主要包括：实时监控、抓拍查询、告警查询、底库管理、布控管理、设备配置、轨迹分析、用户管理等功能。分别介绍如下：4.2. 实时监

14、控实时监控功能允许用户对点选的摄像机进行实时画面浏览，实时掌握人脸比对结果。如果当前画面中的人脸特征与所布控的人脸效果高于阈值，则在实时监控页面的右侧会展现出当前的结果，并按照比对相似度分值降序排列。4.3. 抓拍查询抓拍功能是对所有画面中出现的人脸进行抓拍检索查询。用户可基于摄像机名称、摄像机位置、时间段进行检索。抓拍的图片包括人员全局图片和人脸特征图片。用户可以手动将某一个抓拍到的人脸添加到底库中。针对用户选择的抓拍图片，系统将自动列出相似度排名最高的前三个人脸信息。如下图：4.4. 告警查询用户可通过告警查询功能查询过往的人脸比对结果。系统将会列出抓拍的图片、比对的图片、姓名、底库、比对

15、值、摄像头位置、摄像头名称、识别时间、处理状态以及操作等信息。4.5. 人员底库管理4.5.1. 底库的配置用户可以根据需要新建或删除各种人员底库，如下图。用户可以批量导入底库人员。可以对底库进行迁移。4.5.2. 人员信息的配置在底库管理中，用户可以对人员信息进行配置，包括新增一个人，批量导入人员信息。人员的信息还包括姓名、性别、证件类型、证件号、案底、身份类型等。4.6. 布控管理布控管理可以对具体某一个摄像机进行布控设置。用户可设置布控的ROI区域，布控告警的阈值、布控类型、匹配的模式、布控有效时间段、适用的底库以及报警时提醒的相关人员信息。如下图所示。4.7. 设备配置一个系统当中包含

16、众多服务器和摄像机，用户可以在硬件配置中对这些设备进行管理，如下图。可以添加、修改、删除相关的设备。完成硬件设备管理后，用户可以灵活对摄像机和服务器进行匹配设置，分配服务器计算资源。系统采用鼠标拖拽式的所见即所得的UI设计，展示效果直观。4.8. 轨迹分析结合GIS地图，根据特定目标特定时间范围内所经过卡口热点的前后顺序，绘制出目标在地图上的活动轨迹。应用于掌握嫌疑人的历史活动情况，为案情分析提供更多线索。4.8.1. 轨迹伴随结合GIS地图，除了呈现指定用户的轨迹外，还可以分析伴随用户的列表，及列表中用户的轨迹。应用于在已经确定某个单个嫌疑人后，需要排查出同案嫌疑人的场景。4.8.2. 轨迹监控结合GIS地图，实时跟踪指定目标在卡口热点的位置及历史轨迹，绘制出目标在地图上的活动轨迹，并用红色跳动点为当前位置。应用于实时监控嫌疑人，用于跟踪、监控或抓捕。4.9. 用户管理在用户管理页面，用户可以设置用户组，包括普通用户、操作员以及管理员。在建立新用户时可以设置发生报警时是否通知该用户。人脸识别技术目前已经广泛应用于包括人脸门禁系统、互联网娱乐游戏、警用执法人证合一比对、出入口控制、刷脸支付等各行各业。随着人脸识别技术的提升，应用越来越广泛。在安防行业，主流安防厂家也都推出了各自的人脸识别产品和解决方案，人脸识别技术正式进入安防行业。