人脸识别系统技术解决方案doc.docx
《人脸识别系统技术解决方案doc.docx》由会员分享，可在线阅读，更多相关《人脸识别系统技术解决方案doc.docx（17页珍藏版）》请在冰豆网上搜索。
人脸识别系统技术解决方案doc
智能人脸识别系统
技
术
方
案
2018年3月
1智能人像比对平台
1.1系统结构
建立标准统一的共享人像库，并在此基础上，部署完整的人像比对判定平台。
该系统由人像标准化采集系统，人像数据库子系统、基础比对服务平台、人脸识别应用平台4大部分组成，支持前端人像采集、静态人脸查询、移动警务通人脸识别一体化服务。
该平台支持统一人像数据交换接口，兼容大多数人像数据交换标准。
统一的安全标准接口，兼容PKI密钥，网络加密狗等常见的安全标准接口。
系统总体结构如下：
系统采用B/S架构，以浏览器方式进行人像预处理、人像比对、结果查询、用户管理、系统运行状态查询等管理操作，减少了系统后台管理、人口治安及其他警种成百上千终端安装和维护难度，方便未来多警种共享应用。
系统可提供标准的WebService接口，将业务系统获取的人像照片与相关人像库进行比对。
1.2设计原则
本着统一标准、分级管理、资源共享、无缝对接的设计原则，以人像比对算法为核心，整合多区域现有资源，实现准确识别、快速反映，覆盖全面的智能人像识别应用平台。
1.2.1先进性
该平台算法由中国科学院自动化研究所研究员、国际知名人脸识别专家、IEEE院士李子青教授领衔研发，是基于中国自主知识产权，针对公安各警种业务特点专门研发的综合智能人像识别应用系统平台。
1.2.2开放性
人像采集与比对平台具有统一的服务接口，兼容公安部拟指定的统一人像数据交换标准草案。
统一的安全验证，兼容PKI密钥，身份认证等常见的安全验证机制。
1.2.3扩展性
整个平台系统接口分为系统级别之间的接口与单个系统开放出来的服务接口组成。
系统可“随需而变，以不变应万变”提供多种可靠服务功能。
1、系统级接口
系统级接口指的是不同地区部署的人像辅助识别平台之间的接口，主要有两种访问方式第一种采用页面查询的方式，以只查询方式进行访问，通过系统提供的Guest权限进行页面访问。
适用于不同平台之间快速的调阅查询。
第二种通过请求服务与直接调阅的形式进行数据库的查询，系统预留标准数据库查询接口，以市，县二层结构进行数据库间的查询调用，采用本系统建立的数据中心，纵向上进行直接的调用，高层中心保留下级中心的数据库信息索引。
即市级中心直接查询市级与县级中心，市级中心直接查询县级中心。
横向上以请求服务形式进行调用，横向系统间不保留对方的数据库信息索引，而是通过请求服务方式进行。
2、服务接口
服务接口适用于该系统与其他业务应用系统做二次开发或者集成用接口，包括所有系统级接口与平台应用接口。
人像基础比对服务平台通过WebService进行与其他系统的交换机制，通过标准的XML或者Jason格式文件进行数据交换，兼容《GA/T922.2-2011标准第二部分人像数据采集标准》中的数据格式交换。
服务接口主要以WebService与ActiveX等方式提供。
满足各业务系统二次开发，集成使用。
服务接口说明
服务接口
接口说明
接口方式
应用场景
1：
N比对接口
提交单张照片进行身份查询
WebService
出入境：
假证，重证查处。
户政：
重证查处
刑侦：
侦查嫌疑人员
治安卡口：
侦查嫌疑人员
移动警务：
巡逻盘查
N：
N比对接口
提交多张照片进行身份查询
WebService
同上，一次提交多张照片比对
1:
1比对接口
提张2张照片进行比对。
WebService
提交2张照片得到相似度
综合信息比对接口
提交照片与身份证号，系统人员编号比对。
WebService
综合查询，提交照片与系统相关人员查询。
身份信息查询接口
输入身份证号查询人员是否在人像模板库中
WebService/
通过身份证号查找人员入库照片与信息。
人像建模接口
输入图片将图像入库
WebService
提供图像入库建模方法
人像采集接口
提供插件供前端采集设备使用
ActiveX/SDK
提供ActiveX插件供前端相机进行二次开发使用。
1.2.4安全性
人像采集比对平台采用统一的安全验证标准，所有的子系统采用统一安全验证机制，支持PKI加密狗，身份验证等常见的身份验证机制。
1.2.5抗灾性
在设计硬件架构时，充分考虑了系统的可用性和抗灾性，使用了“计算节点冗余拓扑”的架构方案。
例如运行有2个比对服务实例，每一个服务实例都可以完成全部的比对服务功能。
在每一个服务实例中，每一个运算节点内存中只加载部分模板数据，这样能够显著提高比对效率。
但是每一个计算节点的磁盘中都保留有全部的模板数据，任意一个计算节点损坏都不会影响到数据完备性。
当有计算结点损坏时，集群控制器会收到通知并且发出服务请求让剩余的计算节点加载受损节点的模板数据。
1.3人像对比算法
1.3.1技术选型标准
根据公安部《关于加快推进人口信息人像比对技术应用的通知》（公治明发【2012】331号），原则上优先选用国内算法，如需选用国外算法，应在确保人口信息安全的情况下使用。
人口信息人像比对系统的承建单位不得具有外资背景，且须签订保密协议书。
禁止境外人员参与系统建设。
1.3.2算法性能
系统主要性能指标
序号
项目
指标
备注
1
建模速度
本地：
240张/秒
IntelE52630处理器，主频3GHZ以上，内存64G，硬盘2T
2
比对速度
单机：
1120万次/秒
3
模板大小
2004Bytes
4
自查重
单机：
12小时
100万级二代身份证
5
入库率
>99.99%
6
首位命中率
>95%
7
前10位命中率
>92%
8
前50位命中率
>82%
9
系统容量
2亿以上
支持亿级扩展
10
逻辑库数
>100
支持扩充
11
在线用户数
支持至少5000个同时在线用户
3000个以上派出所及全市各警种web调用模式及接口调用模式。
1.3.3基本比对功能
（1）1:
1一对一比对，对输入系统的两张照片比对确认是否同一人；
（2）1:
N一对多比对，输入一张照片与选定的照片分库比对以返回最相似的照片和信息；
（3）M:
N多人对多人比对，提交多张照片与选定的照片分库比对以返回各自最相似的照片和信息；
（4）自库查重：
系统支持照片分库自我查询，例如出入境照片库进行库内滚动比对，查找“一人多证”的记录；
（5）异库查找：
系统支持不同照片分库之间进行滚动比对，查找人员在各库中的关联信息；
1.4人像资源库
1.4.1数据量要求
资源库建设采用“统一规划、分类建库、各库关联、全面共享、冗余增长”的思路，设计容量约1000万张以上。
1.4.2建设基础人像库
对全国在逃人员、国保重点人员、禁毒重点人员等八类照片数据入库建模，向客户全面开放人像核对查询功能，开放人像比对服务接口嵌入到各业务系统。
各部门及公安机关可结合业务需要，在人像资源库的基础上有针对性地开发适合本部门的人像比对应用系统平台。
1.4.3建设少数民族人像库
建立少数民族人像库，按照民族种类建设少数民族人像基础库，加强流动的少数民族人员安全管理。
1.4.4建设宗教人像库
因信教群众众多，宗教活动场所若干所，同时近年来在新疆、西藏发生多起教徒暴动事件，为较好控制公共安全，对各教众采集其标准人像信息，以宗教信仰为建库标准，分别建立各类人像库，加强对重点教众的监控，有效防止其借宗教势力组织、实施危害社会公共安全的宗教活动。
1.4.5建设重点关注人员库
公安在多年执法办案过程中，遇到各类有前科的违法犯罪人员，这些人有的通过教育指导能改过自新，而有些却顽固不化，继续伺机作案，针对该类人员公安建设人像数据；系统自动检测各类业务照片数据库，如有更新，则根据用户设置的更新时间，自动提取照片，先与已有人像特征库进行比对，确保唯一性后再入库。
1.4.6数据更新
与业务数据源的更新相配套，系统支持动态增量模板的加载和更新，以便动态更新的入库照片数据能够及时参与比对；系统自动检测各类业务照片数据库，如有更新，则根据用户设置的更新时间，自动提取照片，先与已有人像特征库进行比对，确保唯一性后再入库。
1.5软件系统介绍
该系统平台利用公安各类业务系统采集的海量人像数据，建立标准的人脸特征数据库，利用先进的人脸识别技术和计算平台强大的数据处理能力，快速准确地确认人员的真实身份。
该系统主要面向持假身份证、多重身份、冒用身份、身份不明等公安业务。
1.5.1子系统功能
（1）人像数据库建设
该子系统针对常住人口的二代身份证库，建设人像特征数据库，系统入库率达到99.99%以上；支持建设亿级以上人脸数据库；支持数据库批量建模与文件夹建模；每个人像特征模板不大于2K，系统建库速度达到单机240个/秒以上；支持联网建库，通过提供的数据库接口，利用公安专网访问人像数据库。
（2）并行比对基础服务平台
该子系统主要实现并行化比对运算处理，加快比对响应速度，包括比对应用服务（负责比对服务分发与结果汇总，以及比对服务资源检测控制管理），比对处理，服务接口三个部分。
系统支持比对负载均衡，合理分配比对任务，即从比对应用服务接收到比对请求后根据比对节点的繁忙程度，分发给相关比对节点，比对处理快速与指定范围内的模板进行比对，产生比对结果；支持比对计算节点的任意扩展；支持比对服务热备份，不因为计算节点的宕机而造成比对服务终止；支持多个人脸综合模板比对；支持1：
N和1：
1比对方式，能做多机并发比对方式；单机比对速度至少1120万次/秒；100万二代证人像库比对前50位命中率达到82%以上；支持WebServices形式的人像比对服务；支持HTTP，Socket等常见网络协议；支持RestFulAPI和WCF两种接口形式提供比对服务。
（3）人员身份查重系统
可指定人脸数据库进行全库或指定范围的库内人脸比对，对于同人不同身份，同身份不同人进行甄别判定，将可疑的判定结果放入比对信息数据库中；支持常口库与常口库进行比对，缉控库与常口库进行比对，常口库照片与缉控库照片进行正比，缉控库与常口库照片进行反比；库与库比对通过调用并行比对服务平台中WebServices接口进行比对；支持可疑信息通过专门的B/S页面进行查询浏览，提供历史可疑数据与每日新增可疑数据；对动态新增的人脸数据，支持自动执行动态执行身份比对功能；3台机器并行100万人像库自库查重在5小时以内完成，单机在13小时以内完成；
（4）Web人像搜索系统
该子系统对高清照片能进行初步的人脸图像裁剪，提供带条件的人像查询，如性别，年龄，地区，面部特征，设置阈值。
支持人脸图像裁剪，针对用户提交照片先进行自动的人脸筛选，未达到要求的照片再进行手工裁；支持带条件比对识别，用户提交比对识别请求，可以同时附加约束条件，设置阈值等，接受比对识别结果，显示比对识别结果；提供快速查询（前台）与模糊比对（后台）查询两种查询方式，快速查询主要查询符合比对要求的照片，满足批量导入功能，对不符合要求照片，提供专业图片工具进行专业修正。
支持动态信息查询，显示入库图像数、拒绝入库数、非人脸图像数、图像质量不达标数等。
提供除入库图像数外的其余结果的数据查询连接，以便进行人工分析和干预；参数配置采用数据库方式，以提高安全等级；支持通过Web服务对系统配置参数进行管理，包括数据源、数据分类、比对服务器IP列表、比对结果返回值大小、各类参数的阈值等；支持数据源设置，设置图像数据库、模板数据库、结果数据库等。
提供统一界面对系统所有服务器、系统服务进行启动和停止，当系统停止时，能对所有访问和请求马上返回错误信息。
（5）数据库管理系统
使用Oracle11g数据库，存储各类人像特征库，包括常住人口库、流动人口库、缉控库等各类重点关注人像库；保存人像图片和对应的基本信息、模板数据，以及异步比对模式下的比对结果等数据；支持自动数据库更新；支持多种与业务相关的查询统计功能；支持对不同业务用途的人脸图片及模板数据分库组、分库别保存；支持多个子库别，通过专用的C/S管理软件支持日志查询，能够获取每天更新的情况与历史日志。
1.5.2人机交互系统功能
1、系统支持用户自定义功能（如可通过警号自定义用户），支持账户及权限管理，不同账户可以授予不同级别权限；系统整体风格支持自定义。
2、系统支持对登录系统账户的操作用户名、登录IP、操作记录、操作类型、操作时间的记录；支持系统日志历史数据详细搜索、支持系统日志Excel格式导出。
系统支持用户信息的自定义，支持当前用户密码的修改。
3、系统包含工作桌面、人像检索、人像比对、图像工具、讨论区以及系统工具等功能模块。
4、人像检索支持检类型和文本信息的组合条件检索。
5、人像比对支持单人比对、多人比对、身份验证和比对查询；单人比对/多人比对支持地区、性别、年龄范围、人像库、相似度、返回结果比例等条件的随机组合查询；支持查询系统完成的比对任务查询，支持比对类型（单人、多人、验证）、操作用户、状态、操作时间、操作IP以及操作类型等条件的组合查询。
6、系统支持对上传照片的再次编辑，支持提取符合要求的人像数据，可选择直接对比检索或“保存本地”。
7、系统支持根据操作类型、状态、操作人、操作日期等条件查询任务状态，支持“查重耗时”“目标库”、“查重库”、“查重类型”、“查重结果数”等状态描述。
8、系统支持常见的浏览器，如IE６.0以上、360安全浏览器，chrome浏览器等。
1.5.3其它功能
1、系统能处理两眼距最少50像素、人脸上下左右30度范围的照片，对于基本的遮挡例如眼镜、胡须等也能正常处理、比对；
2、支持自动、手动照片裁剪，针对提交的高清人脸照片，系统首先在本地进行预处理，自动裁剪出人脸大头贴照片，对于自动裁剪失败的，要提供单独的手动裁剪软件工具，然后再提交系统处理；
3、支持手工姿态校正，可对非正面拍摄有偏转的照片进行校正；4、支持复合模板比对；
5、支持标准视频文件提取人脸比对；
6、支持一张照片内多人脸识别比对。
7、系统建设的人像库是基于二代证彩色照片，而公安提交的照片有黑白照片、夜间红外照片、手绘素描照片等，系统确保能进行彩色照片和这些照片的比对，且达到国内同行最好水平；
8、系统能将人像比对结果导出为excel表格形式；
9、必须保证系统安全、稳定，非合法用户不允许访问系统，提交比对任务；
1.5.4系统配置清单
整个智能人像识别系统包含了多种子系统，及软件模块，下面清单列出了系统主要的软件模块，可以按需配置以提供不同功能。
序号
子系统、服务
功能简述
数量
备注
1
人像特征提取服务系统
人像特征提取，人像预处理，切割人脸小图片，眼睛定位等
1
2
人像并行比对基础服务平台
大规模数据库比对，搜索。
提供人脸识别功能，返回比对结果
1
3
Web人像搜索系统
该子系统提供带条件的人像查询，如性别，年龄，地区，面部特征，设置阈值
1
4
人员身份查重系统
提供身份查重功能，各地、市查询重复户口，重复身份
1
户政、交通等使用
5
数据库管理系统
数据库历史记录查询，按库别管理新增人员添加到数据库，死亡、逮捕人员从数据库删除或保留等
1
6
人像库建设服务
建设全市人像库
1
7
移动警务人脸识别系统
民警出勤时安装在警务通终端的人像采集、比对结果显示等功能
1
支持IOS和Android系统
8
License许可证
提供人像预处理、比对、人像服务器权限管理等功能
1
1.5.5依赖软件与平台
序号
名称
配置说明
数据库
支持Oracle11g
中心操作系统
WindowsServer200864位企业版、标准版
本系统客户端操作环境
Windows系统，InternetExplorer6.0以上
用户操作环境
由业务用户端实际情况决定
外部其他用户操作环境
由外部用户确定
集成应用环境
.Netframework4.0
系统服务器
IIS6.0以上
杀毒软件等
根据用户的实际情况定
1.6移动终端介绍
1.待程序进入后主页面，连接服务端成功，界面底部会浮动成功信息，若未出现提示信息，则说明跟服务端通信出现问题，请检查手机是否联网或联系服务端负责人查看服务端服务是否正常运行。
2.屏幕中间按钮提供了2种取照片方式，点击启动相机拍照，长按启动本地相册取照片。
取完照片会跳转至选择比对方式页面。
1）选择比对方式，1:
1比对方式跳转如下图：
输入要比对的身份证后，点击比对，结果显示如下图：
2）选择1：
N比对方式，结果如下图：
单击结果图片可以查看相关的结果信息：
首页点击左下角按钮进入注册人脸界面，提供上传人脸以及对应的信息功能：
点击顶部图标即可选择人脸照片：
填完信息之后点击注册即可将数据上传至服务器进行人脸注册。
首页点击右下角按钮进入系统设置页面，可以设置1:
1比对相似度阈值、1：
N比对返回结果数以及服务端地址：
点击对应的设置框即可跳转至对应的设置页面。
1.7网络环境
本平台在内部TCP/IP网中使用，可以使用现有的网络资源。
网络最低2M。
2动态人脸监控识别平台
该方案面向客户的实际需求，提出了动态的视频比对和静态的照片比对相结合思想，将比对中心从系统中独立出来，专门提供人脸比对服务。
系统对摄像头采集的视频流首先进行预处理，切割出其中的人脸照片，然后再通过平台专网传输到后台比对中心；对提交的各类人脸照片，可以通过Web管理系统调用比对中心服务进行直接比对，这样的设计方案就有效的解决了一套系统既要比对视频流人脸，又要比对照片人脸的问题。
该系统专门针对大范围内多个地点、多个人脸同时预警，实现动态组网，集中处理摄像机、人脸图片采集、比对服务器、数据库服务器等关键设备及报警记录。
将人脸采集、人脸比对、报警记录查询、人脸倒查、人脸图片文件备份与建库、及移动车载终端人脸比对分开处理，这种模块化思路简化了施工难度，节约施工成本，按需取量，相比传统视频监控提升了产品的智能化程度。
各个重点治安场所的监控摄像头都可经内网或4G网络将现场人脸数据提交到区、后台的动态人脸监控比对服务器比对，比对完成后把比对的报警结果发送至前端的监控报警中心。
系统的总体结构图如下：
图中画虚线框的设备可以根据系统大小进行裁剪，如果系统比较小，可不用单独在设备上部署，直接可将相关服务部署到其它机器即可，这样可有效节约资源。
整个系统处理流程如下：
1．从前端治安摄像头或车载移动摄像头设备获取视频；
2．采用人脸分析算法完成视频中（多个）人脸采集、重复人脸唯一化，和人脸特征模板提取，人脸图片的上传备份、倒查子库更新；
3．将人脸特征模板提交给后台人脸比对服务器；
4．给出比对结果向报警终端推送报警信息。
该系统设计概念是每个处理器处于独立工作状态，处理来自对单个视频源的视频，将人脸处理结果发往比对服务器，并向管理端汇报其运行状态。
通过第三个模块中的处理器阵列管理功能对各人脸视频处理器进行管理、配置和监控,在本方案中采用Socket方式实现管理功能。
该设计概念的优点为：
●单个人脸视频处理器复用的粒度大，可以作为一个设备复用；
●每个人脸视频处理器负责一路摄像机，不需要复杂的调度程序；
●不需考虑负载均衡。
2.1动态监控数据库
该子系统主要完成人像图片和对应的基本信息、模板数据，以及异步比对模式下的比对结果等数据的存储录入，可提供自动数据库更新，支持多种与业务相关的查询统计功能。
人像数据库逻辑分库说明该子系统主要建立并管理如下5种数据库:
1.人像特征库：
人像特征库中以人像特征作为唯一标识，对于每一个人像都有一个唯一的FID。
2.人像照片库：
提取原始图像存入本地，提高本地照片读取的效率，同时人像照片库中每张照片标定该照片质量，角度，姿态，并提供标识字段用来进行标定。
3.人像关系库：
以系统中人员编号与身份证号作为唯一标识，将人像特征库中的特征标识与公安原始信息库做一一映射，人像关系库同时记录了人像特征库中每一个人像的来源库以及每一个人像来源的基本信息如录入时间，原有系统中的人员编号，原始照片与原始照片编号，这样既可以保证查询比对的效率，又可以保证不影响原有公安业务应用
4.案件信息库：
用于记录与具体案件业务相关的人员信息。
5.日志数据库：
记录每一次比对信息，对于比中的记录在人像关系库中做标识。
该子系统通过专用的管理软件支持日志查询，能够获取每天更新的情况与历史日志。
建模子模块支持数据库批量建模与文件夹建模。
更新模块对外使用更新接口对外提供单独的更新服务。
6.人脸日志库：
是将前端采集的人脸图片同意入库，便于倒查和查重及静态比对。
2.1.1人像照片质量判定
在将原始人像照片从原始数据库或者手工录入进行导入时，首先会检测人像图片质量，然后再提取特征，并将照片以光照质量、角度、面部姿态关键字段在人像照片库中进行标定，同时将适合建模的图像进行建模。
2.1.2人像数据入库方式说明
人像数据库子系统对于人像特征入库主要有如下3种方式：
1.历史常态库入库：
特指常驻，暂住等人口管理相关的历史库入库，提取对应库照片中的人像特征入人像特征库，如人员信息库与相应的比对库。
历史库更新完毕后，如果该常态库不采用采集更新的流程机制，则将会采用定时异步更新的方式对每日原始数据库更新内容进行更新，否则将会使用采集更新入库。
2.采集更新入库：
对于试点应用的业务，则通过标准化的流程机制每次将确定录入的人像提取特征送入人像特征库，将采集照片先与比对缉控库进行比对，判定是否为缉控人员，如果不符合再与该业务的常态库进行比对，返回是否有相应的重证人员，最后同时更新相应的人像特征库与比对信息库。
3.比对缉控库入库：
专指情报平台下比对缉控库的入库，首先同历史常态库入库方式相同进行一个历史缉控库的入库，在历史库入库完毕后使用C/S架构的软件界面的方式来方便公安专业人员进行额外的录入更新，缉控库的主要来源为1）本地照片2）本地数据库3）请求服务获取4）手工录入。
任意的单独采集的照片录入时，照片经过首先与比对甄别，无身份的人员入库并与相应案事件等信息进行关联。
2.2人像基础比对服务平台
该子系统主要实现并行化比对运算处理，加快比对响应速度。
包括比对应用服务（负责比对请求分发与结果汇总，以及比对服务资源监测控制管理）、比对服务、服务接口三个部分。
从比对应用服务接收到比对请求后分发给相关比对服务实例，比对服务在内存中快速与指定范围模板进行比对，产生比对结果队列返回。
该平台由主控计算节点域子计算节点组成，主计算节点负责分发数据，子计算节点进行计算。
通过简单的添加子计算节点可以轻易的扩充基础比对平台。
下图为人像基础比对服务平台物理结构设计。
注：
该子系统也可以与智能人像比对平台的“并行比对基础服务平台”复用，此时视频人脸监控识别系统仅需将前端设备采集的人像图像传输给比对平台即可。
2.3可用实例分析
为确保人脸监控系统能及时准确发现可疑人员，做到早发现、及时采取措施、提前预防，切实的维护社会的稳定，和人民生命财产安全，经现场勘测监控点，结合不同监控场所的实际情况，从中选取两个监控点做如下分析。
注意：
以下所有相机的安装点仅供参考，为能达到最佳的识别效果，在相机安装过程中需根据现场的实际情况合理的调整相机安装点。
对于弱光环境在可取的情况下可增加补光设备，增强光环境。
可在相机安装点安装醒目的广告牌、海报等，以促使人主动去配合系统抓拍到高质量的
升级会员 