视频结构化大数据平台解决方案Word格式.docx

视频结构化大数据平台解决方案Word格式.docx

《视频结构化大数据平台解决方案Word格式.docx》由会员分享，可在线阅读，更多相关《视频结构化大数据平台解决方案Word格式.docx（30页珍藏版）》请在冰豆网上搜索。

按照公安部视频数据的相关标准设计系统结构。

特别是应用系统建设结构、数据模型结构、数据存储结构以及系统扩展规划等内容，从规划的全局出发、从长远的角度考虑。

3.3.大数据处理原则

致力于跨警种、跨系统的视频相关数据结构化处理，致力于非结构数据加工和数据挖掘等深层次的数据应用，建立在云存储和云计算的体系之上，具有海量数据处理能力，以适应不断增长的数据量和业务需求。

3.4.高可靠/高安全性原则

从系统从结构上、产品性能上、设备的选型上，以及具体的实施方案，将充分考虑软硬件的成熟度，使得系统的稳定性和可靠性得到保障，同时系统具备完备的网管单元，实时监测系统运行状态，灵活对整个计算资源进行有效调度和分配，平时保障85%的计算资源利用率，预留15%的计算资源，一方面使得机器不在峰值上一直运行，同时在突发临时事件时，预留的15%的计算资源可以备用，确保系统正常、稳定、可靠、连续地运行。

系统的设计充分考虑系统的安全。

在系统设计、设备选型、调试、安装等环节都需严格执行国家、行业的有关标准及公安部门有关安全技术防范的要求。

3.5.适用性原则

系统的建设将保护已有资源，急用先行，在满足应用需求的前提下，尽量降低建设成本。

3.6.可扩展性原则

系统设计不但保证目前系统容量的要求，也将考虑今后系统的发展，便于向更新技术的升级与衔接。

系统提供标准的SDK控件及数据接口服务，以实现与其它子系统之间的数据交换，保证系统的不断扩展。

4.系统总体设计

4.1.设计依据

本系统主要设计依据遵循以下标准和规范：

项目政策文件：

●《公安部关于进一步加强社会治安防控体系建设的指导意见》

●公安部《关于深入开展城市报警与监控系统应用工作的意见》

●公安部《全国公安机关视频图像信息整合与共享工作任务书》

●公通字201119号《全国公安装备建设“十二五”规划》

●公科信201211号《全国公安机关视频图像信息整合与共享工作任务书》

●公科信【2012】73号《全国公安机关图像信息联网总体设计方案》

●公科信传发【2012】367号《省（区、市）公安机关视频图像信息整合与共享技术方案编写指南》

公安信息系统类标准

●公安部《金盾工程总体方案设计》

●公安部《公安信息系统应用支撑平台总体方案设计》

●公安部《公安信息化标准体系》

●公安部《地市级综合信息系统总体设计方案》

●公安部《共享数据项代码标准》

●公安部《共享数据项集项目规范》

●公安部《刑事犯罪信息管理代码》GA240.（1－21）-2000

●公安部《刑事犯罪信息管理代码》GA240.（22－57）-2003

●公安部《经济犯罪案件信息管理系统技术规范》GA397.X-2002

●公安部《道路交通违章管理信息代码》GA408.X-2003

●公安部《全国道路交通管理数据交换格式》GA409.X-2003

●公安部《违法犯罪信息管理》GA8-1991

●公安部《信息系统安全等级保护基本要求》GB/T22239-2008

●公安部《信息系统等级保护安全设计技术要求》GB/T24856-2009

●公安部《城市监控报警联网系统技术标准》GA/T669-2008

计算机信息系统类标准

●《计算机软件开发规范》

●《操作系统安全技术要求》GB/T20272-2006

●《数据库管理系统通用安全技术要求》GB/T20273-2006

视频系统类标准

●《城市监控报警联网系统技术标准》（GA/T669-2008）

●《安全防范视频监控联网系统信息传输、交换、控制技术要求》GBT28181-2011

●《民用闭路监视电视系统工程技术规范》（GB50198-94）

●《视频安防监控系统技术要求》（GA/T367-2001）

信息安全类标准

●《信息系统等级保护安全设计技术要求》GB/T24856-2009

●《信息系统安全等级保护基本要求》GB/T22239-2008

●《计算机信息系统安全保护等级划分准则》GB17859-1999

●《信息系统安全等级保护定级指南》GB/T22240-2008

●《信息系统安全管理要求》GB/T20269-2006

4.2.总体架构设计

方案总体架构设计为“一个中心，一个平台，多个业务应用平台”。

一个中心：

利用云计算、云存储技术，建设视频大数据中心；

一个平台：

实现视频，图片数据结构化；

多个业务应用：

在大数据中心上，实现视频图片的智能检索；

在大数据中心上，实现视频图片的车辆分析；

在大数据中心上，实现视频图片的人物分析；

4.3.业务架构设计

架构说明:

系统采用分布式系统构架，主要由大数据接入、大数据处理存储、大数据应用平台组成。

大数据接入负责接入在线各种社会视频资源和公安各视频资源。

或者直接导入离线视频资源。

大数据处理对收集到的数据经进行转换、分析处理。

视频、图片等非结构化数据经过各种算法生成标准数据集供挖掘和分析使用。

存储中心主要用来管理大数据接入、大数据处理生成的各种非结构化数据和处理后的结构化数据集，同时负责维护系统建立的各种专题库。

大数据存储中心是建立在成熟的云存储体系之上的，具备存储的复杂均衡，软硬件的动态扩展和删除以及数据的自动备份和恢复功能。

同时，系统提供SDK库供第三方集成，实现视频数据在业务应用的深度可视化。

大数据应用提供客户端功能的可视化展示，如数据的检索访问、车牌信息分析、目标类型分析、人脸分析、GIS应用等应用服务。

4.4.网络架构设计

系统采用统一云存储设计，部署大数据平台Hadoop集群设备，通过网络实时将结构化分析平台处理后的特征信息上传。

各业务部门通过客户端即可实现大数据的综合业务应用。

系统可单独部署，也可以级联部署。

级联部署时，中心管理平台可以对子节点进行任务管理、调度、状态查看。

可指定子节点信息上传的位置、信息上传的类型。

中心管理服务器收到信息后，可对消息进行二次过滤后再入库。

视频结构化平台级联示意图

5.数据结构化

5.1.概述

大数据视频结构化分析系统控制调度、目标结构化单元、车辆结构化单元于一体，实现高清实时监控视频、高清录像以及图片资源的结构化处理。

结构化引擎处理后的数据统一存储于结构化云平台中。

支持标清和高清视频、不同厂家视频格式等，满足视频监控各类应用场合和应用模式的视频内容处理需要。

5.2.数据采集

主要接入卡口数据、电警数据、实时视频、历史视频、卡口识别数据、视频特征提取数据、其他外部业务系统等数据，经过对数据清洗、转换、分类后，将数据存入大数据平台。

提供对大数据统一的接入方式，接口形式包括API、文件、等，方便公安数据接入大数据平台。

大数据平台采集视频联网平台

如下大数据平台主动采集视频联网平台系统示意图所示，大数据平台通过数据接入组件主动从数据源系统采集数据，经过转换、清洗后通过大数据平台API接口存入大数据平台。

主要提供如下几种接入方式：

文件交换形式接口

通过协议交换文件，文件格式需要接入时定义接口文档；

RDBMS中间库接口

通过JDBC的接口访问中间库的方式交换数据；

WebService接口

通过开发定制的服务和第三方接口。

5.3.控制调度单元

控制调度单元是视频结构化分析平台的核心管理模块，实现处理服务单元的管理配置，提供视频结构化分析平台的注册授权，对各节点的处理单元进行增、减操作。

实现信令控制管理，对平台所有层级的业务处理服务单元进行信令集中控制、转发，实现数据同步。

支持任务调配管理，实现由中心主控单元接受视频处理任务，对各层级的业务处理服务单元进行任务分派。

支持负载均衡能力，根据服务单元的运行状态和硬件资源耗用状况及任务属性，分摊服务单元的工作任务，实现业务处理单元的最大化利用效率，降低单个业务处理单元错峰填谷，实现各个处理单元的负载均衡处理。

5.4.活动目标结构化单元

1）具备视频转码功能：

支持将多种厂商的私有视频格式转换为标准的AVI流，MPEG4编码，如海康、大华、科达、东方网力、安讯士、景阳等厂家。

2）具备视频获取功能：

对不同视频源（如监控平台、DVR录像文件、指定存储设备的录像文件）的视频存储文件下载至本处理单元。

3）具备对视频处理任务的执行功能：

根据控制单元分配的任务，对录像文件进行处理。

4）具备处理状态上报功能：

视频结构化处理单元向中心管理控制单元主动或被动上报运行监测状态和当前任务处理状态。

5）具备任务更新功能：

接受到来自中心管理控制单元的任务更新通知，可自动调整处理任务，并支持通过人工进行处理优先级的调整。

6）具备文件数据转发功能：

具备将结构化分析生成的文件，发送到指定的视频数据管理单元。

或把原始录像文件数据，发送到指定的视频数据管理单元。

7）视频预处理：

提取视频图像中的背景图像数据和运动物体的图像数据，并记录运动物体的特征（颜色、方向、大小等）信息。

目标结果化单元是视频结构化分析平台的业务处理单元，采用智能识别技术和先进的图像识别算法，对实时视频流、录像文件以及图片中人、车辆、人骑车的特征信息提取。

例如：

人结构化流程图：

获取人图像信息。

获取图片中的人的等相关特征信息。

实现对视频图帧中人信息（性别、年龄段、方向特征、衣服颜色、背包、拉杆箱、戴眼镜等）进行自动检测、自动识别的功能。

支持模式：

工具支持三种检测模式。

文件流模式

实时流模式

直连设备模式

单元采用智能识别技术和先进的图像识别算法，对视频流及图片中人的信息提取，并识别出相关信息。

主要功能：

人结构化描述信息：

性别信息识别

系统支持男人、女人识别。

年龄段信息识别

系统支持老人、中年、青年、儿童进行识别。

方向识别

系统支持正面、侧面、背面、斜上方等方向进行识别。

上下身衣服颜色识别

系统支持黑、白、红、黄、蓝、绿、灰、青等颜色识别。

人装饰物识别

系统支持戴眼镜、帽子、背包、拉杆箱、打雨伞等进行识别，国内领先。

人骑车结构化描述信息：

骑车类别识别

系统支持两轮车、三轮车识别。

年龄信息识别

系统支持老人、中年、青年、幼儿进行识别。

上身衣服颜色识别

系统支持戴眼镜、打雨伞等进行识别。

活动目标速度识别

系统支持对活动目标移动速度进行慢、快进行识别。

车辆结构化描述信息：

不同环境下车辆识别

系统支持白天、夜间、同画面多车辆、从车头、从车尾识别。

车身颜色识别

黑、白、红、黄、蓝、绿、灰、青等10种车身颜色识别。

车型识别

如轿车、小型货车、大型货车、客车等类型。

车品牌、车系、款型识别

系统支持车辆三级品牌（品牌、车系和款型）识别国内领先。

活动目标运动方向

系统支持对活动目标运动方向上、下、左、右进行识别。

5.5.车辆结构化单元

车辆结构化单元是视频结构化分析平台的业务处理单元，车辆结构化单元采用车辆智能识别技术和先进的图像识别算法，对实时视频流、录像文件以及图片中车辆的特征信息提取，并识别出车辆、车牌等的相关特征信息。

车辆结构化流程图：

获取车辆图像信息。

获取图片中的车辆的车牌、车身、车标、车系、车辆宽度、安全带等相关特征信息。

实现对视频图帧中车辆信息（车牌号码、车牌颜色、车身颜色、标识物、驾驶员行为等）进行自动检测、自动识别的功能。

车辆特征识别单元采用车牌智能识别技术和先进的图像识别算法，对视频流及图片中车辆的信息提取，并识别出车辆、车牌等的相关信息。

车牌信息识别

系统按照GA36-2007标准进行设计，支持多达17种车牌类型的号码识别。

包括：

小型汽车号牌、大型汽车号牌（前后车牌）、挂车号牌、使馆车牌、香港入境车号牌、澳门入境车号牌、教练汽车号牌、警用汽车号牌（前后车牌）、拖拉机号牌、军车号牌、武警车号牌、个性化车牌、黑色车牌。

如轿车、越野车、商务车、小型货车、大型货车、轻客、小型客车、大型客车、三轮车、微面、皮卡、挂车、混泥土搅拌车、罐车、随车吊、消防车、渣土车、押运车、工程抢修车、救援车、栏板卡车等类型。

系统支持车辆三级品牌（品牌、车系和款型）识别，其中包括多于160种以上的车辆品牌识别，在识别车辆品牌的基础上，系统支持近千种车辆系列的识别，支持子型号数量大于3000，国内领先。

特有的年检标、车窗贴、挂饰、遮阳板识别能力

系统支持对年检标、车窗贴、挂饰、遮阳板的识别检测，并以不同颜色框加以标识。

驾驶员行为识别

系统支持驾驶员打电话、是否系安全带等危险行为进行识别检测。

5.6.人脸结构化单元

人脸结构化单元是视频结构化分析平台的业务处理单元，人脸结构化单元采用人脸智能识别技术和先进的图像识别算法，对实时视频流、录像文件以及图片中人脸的特征信息提取，并识别出年龄、性别、表情、种族等的相关特征信息。

实现对视频图帧中人脸信息（年龄、性别、表情、种族等）进行自动检测、自动识别的功能。

人脸特征识别单元采用人脸智能识别技术和先进的图像识别算法，对视频流及图片中人脸的信息提取，并识别出的相关信息。

1）性别信息识别

区分男性、女性

2）年龄识别

能准确识别出具体的年龄

3）种族识别

能区分黄种人、黑种人、白种人。

5.7.前端要求

为保证从视频中能准确的提取车牌和对提起后的车牌进行识别，对提取车牌的摄像机架设有如下要求：

1、高清视频流（25/30fps@1920×

1080pixel）。

2、具备自动曝光补偿、强光抑制、宽动态、自动白平衡。

3、适应角度：

车辆显示完整，车辆正面与摄像头法线方向的左右倾斜在20度以内，上下倾斜角度小于15度。

4、车牌识别时，车牌聚焦清晰区域处的环境照明在白天必须大于200lux，夜晚必须大于100lux。

5、车牌像素要求90-160像素点，无逆光、曝光过度、车牌图像太暗等。

6、支持各种车牌识别：

民用车牌（92式）、民用货车车牌（双排黄车牌）、民用车牌（2002个性化车牌）、警车车牌、武警车牌、军车车牌（2005式）。

7、识别车牌号码的时间≥100ms移动车辆，车牌检测正确率>

95%；

汉字识别正确率>

90%、字符位识别率大于>

95%、全车牌识别正确率>

90%。

a）摄像机架设要求

设备安装位置与角度应避免出现强逆光、反光等情况。

当同一个摄像机抓取两个车道时，立杆应根据现场勘测架设于中间区域，满足两车道提取的准确率。

如下现场布局侧视图所示。

为保证从视频中能准确的提供人脸和提起后进行人脸比对识别，对提取人脸的摄像机架设有如下要求：

摄像机架设要求

距地面2.5m左右，使得俯视人脸15度以内。

摄像头到人脸的距离6米左右。

地面2m以内的对焦宽度，监控人脸宽度至少占画面宽度的1/8，人两眼之间距离60像素以上。

背景尽量不要有太复杂颜色图案，单色、浅色为宜，尽量不要有玻璃等强反光物品。

如下图所示：

摄像机架设示例

b）光线要求

光线均匀，亮度保持200lux左右，避免有逆光、强光和阴阳脸的情况。

若光照达不到要求，需在系统正对被拍摄正面采用白色光源进行补光，亮度控制在200-900lux。

c）照片采集要求

抓拍的人脸照片清晰、完整。

6.数据存储

6.1.概述

视频大数据资源信息库是视频图像存储、管理的综合平台。

支持创新的QPI硬件架构，支持海量级视频、图片、数据的管理。

视频大数据资源信息库采用SOA体系结构，以及多媒体数据库（MD）、分布式存储和云计算架构、流媒体播放等先进技术，不但使系统具有更好的可用性、可维护性和扩展性，同时保证了对视频、图片、数据的高效访问，低资源占用，大大提高特征数据的交互性。

6.2.功能设计

6.2.1.数据存储

支持对上传的结构或非结构化数据提供云存储,主要体现在以下三个部分：

多节点扩容能力：

当磁盘容量不够时，可以灵活的增加数据节点，简单实现扩容。

文件分块存储：

对大文件进行分块存储，把一个大的数据文件自动切割成成千上万个小的文件块,均匀的散个各个存储节点上,通过并行的方式进行存储,读取时,分别在多个存储节点上读取,减少磁盘IO操作并且可以在数据所在的节点上并行地处理数据，数据处理迅速。

自动容灾：

平台支持能自动对数据进行多份复制，当磁盘有坏道或数据丢失的时,系统自动的在其它存储节点上去获取文件,对丢失的文件进行修复，自动重新恢复文件,达到数据节点相互备份的目的。

6.2.2.数据服务

通过封装SDK提供以下主要服务：

全文检索

对视频大数据资源信息库中存储的所有数据提供全文检索功能，即当用户录入数据后,将数据按查询条件和关键字进行归类并建立索引,当用户进行检索时,系统提供强大的检索功能,可以根据内容进行多角度多侧面的利用数据信息资源,方便快捷得获取到自己想要的信息。

文件下载

对用户需要进行存储和管理的文件进行上传和下载功能,对上传到库中的视频文件进行快速下载或播放,图片文件进行放大缩小以及浏览功能。

流媒体服务

系统内置流媒体服务，对用户上传的视频,音频以及多媒体文件,以流的方式在网络中进行传输,相对于下载后观看的网络播放形式而言，流媒体的典型特征是把连续的音频和视频信息压缩后放到网络服务器上，用户边下载边观看，而不必等待整个文件下载完毕。

6.2.3.系统管理

用户管理：

实现用户的创建、修改、删除等操作，并可对用户赋予相应的角色权限，从而控制用户查看库中数据的权限；

角色授权：

实现系统角色的创建、修改、删除等操作，并可对角色赋予相应的功能权限，从而控制用户在系统中的功能权限；

置顶配置：

用户可从库中选择数个重点事件作为首页置顶显示，并可对置顶的内容进行维护；

用户组管理：

实现用户组维护，并可对用户组的成员进行维护，在信息审核时，选择相应的用户组，从而确定事件、视频等信息的共享范围；

基础数据：

实现单位信息、案件字典、人车物字典信息的管理。

6.3.存储设计

存储设计方案：

✧目标结构化；

1天每路：

3.5G

✧车辆结构化；

1天每路（或者1天每路10万辆车计算）：

3.2G

备注：

视频结构化分析平台：

目标结构化按40路90天存储：

3.5G×

40路×

90天÷

1024G≈12.6T

车辆结构化按120路90天存储：

3.2G×

120路×

1024G≈34.6T

必须按3倍冗余进行设计。

12.6T+34.6T≈47.2T

47.2T*3=141.6T

单台设备存储不超过48T

共需要的设备数量为：

141.6T÷

48T=3台

7.数据应用

从视频数据的数据量增长的角度，随着公安业务及视频技术的不断发展，视频数据在公安业务中所占的比例将越来越重，这势必对视频大数据应用的吞吐能力及处理性能提出了很高的要求。

系统致力于跨警种、跨系统的视频相关数据分析处理、研判排查，致力于非结构数据加工和数据挖掘等深层次的数据应用。

大数据综合业务应用平台提供视频综合分析业务应用，实现智能检索、车辆大数据、人脸大数据、人物大数据等功能，满足不同业务部门应用需求。

7.1以图搜车

破案过程中，搜集到的案件线索很有可能是嫌疑车辆的一张或多张图片，基于此种情况下，系统能够借助车辆的全面车体特征和局部特征从而对目标车辆进行有效检索，在最短时间内锁定其行踪。

支持通过浏览按钮选择需要上传的目标车辆图片。

以图搜车结果对比图片显示

7.2人物大数据

7.2.1人物综合查询

系统对日常业务所接入的实时源和离线源等视频/图片数据，进行特征提取分析及识别，对目标人物结构化信息（包括性别、年龄、方向特征、衣服颜色、背包、拉杆箱等）进行存储。

查找人物的时候，通过WEB客户端，提交性别、年龄、姿态特征、衣服颜色、背包、拉杆箱等及进过时间段等信息对识别结果进行部分/组合查询。

系统支持对目标任务进行精确查询和模糊查询。

7.2.2人物检索

7.2.2.1人形检索

将嫌疑人的截图输入至系统中，利用人形检索的功能，系统会根据目标嫌疑人的衣着、颜色分布、体态