视频结构化方案设计方案.docx
《视频结构化方案设计方案.docx》由会员分享,可在线阅读,更多相关《视频结构化方案设计方案.docx(13页珍藏版)》请在冰豆网上搜索。
视频结构化方案设计方案
1.1.技术方案
1
2
3
4
5
6
6.1
6.2
6.3
1.1.1.建设背景
随着经济的迅速发展,城市建设速度加快,城市常驻人口连续增加,人员流动频频,惹起了一系列的社会治安等城市综合管理问题,给社会管理工作带来了严重的挑战,特别是随着反恐保安形势的日益严重,党中央、国务院和相关部委已将视频应用建设定位到保护国家安全和社会牢固的高度,连续深入推进我市视频应用建设势在必行。
一是贯彻落实上级决策部署的必然要求。
习近同样中央领导同志就加强公共安全、社会立体化治安防控作出了一系列指示批阅。
国家发改委、中央综治办、公安部、财政部等9部委办下发《关于加强公共安全视频监控建设联网应用工作的若干建议》(发改高技[2015)996号),要求到2020年重点公共地域视频监控覆盖率达到100%,新建改建高清摄像机比率达到100%,重点行业、领域的重要部位视频监控覆盖率达到100%。
国家、省都将视频监控建设列入“十三五”规划,每年都将之作为为民办实事的重要内容之一。
我市应抢抓时机,迅速立项建设。
二是推进社会管理的现实需要。
政府出资安装公共摄像头,视频摄像头总量与城镇规模不断扩大、流动人口的日益增加、推进城乡一体化发展和日益复杂的维稳、治安、反恐形势等对视频摄像头的需求极不相当。
必定加大中心城区建设密度,同时向城市界线地域、社区街巷、居民小区、乡村路口拓展延伸。
三是深入应用的技术保障。
当前,科学技术和信息化已成为推进工作的重要手段,要实现应用的最大化,需要对部分平台系统升级改造,启动新平台建设,以便充分运用数据挖掘、人像比对、车牌鉴别、智能预警等现代技术,进一步提升视频图像信息的综合应用水平,保障视频图像安全,实现视频图像加密管理。
1.1.2.需求解析
1
2
3
4
5
6
6.1
6.2
6.3
6.3.1
6.3.2
●储藏轻量化
视频数据经过结构化办理,输出形式为图片甚至文本,所占用的空间约为原始数据占用量的1%到2%,极大的减少了数据对储藏空间和传输带宽的压力,便于数据的使用。
经过边缘计算的方式,在前端监控上部署结构化智能盒子,实现在监控前端就完成视频数据的结构解析,防备了海量视频数据的回传给网络带宽带来的巨大压力。
回传回来的经过结构化提取的图片后,再经过结构化鉴别应用服务集群的鉴别和解析,从而达到吻合实战的目的。
于此同时,关于一些特别场所需要将原始视频回传进行结构化解析的场景,我们同样供应完成的视频回传网络,从而保证业务需求和应用的全面性。
●大数据架构
经过大数据架构来搭建后台硬件储藏环境,经过引入分布式对象储藏、分布式列数据库设计、分布式计算引擎设计等技术,实现数据的有效储藏、高效检索等。
●数据标准化
平台依照公安视频图像信息数据库拟定的规范要求,依照GAT1399,GAT1400规范进行接口协议的封装,支持标准化的结构化数据储藏和检索,同时还支持标准第三方视频流的接入和标准结构化任务调换接口。
●应用多样化
本次系统的设计,不但满足的视频侦探中所需要的结构化解析功能、文本特点找寻功能、矢量特点搜图功能、统计盘问功能。
除此之外,我们还基于海量结构化数据信息,提出了一些新式合用吻合实战的技战法。
系统内嵌应用管理程序,能够供应数据检索、以图搜图、目标种类解析等各样丰富功能,并支持成立可满足公安、交通、教育、旅游、金融等行业需求的多场景的应用。
1.1.3.建设原则
●扩展性
系统采用灵便、开放的模块化设计,赐予结构上极大的灵便性,为系统扩展、升级及可预示的管理模式改变留有余地,能够很好地随业务系统未来的扩大和变化进行横向或纵向的扩展提升资源的利用率。
且系统支持与公安各业务子系统对接,实现信息共享。
●开放性
系统依照相关的标准、规范进行设计,采用通用、规范和安全的数据通讯协讲和接口,为卡口系统与其余系统的对接集成供应开放性的数据接口,保证道路信息高度共享。
●规范性
控制协议、传输协议、接口协议、视频编解码、文件格式等吻合相应的国家或行业标准,防备规模推行后期调整风险的同时,亦能够为数据交换与信息共享成立标准化沟通渠道。
●先进性
在系统设计过程中,充分借鉴、利用国内外的先进技术和成功经验,在系统结构和设备选型上精益求精,将高清成像技术、智能视频检测解析技术、摄像机内嵌车牌鉴别等代表行业发展趋势的先进、成熟技术有机结合在一起,设
●可靠性
考虑系统全天候实时性需求,设计时充分考虑系统的高可靠性,采用高集成设备,采用自动检测、自动监控、自动报警、单点自愈、冗余配置、负载均衡等技术来有效地保证系统的高可用性和可靠性。
●易用性
系统从满足公安实战需要出发,系统采用简洁、友好的人机界面,拥有多媒体化操作设计,前端设备支持远程升级和远程故障消除功能,保护便利,降低系统运维管理成本。
同时可自动检测系统中设备的运行状态,并示出详细参数,以协助管理人员实时正确地判断和解决问题。
1.1.4.视频结构化
视频结构化是一种视频内容信息提取的技术,它对视频内容依照语义关系,采用时空切割、特点提取、对象鉴别等办理手段,组织成可供计算机和人理解的文本信息的技术。
从数据办理的流程看,视频结构化描述技术能够将监控视频转变为人和机器可理解的信息,并进一步转变为公安实战所用的情报,实现视频数据向信息、情报的转变。
视频结构化技术紧紧抓住视频内容信息办理和网络化共享应用的主线,行业力争经过若干年的技术攻关和系统建设,全面实现监控视频信息的情报化、视频监控网络的智慧化,加强警务视频应用的普适性。
即实现以机器自动办理为主的视频信息办理和解析,并且经过技术手段转变为公安工作可用的情报;实现监控网络之间、终端之间、警种之间的信息共享和主动互操作,实现主动监控、自动联网解析等网络功能;全方向拓展视频在警务工作中的应用模式,大幅度提升技术的易用性,实现以业务民警为中心的随时随地的灵便、简单、多样的视频按需服务应用。
除了公安行业,视频结构化技术的应用途景也在智能交通张开来。
当前电警卡口在图侦上的应用需求和频率早就超越了交警,因为案件基本都要与车辆发生联系,这能找出很多的线索。
而卡口电警关于车辆的抓拍角度是相对固定的,能够开发出相应的车辆特点鉴别技术,电警卡口属于业务需求和技术实现的一个很好的般配点。
这就是视频结构化的应用储备,国内有部分厂家已经开发出的摄像机能打破平面图像特点的限制,获取更精准的三维系信息,如人体数量,高度,物体长度等。
在视频结构化描述的内容方面,公共安全关注的视频信息主若是:
人员、车辆、行为。
在视频中把人作为一个可描述的个体展现出来,其中包括人员的面部精准立位、面部特点提取、面部特点比对,人员的性别、年龄范围、大体身高、发饰、衣着、物品携带、步履形态等多种可结构化描述信息;关于车辆的描述信息包括:
车牌、车颜色、车型、品牌、子品牌、车贴、车饰物信息等多种车辆描述信息;关于行为的描述信息包括:
越界、地域、徘徊、遗留、齐聚等多种行为描述信息。
第一,是视频查找速度获取极大的提升。
视频结构化此后,从百万级的目标库中(对应数百到一千小时的高清视频)查找某张截图上的行人嫌疑目标,数秒即可完成;千万级目标的库中查找,几分钟即可完成(若是实现云化,速度会更快)。
在结构化基础进步行检索盘问,能够解决迅速目标查找问题。
其次,是储藏容量极大的降低,经过结构化后的视频,储藏人的结构化检索信息和目标数据不到视频数据量的2%;关于车辆,不到1%;关于行为降得更多。
储藏容量极大地降低,能够解决视频长远储藏的问题。
最后,视频结构化能够盘活视频数据,可作为数据挖掘基础,视频经过结构化办理后,存入相应的结构化数据库房,对各样的数据库房能够进行深度的数据挖掘,充分发挥大数据作用,提升视频数据的应用价值,提升视频数据的解析和展望功能。
1
2
3
4
4.1
4.2
4.3
4.4
4.5
1
2
3
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3.1.4.1目标智能鉴别
支持对监控视频中的行人信息进行结构化解析。
主要包括区分男、女性别,区分少儿、青年、中年、老年等年龄段,区分黑、灰、棕、蓝、红、白、绿、黄、紫等上下衣颜色,区分正面、侧面、反面等人脸角度,区分胖、瘦、正常等人员体态。
支持对监控视频中的车辆信息进行结构化解析。
主要包括区分有、无车牌号码并鉴又名牌号码功能,区分白、灰、黄、绿、蓝、红、棕、黑、银、橙等车身颜色,区分轿车、越野车、商务车、面包车、皮卡车、小型货车、大型货车、小型客车、大型客车、非灵便车、新能源车等车辆种类并鉴别车辆品牌、型号、年款等;区分车辆年检标志、纸巾盒、挂坠、摆件、遮阳板等车辆局部特点。
支持对监控视频中的驾乘人员进行结构化解析,提取驾乘人员特点。
主要包括区分男、女性别,区分少儿、青年、中年、老年等年龄段,区分黑、灰、棕、蓝、红、白、绿、黄、紫等上下衣颜色,区分可否背包、可否戴口罩、可否戴帽,区分二轮车(摩托车、自行车)、三轮车等驾乘车辆种类。
3.1.4.2智能算法解析
原始的视频实际上是一种非结构化的数据,其中的目标只能直观的观看,不能够直接被计算机读取和鉴别。
视频结构化就是将视频这种非结构化的数据中的目标贴上相对应的标签,变为可经过某种条件进行找寻的结构化数据。
视频结构化的叫法有很多,如视频目标属性解析、车辆结构化、行人结构化、骑行结构化、人脸结构化、视频矢量解析、视频智能解析、视频内容检索解析、视频内容语义解析、视频机器学习应用等。
视频智能办理经过了三个阶段,第一阶段是单兵设备,第二阶段是视频分布式办理,第三阶段就是视频结构化。
前两阶段的特点是视频解析跟业务是耦合的,这在视频量小、业务相对简单时是适合的,但难以满足海量视频解析和日益复杂的业务需求。
随着视频大数据时代的到来,需要一种解决方案,将视频智能解析与业务解耦,一个专注于海量视频的智能解析,一个专注于大数据的解析办理和用户的业务需求。
视频结构化发展又分为两个阶段:
第一阶段是目表记别与轨迹提取:
l采用目标检测、特点提取、对象鉴别、深度学习平解析手段提取视频图像中的目标对象及运动轨迹。
l对目标对象进行分类为人、车、物、行为、事件等不同样种类。
将视频进行结构化解析,视频会解析以下结果:
把目标做人、车、物分类,生成快照索引信息:
提取活动目标的轨迹信息
有了如上两类结果此后我们就可以做视频的找寻应用了。
人、车、非灵便车均分类找寻。
轨迹找寻:
2.1)经过目标运动轨迹进行找寻:
拌线、运动方向、运动地域等
2.2)经过主颜色找寻目标
2.3)支持输入图片,经过目标外观进行相似度找寻
优点:
1)多种找寻方式:
种类找寻、轨迹找寻、颜色找寻、以图搜图。
2)颜色更正:
战胜不同样摄像头的偏色问题
第二阶段是二次结构化:
l进一步提取目标的高层特点包括目标颜色特点,分类特点,速度特点等,并把目标的轨迹信息以及高层特点形成高效的索引数据。
l行人、人骑车、灵便车结构化。
二次结构化能够说是有智的飞驰,在原有目标分类的基础上,能够做更多的工作,支持的属性更多,视频搜过的召回率、正确率获取大大的提升,详细我们看一下针对行人、人骑车、灵便车的结构化。
行人结构化:
人骑车结构化:
汽车结构化:
优点:
1)算法全面基于深度学习,找寻性能显然提升。
2)可找寻的矢量特点值更多,从而提升召回率、正确率。
以图搜图:
对选定视频点位、时间段内的视频进行结构化办理,并对结构化此后的人物目标进行以图搜图式特点检索,可依照行人目标图片,从设备的信息储藏单元找寻相似的行人目标;支持二次级联搜图,搜图结果能够关系至对应的案件或导出。
对选定视频点位、时间段内的视频进行结构化办理,并对结构化此后的车辆目标进行以图搜图式特点检索,可依照车辆目标图片,从设备的信息储藏单元找寻相似的车辆目标;支持二次级联搜图,搜图结果能够关系至对应的案件或导出。
对选定视频点位、时间段内的视频进行结构化办理,并对结构化此后的骑行目标进行以图搜图式特点检索,可依照骑行目标图片,从设备的信息储藏单元找寻相似的骑行目标;支持二次级联搜图,搜图结果能够关系至对应的案件或导出。
语义搜图:
对选定地域、时段内的视频进行结构化办理,并对结构化此后的人物进行文本特点组合式检索,支持选定性别、年龄、姿态、背包、上衣、下衣、方向、眼镜、手提包、打伞等特点值检索;搜图结果能够关系至对应的案件或导出。
对选定地域、时间段内的视频进行结构化办理,并对结构化此后的车辆进行文本特点组合式检索,支持选定车牌号码、品牌、种类、车系、车身颜色等特点值检索;搜图结果能够关系至对应的案件或导出。
对选定地域、时间段内的视频进行结构化办理,并对结构化此后的人物进行文本特点组合式检索,支持选定性别、年龄、种类、种类、上衣、遮阳伞、带头盔、头盔颜色、挂牌等特点值检索;搜图结果能够关系至对应的案件或导出。
3.1.4.3产品整体性能
1、支持并行办理高清视频能力
可同时并行结构化解析高清视频任务数,最少支持8路视频并发办理,批量提交高清视频,可同时并行结构化解析的高清视频任务数的高清视频,指的是视频分牌率为1920x1080p的视频。
2、单个高清视频文件办理速度
单个高清视频文件从提交到解析完成所需要的时间(速度=视频总时长/解析耗时),解析速度快,可达12倍速,在视频分辨率为(1920x1080)像素(关注人、车、人骑车目标数达到2000),帧率为25fps的条件下:
单个任务:
时长1小时左右的分率为1920x1080原视频、分类检索行人、汽车、人骑车以及目标特点属性鉴别,耗时不高出5分钟。
3、支持多个高清视频文件迅速办理
多个高清视频文件从提交到解析完成所需要的时问(速度=Nx单个视频总时长/解析耗时)。
解析速度快,可达16倍速。
在视频分辨率为(1920x1080)像素(关注人、车、人骑车目标数达到2000),帧率为25fps的条件下:
多个任务(如32个视频任务):
即视频时长32小时左右的分辨率为1920x1080原视频,分类检索行人、汽车、人骑车以及目标特点属性鉴别,耗时不高出2小时。
▲5、支持行人特点属性鉴别
支持行人多种特点属性鉴别,支持行人14种属性鉴别,支持行人性别、年龄段、上衣/下衣颜色、上衣/下衣款式、姿态、可否背包、戴眼镜、拎包、打伞、戴帽子、戴口罩、发型等属性的鉴别。
▲6、支持骑行人特点属性鉴别
支持骑行人多种特点属性鉴别,支持骑行人9种属性鉴别,支持骑行人性别、年龄段、上身颜色、可否戴头盔、头盔颜色、可否戴口罩、可否挂牌、骑行车车款、骑行车种类等属性的鉴别。
▲7、支持车辆特点属性鉴别
支持车辆多种特点属性鉴别,支持车辆14种属性鉴别,支持车牌号码、车辆品牌、车辆子品牌、车牌种类、车牌颜色,车身颜色、车型、可否系安全带、可否有遮阳板、可否打手机、可否撞损车辆、可否危险品车、挂件、纸巾盒等属性的鉴别。
▲8、支持以人形图在单个视频中搜行人
输入某一人员目标视频截图,此人员在一个或多个原视频中出现,并衣着同样,在单个视频中找寻人员,检出结果按相似度排序,Top10命中率≥90%。
▲9、支持以人形图在多个视频中搜行人
输入某一人员目标视频截图,此人员在一个或多个原视频中出现,并衣着同样,在多个视频中找寻人员,检出结果按相似度排序,Top100命中率≥80%。
▲10、支持视频回溯
点击目标能够回溯其在原始视频中的搬动轨迹,系统自动把视频中出现的单个目标分类检索,点击单个目标快照,能够看到动向注明的该目标出现消失的一小段片段。
11、支持案件管理
包括案件基本信息、图侦线索、目标轨迹,支持案件的增改正查,将有价值的图片或视频增加为线索,系统依照线索的时空信息在离线Gis地图上自动生成目标的搬动轨迹,并可生成word形式的案件报告。
12、硬件参数
(1)显示LCD尺寸15.6英寸,分辨率1920*1080;
(2)CPU:
参照或相当于英特尔酷睿i7-8750H;
(3)GPU:
参照或相当于NVIDIAGeForceGTX1070(Laptop);
(4)操作系统:
参照或相当于Ubuntu16.04.3桌面版;
(5)内存:
32GDDR42400;
(6)硬盘:
1T机械硬盘、256固态硬盘;
(7)网卡:
千兆网口。
1.2.售后服务承诺
针对本项目的售后服务,我公司作出以下售后服务承诺。
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
12.1.
12.2.
12.3.
12.4.
12.5.
12.6.
12.7.
12.8.
1
2
3
4
5
6
6.1
6.2
6.3
6.4
6.5
1.2.1.产品运输及保留
我方负责产品到施工地点的全部运输,包括装卸及现场搬运等;负责产品在施工地点的保留,直至项目查收合格;;负责其派出的施工人员的人身不测保险。
1.2.2.质量保证
1.我公司郑重承诺:
技术参数要求表中如无特别要求,则质保期为自查收合格之日起一年,技术参数要求表中有特别要求的则以技术参数要求表为准。
质保期内免费上门维修、免费更换零部件。
2.属于国家规定“三包”范围的,其质量保证期不得低于“三包”规定。
3.质量保证期承诺优于国家“三包”规定的,或优于谈判文件规定的,按成交供应商实质承诺履行。
4.合同产品或服务由制造商(指产品生产制造商或服务实质供应人)负责标准售后服务的,应当在响应文件中予以明确说明。
1.2.3.售后服务技术支持
1、售后服务:
(1)按国家相关产品“三包”规定履行“三包”;
(2)免费送货上门、安装调试,质保期内免费保修;
(3)接到故障通知后1小时内响应,8小时内派认证工程师到达现场,12小时内解决问题,12小时内仍无法解决问题的,供应同样性能参数的备件替用,保证网络正常运行;
(4)如期回访以及维修;
(5)质保期内全部设备免费上门维修服务、免费更换零部件、免费软件升级;
(6)供应平生保护;
(7)其余按厂家承诺进行。
2、免费培训:
成交供应商负责进行现场培训,内容包括设备及软件操作、保护,使技术操作人员能够熟练掌握平常使用,以及安全管理培训、入网培训、保密培训等,培训时间很多于2个工作日。
3、免费安装调试:
成交供应商负责本项目的安装、调试,并负责与用户原有系统的互联互通调试,保证与用户原有系统的联通,业务实现无缝对接。
需要原厂工程师进行安装的部分,协调原厂工程师进行现场安装。
4、供应7×24小时技术支持服务;
5、成交供应商必定免费供应完满的设备使用手册、操作培训手册、保护手册。
6、成交供应商在维保期间必定履行维保职责,维保期过后实时联系相关部门,将系统纳入公安厅运维中心一致管理。
1.2.4.培训服务
我司对供应的产品和服务的使用和操作应尽培训义务。
供应对采买人的基本免费培训,使采买人使用人员熟练掌握所培训内容,熟练掌握全部功能。