大数据资源服务平台.docx
《大数据资源服务平台.docx》由会员分享，可在线阅读，更多相关《大数据资源服务平台.docx（55页珍藏版）》请在冰豆网上搜索。
大数据资源服务平台
大数据资源效劳平台
设备清单及技术参数
一、货物清单
序号
产品名称
内容
单位
数量
1
全文检索系统
1.全文检索基于聚集库和全文库,提供片段信息的全文式检索及全景电子档案展现；
2.提供全部资源检索、档案检索等全面智能的检索方式和深度立体的检索方式；
3.提供撞线分析、效劳资源检索等高级个性检索方式.
套
1
2
应用门户系统
1.提供个人门户、应用超市、应用导航功能并实现单点登录功能；
2.与公安PKI/PMI系统无缝对接,实现用户身份统一认证；
3.提供独立的权限治理流程、应用发布、应用审核、应用统计治理、数据平安性治理和日志治理.
套
1
3
根底专题关系应
用软件
对本市米集的社会数据进行专题分析,创立专题库以及对应
的专题分析模型.
套
1
4
聚集库建设效劳
建设聚集库,形成数据集市体系,聚集、清洗、标准化平顶
山市公安内外部数据〔结构化数据/、少于6T,不少于60亿
数据；照片及非结构化数据；社会单位数据等〕；按需建设
全文库、多个专题库和碰撞库等支撑应用展现
套
1
5
数据资源目录管
理系统
1.公安标准梳理〔限定词、数据元、代码等〕.2.根据公安标准对数据进行对照,结合相关信息编目,形成标准目录〔不少于900个标准目录〕
3.统一注册各种类型的数据资源
4.对数据质量、数据运行情况、数据追溯进行治理
5.包含商业版数据资源治理系统1套
套
1
6
数据资源监管系
统
1.提供大数据ETL整合工具,对各类源头数据库、文件及其它数据类型进行数据抽取,并在过程中进行清洗转换,将结果写入聚集库.
2.对ETL进行集中调度和监控〔不少于1500个ETL任务〕
3.包含商业版数据整合治理系统1套
套
1
7
资源效劳总线系
统
1.主要实现对本地应用的统一接入,减少应用系统对底层数
据库的直接访问,提升数据平安性,解决全市以及协作区域间信息效劳资源的简便对等开放、共享标准标准、本地信息
资源集中治理、面向应用效劳的统一接入、高可用效劳支撑
水平、平安审计等系列问题.
2.提供对应的查询、比对、交换、布控效劳接口.
3.对总线开放的节点、目录、资源、进行运行监控、日志管理.
4.提供平台级别间对接.
5.商业版资源效劳总线系统1套.
套
1
8
运维效劳
1、公安内外部数据进行数据拉通的数据实时运维及巡检工
作；
2、负责维护数据交换,保证旅馆、网吧、卡口等数百个数据交换的正常运行,保证交换数据能正常汇入资源库；
3、提供两年一人驻场运维效劳,第三年远程支持.
年
2
9
互联网信息采集
系统
结构化数据导入
1、开发结构化数据导入程序,并定义结构化数据的标准格式.
2、将根据标准格式整理的结构化数据导入程序并保存在公安网聚集库中.
套
1
3、实现导入异常预警,和异常准确定位的功能.
零散线索情报录入
1、开发零散线索情报录入程序,并定义录入的格式.
2、工作人员在完成零散情报录入工作的同时,将涉及的嫌
疑人员、录入人员等相关人员信息录入在程序并保存在公安网聚集库中.
采集数据源扩展
提供多种可靠采集技术手段,支持扩展多种数据源头采集工作.如物流信息、汽车租赁、就医信息、景区信息、征地纠纷、担保受损、涉民教师等.
大数据辅助决策平台
结合公安工作现状及后续工作需求,定制开发大数据辅助决
策平台,通过定制开发多个专题信息大屏动态展示我市治安防范水平,打击犯罪水平,社会治安治理和社会数据资源整口成果等.
10
社会数据研判预
警系统
1、实时布控：
通过上传需要比对的人员数据,与本地重点人员名单、本地库、请求全国效劳数据或其他地市协同数据进行比对,系统比对完成之后,自动将比对结果以消息推送的形式传递.
2、数据采集：
对结构化数据、图片、视频等类型的数据上传,数据实时传送至资源库.
3、比对预警：
通过app的比对功能自主比对,自主比对以本地重点人员名单和本地库为依据,比对结果实时显示预警.
4、拓展应用：
通过提供开放性的API接口以供后续人像应用、电子签章应用、图片应用、音频应用、视频应用的接入,提供对接.
5、预警布控数据范围包含社会数据采集的相关数据和公安部门指定的数据.
6、与本地重点名单和本地库数据实时比对.
7、与全国请求效劳和其他地市协同数据延时比对.
8、通过本地库或本地重点人员名单比对完成的结果可通过效劳总线进行分发共享.
套
1
11
数据对接中转机
通过对接采集点数据源进行数据抽取,并将数据上传至前置
效劳器.
台
10
12
前置效劳器
米集点数据聚集载体,安装数据库用以接收外来数据,安装
数据抽取/接收程序.
台
4
13
防火墙
对流经它的网络通信进行扫描,能够过滤掉一些攻击,以免
其在前置效劳器上被执行.防火墙还可以关闭不使用的端口.而且它还能禁止特定端口的流出通信,封锁特洛伊木马.
最后,它可以禁止来自特殊站点的访问,从而预防来自不明
入侵者的所有通信.
台
1
14
人像数据采集终
端
采集人员身份证信息及现场人像拍照信息.
套
20
15
万兆交换机
本工程交换机配置为24个10GESFP+口〔配置8个10GESFP+
光模块〕,配置交流双电源
台
1
16
终端采集路由器
主要应用于数据库不在信息米集点〔商家〕本地的实例中.
功能是信息采集点〔商家〕部署终端采集路由器,通过对经过路由器的报文进行深度分析,并抓取有用的社会信息.
个
20
二、详细技术参数要求
序号
货物名称
技木参数
详细技术要求
1
全文检索
系统
★全文数据支撑
提供不少于30亿数据或不少于600项标准数据资源,并提供不少于800
个ETL任务以增量任务形势将数据资源配置进入全文检索系统.
提供进入全文检索系统的所有数据资源的检索功能,不少于600项资源独
立检索；提供人员关系计算同户人、同住宿、同上网、同机构分析时,每
项不少于200万数据参与计算；车辆行车轨迹、人员出行、留宿轨迹分析
时,每项不少于200万数据参与计算.
提供不少于600项标准数据资源,每个资源不少于20个字段的查询权重
设置.
提供不少于600项标准数据资源,每个资源/、少于20个字段的查询权限
设置.
★技木要
求
要求采用分布式全文索引技术,为根底数据资源建立全文索引,满足对基
础数据资源任意字段和全部字段的模糊检索需求.
要求采用HADOO技术架构建设对象专题库,可以根底数据资源按专题〔如
人员、案件前科等〕进行分类重组整合相关信息.
支持智能识别、智能提示、语义分析和行为分析等智能化设计.
异地对接
要求与请求效劳系统对接实现异地搜索,需提供页面功能截图.
要求与资源效劳总线系统对接实现与异地公安搜索系统进行联盟搜索需提供页面功能截图.
全部搜索
要求针对资源、对象、图片等维度的数据资源进行关键词检索,系统后台自动进行相关度计算,并分别将这些维度返回的匹配结果进行分类展现,需提供页面功能截图.
资源搜索
要求针对本地资源和异地资源提供全部资源的模糊搜索、单个资源的条件
搜索功能,以及针对异地共享效劳资源提供请求效劳查询功能,将返回命
中资源目录和命中资源记录给用户,需提供页面功能截图.
对象搜索
要求针对本地、联盟对象提供全部对象类型和特定对象类型的搜索功能,命中结果按对象类别〔人、车、案、组织机构等〕分别展现其相关的根底信息、相关度分值、关注人数等信息给用户.同时能提供对象关注功能,及时推送关注对象的最新动态给关注用户,需提供页面功能截图.
照片搜索
要求基于检索关键字针对接入的照片相关文本信息进行检索,并返回相关
的人员照片以浏览视图方式进行展现；支持对接第三方的人像比对效劳,
需提供页面功能截图.
专题档案
要求支持数据资源按专题〔人、案件前科等〕进行分类重组,采用“一人一档〞的展示模式,实现对数据的关联组织与档案式呈现功能.超级档案的信息内容丰富,具备高价值的特点.以人员专题为例,主要分为根本情况、案件信息、人员关系、活动轨迹五个展示模块,需提供页面功能截图.
轨迹分析
基于人员、车辆等信息,实时计算出的当前轨迹落点,并依靠GIS地图动
态活泼在地图中,需提供页面功能截图.
撞线分析
系统会针对检索内容进行分类预警,如某一时间段对某一人员或物品进行
屡次检索的预警提示,需提供页面功能截图.
搜索引擎
要求基于搜索效劳接口,响应智能搜索系统客户端或第三方应用发起的搜索请求,搜索引擎依据参数执行搜索任务后返回结果给请求方.
分层索引
索引构建：
要求基于Lucene实现索引构建,通过特殊的索引结构〔资源、对象〕实现传统数据库不擅长的全文索引机制,将数据源中的数据结合分词建立倒排索引,并依据具体的部署情况在搜索引擎效劳器生成各层索引.
索引入库：
要求基于索引构建,通过任务调度引擎全量或增量生成资源、对象索引并保存到搜索引擎效劳器.
系统治理
根底治理：
要求提供给用和数据效劳器的登记治理和集群治理功能,并可针对全文库节点和索引节点进行维护.
模型治理：
要求针对本地数据模型的结构和分类提供维护治理功能.
索引治理：
要求针对资源、对象索引的构建任务情况和数据量情况提供监控功能.
日志治理：
要求针对采集的日志信息,提供用户登录和相关操作日志的查询功能.
统计治理：
要求针对本地资源、对象提供种类、总量、增量统计信息的查询功能,以及在线用户数和系统访问量的统计信息发布功能.
权限治理：
要求提供系统功能访问、数据访问、对象搜索、档案访问的权限治理功能.
红名单治理：
系统应将红名单信息进行平安级别分类,包括多个等级；同时,对于用户也可进行相应分类,一级用户可以查看一级及以下红名单,各级用户都可查看本级相应红名单.红名单治理主要是根据平台名单中人
员的平安级别进行过滤,从而屏敝普通用户查阅、修改、删除重要人员的信息,需提供页面功能截图.
性能要求
1、精确条件查询,要求响应时间w1秒；
2、模糊条件查询,在1000万条记录条件下,要求响应时间w5秒；
3、全义库入库性能?
10000条/秒；
4、单表数据量1亿以内,单个关键词搜索1秒内返回结果；
5、全库〔100张表以内〕50亿数据量,单个关键词全库搜索3秒内返回
结果,档案主要信息3秒内展示；
6、200个并发搜索卜,响应时间w3秒.
2
应用门户
系统
★对接要
求
在满足实现功能的前提下,提供市局不少于3000个PKI/PMI接入应用门
户系统.
技术要求
米用J2EE开发,米用Html5、JQuery技术,应用模式为B/S
须与公安PKI/PMI系统无缝对接,实现用户身份统一认证
操作日志的存储须满足大数据环墉下的分析应用,所支持的数据库包括常
见的关系型数据库之外,必须支持大数据应用所需的hadoop和MPP数据
库等作为数据源
应用门户须支持以负载均衡设备进行访问负载均衡的方式进行多节点部署
单点登录
支持用户通过公安数字证书登录应用门户,并且在访问应用门户的各项功
能以及应用时,/、冉重复进行登录操作
需完全支持PKI证书登录平台,并能够通过平台访问应用资源.除了证书
登录之外,还需要提供用户名/密码的登录方式,以满足特殊情况下的应用需要,提供页面功能截图
个人门户
提供给每一个用户使用的个人应用门户,用户可以通过应用超市将所需的
应用添加到个人桌面上便于使用,需提供页面功能截图.
应用超市
将用户常用的应用根据使用频度集中展示出来,用户可以自行调整其顺序
和显示位置.此外,用户还能添加新的应用到常用应用中来,需提供页面功能截图.
实现要求
由于现有的数字证书中用户信息内容有限,所以系统获取的证书信息还需
要与警综平台记录的警员信息相结合才能狭取用户的行政区划、组织机
构、警种类别等其他详细信息
门户上发布的应用,可以根据应用名称、下载次数、使用次数进行排序查询
注册申请：
对需要发布到应用门户的应用进行注册登记,登记时须要确定应用的发布方、开发方、运维方和应用的部署信息.
审核治理：
由应用的治理人员对注册的应用进行审批,审批的过程包括应用可用性的检查.经过审核的应用会自动发布到应用超市中供被选择使用.
应用情况监测：
通过系统能够对应用的发布、使用情况进行浏览、查询,能够对使用评价、应用的次数进行统计,能够对应用的状态进行监控.
应用状态监控：
应用是否存活的状态进行监控的治理功能.应用状态的监控需要通过应用预设的状态接口由门户平台后台治理程序自动进行状态检测,并将检测的结果及时记录并反应到应用状态监控界面,以提醒应用的治理和运维人员及时处置状况异常的应用.
平台授权治理主要是指根据平台的实际应用需要,对用户进行使用权限的
授权治理.平台的授权治理与具体应用的授权治理各不相同,平台的授权
治理关注于平台各个组成局部的使用授权,而应用的授权那么主要关注于应
用自身的使用授权,二者之间相对独立,互不干扰,需提供页面功能截图.
系统需提供符合公安部系统操作日志采集标准的操作日志记录功能,并提
供操作日志的查询功能,需提供页面功能截图.
3
根底专题
关系应用
软件
★总体要
求
基于专题数据库,依靠业务逻辑和大数据算法,计算形成权威各类专题数
据资源,并依托数据和算法提供一系列查询、比对接口进行动态监控、运
维和故障处理
专题关系应用提供不少于200个专题关系逻辑计算算子,提供不少于10
个专题关系查询、比对接口.
专题应用
要求提供对本市采集的社会数据进行专题分析,创立专题库及对应的应用
模型.
4
聚集库建设效劳
数据库建
设
根据业务特点选择关系型数据库、非关系型数据库等形式,在此之上构建中央数据仓库、资源库、专题关系库、红名单治理库,完成数据中央聚集库数据库的完整体系
数据资源
梳理
根据公安部相关数据标准标准要求对数据资源进行梳理,经过梳理后,须形成符合公安数据标准标准要求的数据兀、限定词、代码和数据项的标准文档,用于指导后续的信息资源应用
完成对整合后的数据资源库及新建业务应用系统的数据表、数据项的梳理
工作,并在梳理的根底上,完成关键业务的标准数据元、限定词、数据项、
代码的整理工作,并形成符合相关标准标准要求的数据标准文档
数据编目
将经过梳理的数据标准与设计的数据聚集物理表建立逻辑对应关系,形成
数据资源目录,通过数据目录可以明确各个物理表中的物理字段对应的业务数据项,以及业务数据项须参照的数据标准,从而完成数据资源标准体系的建设.数据资源编目的结果是形成作为数据整合的参照和信息资源应用根底的数据资源目录.
★数据资源目录的内容须包含涉及的应用系统根本信息、数据表信息、数
据项信息和数据资源信息以及数据资源与数据项映射关系五项内容约56
个工程,其中涉及?
中华人民共和国行政区划代码?
（GB/T2260）、?
全国
公安机关机构代码编制规那么?
（GA380）、?
公安数据元治理规程?
（GA/T541）、?
公安数据元编写规那么?
（GA/T542）、?
公安数据元?
（GA/T543）、
?
数据项标准编与要求?
（GA/T1053）、?
公安数据兀限定词?
（GA/T1054）
等相关标准标准
对梳理完成的数据进行资源目录编制工作,并最终形成数据资源目录,为后续的相关数据效劳工作奠定根底
★数据整
合
根据省厅和市局的要求和标准进行数据交换工作,充分满足省厅对数据资
源的完整性和及时率的工作考核任务,涉及的业务类型包括卡口、交管、
SIS及各类政府及社会数据等不少于6T,不少于60亿数据信息,涉及的数据来源包括但不限于sqlserver/sybase/oracle等多种结构化数据及文
本、表格等非结构化数据
数据整合工具的运行情况须通过数据资源监管系统进行调度监管
中央数据
仓库
以公安部发布的?
公安数据元系列标准GAT543?
为根底,结合我市业务实
际和数据资源情况进行拓展,形成我市的数据元标准,以满足我市公安跨地区、跨警种、跨系统数据会聚、交换、共享的目标,建设元数据库、基础库
资源库
根据业务特点选择关系型数据库、非关系型数据库等形式,在此之上构建满足信息效劳的资源库.将公安内部数据、外部数据、互联网采集的结构化、非结构化数据整理聚集成为标准化数据统一存放在资源库中,满足全量数据保存、实时数据处理、数据专题分析等应用场景
专题关系
库
专题库将资源库中的数据按要素（人、物、案等要素）进行分类重组,按/、同维度将相关信息整合到专题关系中,专题库的信息内容丰富,具备高价值的特点.以人员专题为例,是将各个业务来源中涉及人员的根底信息、关系信息、涉案信息、疑似关系人、活动信息等信息统一整合在人员专题表中.为应用分析与呈现提供数据支持.
红名单建
设库
在数据库层面将红名单信息进行平安级别分类,包括多个等级；同时,对于用户也可进行相应分类,一级用户可以查看一级及以下红名单,各级用户都可查看本级相应红名单.红名单治理主要是在建立数据库的同时建立查询权限,将红名单中人员的平安级别进行过滤,从而屏蔽普通用户查阅、
修改、删除重要专题库的数据
5
数据资源
目录治理
系统
系统架构
米用J2EE进行开发,应用模式为B/S
技术要求
为实现大数据应用,支持多种数据库作为数据来源进行编目,所支持的源
数据库至少包括：
Oracle、Hadoop、Mppdh需提供页面功能截图,同时
提供商业版数据资源治理系统1套.
★须与公安PKI/PMI系统无缝对接,实现用户身份统一认证
单点登录
支持用户通过公安数字证书登录应用门户,并且在访问应用门户的各项功
能以及应用时,/、冉重复进行登录操作
需完全支持PKI证书登录平台,并能够通过平台访问应用资源.除了证书
登录之外,还需要提供用户名/密码的登录方式,以满足特殊情况下的应
用需要
公安标准
梳理
数据元、限定词、数据项等治理模块的采集项须符合公安数据元编制相关
标准标准
标准对接：
与省部平台对接将上级标准数据快速导入到系统中,为方便标准治理,支持数据兀和代码文件的导入功能,需提供页面功能截图
代码治理：
实现对本级代码数据的新增、检索、查看、编辑、废止等功能,
需提供页面功能截图
数据兀治理：
实现对数据兀的新增、变更、废止、查询等功能,治理的范围包含上级同步的数据兀和自定义数据兀,需提供页面功能截图
限定词治理：
包含对限定词的新增、变更、废止、查询等功能.范围包含
上级同步的限定词和自定义限定词,需提供页面功能截图
数据项治理：
包含对数据项和数据项别名的新增、变更、废止、查询等功能
数据项由限定词和数据兀组成,不问的限定词和数据兀都可以组成数据项.每个数据项都可以有一个或多个数据项别名,需提供页面功能截图
数据资源
目录治理
系统
★数据资源目录治理模块设计须符合公安相关数据资源目录技术标准,提
供不少于900个数据资源目录
包含数据资源目录所需应用系统信息的新增,检索,查看,编辑,废止等功能
数据库资源注册：
设置维护数据资源目录所需的数据库资源信息,数据库
资源注册系统能够自动读取展示出其包含的所有数据表及其字段,治理人
员可以完善各个数据表的描述信息需提供页面功能截图
须与数据资源监管系统无缝对接,数据库资源所需的数据库须从数据资源监管系统的数据库列表中选择,数据资源编目的结果须能够在数据资源监管系统中直接引用
包含数据资源目录的新增、检索、查看、编辑、编制、发布、资源构成查看、废止和启用等功能
通过编制,能够建立数据资源与数据项的映射关系,需提供页面功能截图
自动化数据资源编目：
为方便编目治理,在数据资源编目过程中,能够通过自动匹配实现自动化数据资源编目,需提供页面功能截图
数据资源
检索
能够针对已经发布数据资源目录根据要素、业务分类和来源分类的检索和
查询功能
数据质量评估：
对关系型数据资源进行完整性、唯一性、标准性、值域、字符特征等方面的分析和评估,帮助用户全面掌握根底数据质量情况,快速发现潜在的数据质量问题
数据质量
治理
校验方法治理：
对数据质量校验方法进行维护,支持扩展校验方法以满足
特定的业务逻辑需要
标准规那么配置：
基于标准数据元配置校验规那么,以便在方案配置时可以批量创立校验规那么
根底监测方案：
根据发现的数据质量问题,参照数据标准标准以及业务需求制定质量监测规那么,对数据资源质量进行持续监测.主要监测完整性、标准性、单表逻辑等字段级或记录级问题
数据质量分析：
按业务警种、数据种类、来源单位、时间等条件对数据质
量进行分析统计,包括单位比照分析、时间趋势分析、问题类型分析等等.
支持自动生成并发布数据质量分析报告.支持数据质量问题修复情况分析
数据质量追溯治理：
依托已经形成的数据资源目录,结合相关部、省和市
本级的数据标准和标准要求,从数据信息的准确性、值域范围、唯一性、
必要性和引用代码的标准性等方面对已有的数据信息和采集、会聚中的数
据信息进行全面的动态化数据质量监管,使数据信息治理部门随时了解数
据信息的质量情况,对数据质量故障能够及时发现、及时分析、及时处理.
建立从数据采集、数据入库、数据转换、数据查询、比照数据全生命周期
对数据档案的跟踪管控
★其他要
求
根据资源目录的建设要求,系统形成的数据资源目录需能够在效劳接口构
建时直接引用
6
数据资源
监管系统
系统架构
米用J2EE进行开发,应用模式为B/S
★技木要
求
提供大数据ETL整合工具,对各类源头数据库、文件及其它数据类型进行数据抽取,并在过程中进行清洗转换,将结果写入聚集库,同时提供商业版数据整合治理系统1套.
数据库注册治理：
实现对数据整合所涉及数据库的注册治理.为实现大数
据应用,数据库注册须支持多种数据库,至少包括：
Oracle、HadoopMppdb,
需提供页面功能截图
数据资源
监管系统
数据整合明细总览：
对数据资源所涉及的整合情况、和质量情况进行概括性的展示,展示的方式以图表数字混合方式为主,概括性地将数据整合涉及的数据库、数据整合执行节点和整合任务的运行情况,以及数据资源的数量情况进行概述,需提供页面功能截图
数据整合执行节点治理：
对执行数据整合任务的节点的启用、停止等治理功能.为方便数据整合治理工作,数据整合执行节点须能够自动探知,新增加的执行节点能够自动增加到系统中纳入治理
数据整合任务治理：
实现对数据整合任务的新增、修改、删除、启用、停止等治理功能
通过系统,能够搭建包含数据整合治理限制和执行节点的数据整合集群,
并在系统中能够对数据整合执行节点进行治理,对数据整合任务进行调度
通过系统能够对数据整合执行节点的资源负载情况进行监控.
数据整合源头监控：
能够对数据整合涉及的数据库状况进行监
升级会员 