大数据资源服务平台.docx

1、大数据资源服务平台大数据资源效劳平台设备清单及技术参数一、货物清单序号产品名称内容单位数量1全文检索系统1.全文检索基于聚集库和全文库,提供片段信息的全文式检 索及全景电子档案展现；2.提供全部资源检索、档案检索等全面智能的检索方式和深 度立体的检索方式；3.提供撞线分析、效劳资源检索等高级个性检索方式.套12应用门户系统1.提供个人门户、应用超市、应用导航功能并实现单点登录 功能；2.与公安PKI/PMI系统无缝对接,实现用户身份统一认证；3.提供独立的权限治理流程、应用发布、应用审核、应用统 计治理、数据平安性治理和日志治理.套13根底专题关系应用软件对本市米集的社会数据进行专题分析,创立

2、专题库以及对应的专题分析模型.套14聚集库建设效劳建设聚集库,形成数据集市体系,聚集、清洗、标准化平顶山市公安内外部数据结构化数据/、少于6T,不少于60亿数据；照片及非结构化数据；社会单位数据等；按需建设全文库、多个专题库和碰撞库等支撑应用展现套15数据资源目录管理系统1.公安标准梳理限定词、数据元、代码等 .2.根据公安 标准对数据进行对照,结合相关信息编目,形成标准目录不 少于900个标准目录3.统一注册各种类型的数据资源4.对数据质量、数据运行情况、数据追溯进行治理5.包含商业版数据资源治理系统1套套16数据资源监管系统1.提供大数据ETL整合工具,对各类源头数据库、文件及其 它数据类

3、型进行数据抽取, 并在过程中进行清洗转换, 将结 果写入聚集库.2.对ETL进行集中调度和监控不少于1500个ETL任务3.包含商业版数据整合治理系统1套套17资源效劳总线系统1.主要实现对本地应用的统一接入,减少应用系统对底层数据库的直接访问,提升数据平安性,解决全市以及协作区域 间信息效劳资源的简便对等开放、共享标准标准、本地信息资源集中治理、面向应用效劳的统一接入、高可用效劳支撑水平、平安审计等 系列问题.2.提供对应的查询、比对、交换、布控效劳接口.3.对总线开放的节点、目录、资源、进行运行监控、日志管 理.4.提供平台级别间对接.5.商业版资源效劳总线系统 1套.套18运维效劳1、公

4、安内外部数据进行数据拉通的数据实时运维及巡检工作；2、负责维护数据交换,保证旅馆、网吧、卡口等数百个数 据交换的正常运行,保证交换数据能正常汇入资源库；3、提供两年一人驻场运维效劳 ,第三年远程支持.年29互联网信息采集系统结构化数据导入1、开发结构化数据导入程序,并定义结构化数据的标准格 式.2、将根据标准格式整理的结构化数据导入程序并保存在公 安网聚集库中.套13、实现导入异常预警,和异常准确定位的功能.零散线索情报录入1、开发零散线索情报录入程序,并定义录入的格式.2、工作人员在完成零散情报录入工作的同时,将涉及的嫌疑人员、录入人员等相关人员信息录入在程序并保存在公安 网聚集库中.采集数

5、据源扩展提供多种可靠采集技术手段,支持扩展多种数据源头采集工 作.如物流信息、汽车租赁、就医信息、景区信息、征地纠 纷、担保受损、涉民教师等.大数据辅助决策平台结合公安工作现状及后续工作需求,定制开发大数据辅助决策平台,通过定制开发多个专题信息大屏动态展示我市治安 防范水平,打击犯罪水平,社会治安治理和社会数据资源整 口成果等.10社会数据研判预警系统1、实时布控：通过上传需要比对的人员数据,与本地重点 人员名单、本地库、请求全国效劳数据或其他地市协同数据 进行比对,系统比对完成之后,自动将比对结果以消息推送 的形式传递.2、数据采集：对结构化数据、图片、视频等类型的数据上 传,数据实时传送至

6、资源库.3、比对预警：通过 app的比对功能自主比对,自主比对以 本地重点人员名单和本地库为依据,比对结果实时显示预 警.4、拓展应用：通过提供开放性的 API接口以供后续人像应 用、电子签章应用、图片应用、音频应用、视频应用的接入, 提供对接.5、预警布控数据范围包含社会数据采集的相关数据和公安 部门指定的数据.6、与本地重点名单和本地库数据实时比对.7、与全国请求效劳和其他地市协同数据延时比对.8、通过本地库或本地重点人员名单比对完成的结果可通过 效劳总线进行分发共享.套111数据对接中转机通过对接采集点数据源进行数据抽取,并将数据上传至前置效劳器.台1012前置效劳器米集点数据聚集载体,

7、 安装数据库用以接收外来数据,安装数据抽取/接收程序.台413防火墙对流经它的网络通信进行扫描,能够过滤掉一些攻击, 以免其在前置效劳器上被执行.防火墙还可以关闭不使用的端 口.而且它还能禁止特定端口的流出通信,封锁特洛伊木马.最后,它可以禁止来自特殊站点的访问,从而预防来自不明入侵者的所有通信.台114人像数据采集终端采集人员身份证信息及现场人像拍照信息.套2015万兆交换机本工程交换机配置为 24个10GESFP+口 配置8个10GESFP+光模块,配置交流双电源台116终端采集路由器主要应用于数据库不在信息米集点商家本地的实例中.功能是信息采集点商家部署终端采集路由器,通过对经 过路由器

8、的报文进行深度分析,并抓取有用的社会信息.个20二、详细技术参数要求序号货物名称技木参数详细技术要求1全文检索系统全文数 据支撑提供不少于30亿数据或不少于 600项标准数据资源,并提供不少于 800个ETL任务以增量任务形势将数据资源配置进入全文检索系统.提供进入全文检索系统的所有数据资源的检索功能,不少于600项资源独立检索；提供人员关系计算同户人、同住宿、同上网、同机构分析时,每项不少于200万数据参与计算；车辆行车轨迹、人员出行、留宿轨迹分析时,每项不少于200万数据参与计算.提供不少于600项标准数据资源,每个资源不少于20个字段的查询权重设置.提供不少于600项标准数据资源,每个资

9、源/、少于20个字段的查询权限设置.技木要求要求采用分布式全文索引技术,为根底数据资源建立全文索引,满足对基础数据资源任意字段和全部字段的模糊检索需求.要求采用HADOO技术架构建设对象专题库,可以根底数据资源按专题如人员、案件前科等进行分类重组整合相关信息.支持智能识别、智能提示、语义分析和行为分析等智能化设计.异地对接要求与请求效劳系统对接实现异地搜索,需提供页面功能截图.要求与资源效劳总线系统对接实现与异地公安搜索系统进行联盟搜索需 提供页面功能截图.全部搜索要求针对资源、对象、图片等维度的数据资源进行关键词检索,系统后台 自动进行相关度计算,并分别将这些维度返回的匹配结果进行分类展现,

10、 需提供页面功能截图.资源搜索要求针对本地资源和异地资源提供全部资源的模糊搜索、单个资源的条件搜索功能,以及针对异地共享效劳资源提供请求效劳查询功能,将返回命中资源目录和命中资源记录给用户,需提供页面功能截图.对象搜索要求针对本地、联盟对象提供全部对象类型和特定对象类型的搜索功能, 命中结果按对象类别人、车、案、组织机构等分别展现其相关的根底 信息、相关度分值、关注人数等信息给用户.同时能提供对象关注功能, 及时推送关注对象的最新动态给关注用户,需提供页面功能截图.照片搜索要求基于检索关键字针对接入的照片相关文本信息进行检索,并返回相关的人员照片以浏览视图方式进行展现；支持对接第三方的人像比对

11、效劳,需提供页面功能截图.专题档案要求支持数据资源按专题人、案件前科等进行分类重组,采用“一人 一档的展示模式,实现对数据的关联组织与档案式呈现功能.超级档案 的信息内容丰富,具备高价值的特点.以人员专题为例,主要分为根本情 况、案件信息、人员关系、活动轨迹五个展示模块, 需提供页面功能截图.轨迹分析基于人员、车辆等信息,实时计算出的当前轨迹落点,并依靠GIS地图动态活泼在地图中,需提供页面功能截图.撞线分析系统会针对检索内容进行分类预警,如某一时间段对某一人员或物品进行屡次检索的预警提示,需提供页面功能截图.搜索引擎要求基于搜索效劳接口, 响应智能搜索系统客户端或第三方应用发起的搜 索请求,

12、搜索引擎依据参数执行搜索任务后返回结果给请求方.分层索引索引构建：要求基于 Lucene实现索引构建,通过特殊的索引结构资源、 对象实现传统数据库不擅长的全文索引机制,将数据源中的数据结合分 词建立倒排索引,并依据具体的部署情况在搜索引擎效劳器生成各层索 引.索引入库：要求基于索引构建,通过任务调度引擎全量或增量生成资源、 对象索引并保存到搜索引擎效劳器.系统治理根底治理：要求提供给用和数据效劳器的登记治理和集群治理功能,并可 针对全文库节点和索引节点进行维护.模型治理：要求针对本地数据模型的结构和分类提供维护治理功能.索引治理：要求针对资源、对象索引的构建任务情况和数据量情况提供监 控功能.

13、日志治理：要求针对采集的日志信息,提供用户登录和相关操作日志的查 询功能.统计治理：要求针对本地资源、对象提供种类、总量、增量统计信息的查 询功能,以及在线用户数和系统访问量的统计信息发布功能.权限治理：要求提供系统功能访问、数据访问、对象搜索、档案访问的权 限治理功能.红名单治理：系统应将红名单信息进行平安级别分类,包括多个等级；同 时,对于用户也可进行相应分类,一级用户可以查看一级及以下红名单, 各级用户都可查看本级相应红名单.红名单治理主要是根据平台名单中人员的平安级别进行过滤,从而屏敝普通用户查阅、修改、删除重要人员的 信息,需提供页面功能截图.性能要求1、精确条件查询,要求响应时间w

14、1秒；2、模糊条件查询,在 1000万条记录条件下,要求响应时间w5秒；3、全义库入库性能?10000条/秒；4、单表数据量1亿以内,单个关键词搜索1秒内返回结果；5、全库100张表以内50亿数据量,单个关键词全库搜索3秒内返回结果,档案主要信息 3秒内展示；6、200个并发搜索卜,响应时间w 3秒.2应用门户系统对接要求在满足实现功能的前提下,提供市局不少于3000个PKI/PMI接入应用门户系统.技术要求米用J2EE开发,米用 Html5、JQuery技术,应用模式为 B/S须与公安PKI/PMI系统无缝对接,实现用户身份统一认证操作日志的存储须满足大数据环墉下的分析应用,所支持的数据库包

15、括常见的关系型数据库之外,必须支持大数据应用所需的hadoop和MPP数据库等作为数据源应用门户须支持以负载均衡设备进行访问负载均衡的方式进行多节点部 署单点登录支持用户通过公安数字证书登录应用门户,并且在访问应用门户的各项功能以及应用时,/、冉重复进行登录操作需完全支持PKI证书登录平台,并能够通过平台访问应用资源.除了证书登录之外,还需要提供用户名 /密码的登录方式,以满足特殊情况下的应 用需要,提供页面功能截图个人门户提供给每一个用户使用的个人应用门户,用户可以通过应用超市将所需的应用添加到个人桌面上便于使用,需提供页面功能截图.应用超市将用户常用的应用根据使用频度集中展示出来,用户可以

16、自行调整其顺序和显示位置.此外,用户还能添加新的应用到常用应用中来,需提供页面 功能截图.实现要求由于现有的数字证书中用户信息内容有限,所以系统获取的证书信息还需要与警综平台记录的警员信息相结合才能狭取用户的行政区划、组织机构、警种类别等其他详细信息门户上发布的应用,可以根据应用名称、下载次数、使用次数进行排序查 询注册申请：对需要发布到应用门户的应用进行注册登记,登记时须要确定 应用的发布方、开发方、运维方和应用的部署信息.审核治理：由应用的治理人员对注册的应用进行审批,审批的过程包括应 用可用性的检查.经过审核的应用会自动发布到应用超市中供被选择使 用.应用情况监测：通过系统能够对应用的发

17、布、使用情况进行浏览、查询, 能够对使用评价、应用的次数进行统计,能够对应用的状态进行监控.应用状态监控：应用是否存活的状态进行监控的治理功能.应用状态的监 控需要通过应用预设的状态接口由门户平台后台治理程序自动进行状态 检测,并将检测的结果及时记录并反应到应用状态监控界面,以提醒应用 的治理和运维人员及时处置状况异常的应用.平台授权治理主要是指根据平台的实际应用需要,对用户进行使用权限的授权治理.平台的授权治理与具体应用的授权治理各不相同,平台的授权治理关注于平台各个组成局部的使用授权,而应用的授权那么主要关注于应用自身的使用授权,二者之间相对独立, 互不干扰,需提供页面功能截图.系统需提供

18、符合公安部系统操作日志采集标准的操作日志记录功能,并提供操作日志的查询功能,需提供页面功能截图.3根底专题关系应用软件总体要求基于专题数据库,依靠业务逻辑和大数据算法,计算形成权威各类专题数据资源,并依托数据和算法提供一系列查询、比对接口进行动态监控、运维和故障处理专题关系应用提供不少于 200个专题关系逻辑计算算子,提供不少于10个专题关系查询、比对接口.专题应用要求提供对本市采集的社会数据进行专题分析,创立专题库及对应的应用模型.4聚集库建 设效劳数据库建设根据业务特点选择关系型数据库、非关系型数据库等形式,在此之上构建 中央数据仓库、资源库、专题关系库、红名单治理库,完成数据中央聚集 库

19、数据库的完整体系数据资源梳理根据公安部相关数据标准标准要求对数据资源进行梳理,经过梳理后,须 形成符合公安数据标准标准要求的数据兀、限定词、代码和数据项的标准 文档,用于指导后续的信息资源应用完成对整合后的数据资源库及新建业务应用系统的数据表、数据项的梳理工作,并在梳理的根底上, 完成关键业务的标准数据元、限定词、数据项、代码的整理工作,并形成符合相关标准标准要求的数据标准文档数据编目将经过梳理的数据标准与设计的数据聚集物理表建立逻辑对应关系,形成数据资源目录,通过数据目录可以明确各个物理表中的物理字段对应的业 务数据项,以及业务数据项须参照的数据标准,从而完成数据资源标准体 系的建设.数据资

20、源编目的结果是形成作为数据整合的参照和信息资源应 用根底的数据资源目录.数据资源目录的内容须包含涉及的应用系统根本信息、数据表信息、数据项信息和数据资源信息以及数据资源与数据项映射关系五项内容约56个工程,其中涉及?中华人民共和国行政区划代码?(GB/T 2260)、?全国公安机关机构代码编制规那么? (GA 380)、?公安数据元治理规程? (GA/T 541)、?公安数据元编写规那么? (GA/T 542 )、?公安数据元?(GA/T 543 )、?数据项标准编与要求?(GA/T 1053)、?公安数据兀限定词?(GA/T1054)等相关标准标准对梳理完成的数据进行资源目录编制工作,并最终

21、形成数据资源目录,为 后续的相关数据效劳工作奠定根底数据整合根据省厅和市局的要求和标准进行数据交换工作,充分满足省厅对数据资源的完整性和及时率的工作考核任务,涉及的业务类型包括卡口、交管、SIS及各类政府及社会数据等不少于 6T,不少于60亿数据信息,涉及的 数据来源包括但不限于 sqlserver/sybase/oracle等多种结构化数据及文本、表格等非结构化数据数据整合工具的运行情况须通过数据资源监管系统进行调度监管中央数据仓库以公安部发布的?公安数据元系列标准GAT543?为根底,结合我市业务实际和数据资源情况进行拓展,形成我市的数据元标准,以满足我市公安跨 地区、跨警种、跨系统数据会

22、聚、交换、共享的目标,建设元数据库、基 础库资源库根据业务特点选择关系型数据库、非关系型数据库等形式,在此之上构建 满足信息效劳的资源库.将公安内部数据、外部数据、互联网采集的结构 化、非结构化数据整理聚集成为标准化数据统一存放在资源库中,满足全 量数据保存、实时数据处理、数据专题分析等应用场景专题关系库专题库将资源库中的数据按要素(人、物、案等要素)进行分类重组,按 /、同维度将相关信息整合到专题关系中,专题库的信息内容丰富,具备高 价值的特点.以人员专题为例,是将各个业务来源中涉及人员的根底信息、 关系信息、涉案信息、疑似关系人、活动信息等信息统一整合在人员专题 表中.为应用分析与呈现提供

23、数据支持.红名单建设库在数据库层面将红名单信息进行平安级别分类,包括多个等级；同时,对 于用户也可进行相应分类,一级用户可以查看一级及以下红名单,各级用 户都可查看本级相应红名单. 红名单治理主要是在建立数据库的同时建立 查询权限,将红名单中人员的平安级别进行过滤,从而屏蔽普通用户查阅、修改、删除重要专题库的数据5数据资源目录治理系统系统架构米用J2EE进行开发,应用模式为 B/S技术要求为实现大数据应用,支持多种数据库作为数据来源进行编目,所支持的源数据库至少包括：Oracle、Hadoop、Mppdh需提供页面功能截图,同时提供商业版数据资源治理系统1套.须与公安PKI/PMI系统无缝对接

24、,实现用户身份统一认证单点登录支持用户通过公安数字证书登录应用门户,并且在访问应用门户的各项功能以及应用时,/、冉重复进行登录操作需完全支持PKI证书登录平台,并能够通过平台访问应用资源.除了证书登录之外,还需要提供用户名/密码的登录方式,以满足特殊情况下的应用需要公安标准梳理数据元、限定词、数据项等治理模块的采集项须符合公安数据元编制相关标准标准标准对接：与省部平台对接将上级标准数据快速导入到系统中,为方便标 准治理,支持数据兀和代码文件的导入功能,需提供页面功能截图代码治理：实现对本级代码数据的新增、检索、查看、编辑、废止等功能,需提供页面功能截图数据兀治理：实现对数据兀的新增、变更、废止

25、、查询等功能,治理的范 围包含上级同步的数据兀和自定义数据兀,需提供页面功能截图限定词治理：包含对限定词的新增、变更、废止、查询等功能.范围包含上级同步的限定词和自定义限定词,需提供页面功能截图数据项治理：包含对数据项和数据项别名的新增、变更、废止、查询等功 能数据项由限定词和数据兀组成,不问的限定词和数据兀都可以组成数据 项.每个数据项都可以有一个或多个数据项别名,需提供页面功能截图数据资源目录治理系统数据资源目录治理模块设计须符合公安相关数据资源目录技术标准,提供不少于900个数据资源目录包含数据资源目录所需应用系统信息的新增,检索,查看,编辑,废止等 功能数据库资源注册：设置维护数据资源

26、目录所需的数据库资源信息,数据库资源注册系统能够自动读取展示出其包含的所有数据表及其字段,治理人员可以完善各个数据表的描述信息需提供页面功能截图须与数据资源监管系统无缝对接, 数据库资源所需的数据库须从数据资源 监管系统的数据库列表中选择, 数据资源编目的结果须能够在数据资源监 管系统中直接引用包含数据资源目录的新增、检索、查看、编辑、编制、发布、资源构成查 看、废止和启用等功能通过编制,能够建立数据资源与数据项的映射关系,需提供页面功能截图自动化数据资源编目：为方便编目治理,在数据资源编目过程中,能够通 过自动匹配实现自动化数据资源编目,需提供页面功能截图数据资源检索能够针对已经发布数据资源

27、目录根据要素、业务分类和来源分类的检索和查询功能数据质量评估：对关系型数据资源进行完整性、唯一性、标准性、值域、 字符特征等方面的分析和评估,帮助用户全面掌握根底数据质量情况,快 速发现潜在的数据质量问题数据质量治理校验方法治理：对数据质量校验方法进行维护,支持扩展校验方法以满足特定的业务逻辑需要标准规那么配置：基于标准数据元配置校验规那么,以便在方案配置时可以批 量创立校验规那么根底监测方案：根据发现的数据质量问题,参照数据标准标准以及业务需 求制定质量监测规那么,对数据资源质量进行持续监测.主要监测完整性、 标准性、单表逻辑等字段级或记录级问题数据质量分析：按业务警种、数据种类、来源单位、

28、时间等条件对数据质量进行分析统计,包括单位比照分析、时间趋势分析、问题类型分析等等.支持自动生成并发布数据质量分析报告.支持数据质量问题修复情况分析数据质量追溯治理：依托已经形成的数据资源目录,结合相关部、省和市本级的数据标准和标准要求,从数据信息的准确性、值域范围、唯一性、必要性和引用代码的标准性等方面对已有的数据信息和采集、会聚中的数据信息进行全面的动态化数据质量监管,使数据信息治理部门随时了解数据信息的质量情况,对数据质量故障能够及时发现、及时分析、及时处理.建立从数据采集、数据入库、数据转换、数据查询、比照数据全生命周期对数据档案的跟踪管控其他要求根据资源目录的建设要求,系统形成的数据

29、资源目录需能够在效劳接口构建时直接引用6数据资源监管系统系统架构米用J2EE进行开发,应用模式为 B/S技木要求提供大数据ETL整合工具,对各类源头数据库、文件及其它数据类型进行 数据抽取,并在过程中进行清洗转换,将结果写入聚集库,同时提供商业 版数据整合治理系统 1套.数据库注册治理：实现对数据整合所涉及数据库的注册治理.为实现大数据应用,数据库注册须支持多种数据库,至少包括：Oracle、Hadoop Mppdb,需提供页面功能截图数据资源监管系统数据整合明细总览：对数据资源所涉及的整合情况、和质量情况进行概括 性的展示,展示的方式以图表数字混合方式为主,概括性地将数据整合涉 及的数据库、数据整合执行节点和整合任务的运行情况,以及数据资源的 数量情况进行概述,需提供页面功能截图数据整合执行节点治理：对执行数据整合任务的节点的启用、停止等治理 功能.为方便数据整合治理工作,数据整合执行节点须能够自动探知,新 增加的执行节点能够自动增加到系统中纳入治理数据整合任务治理：实现对数据整合任务的新增、修改、删除、启用、停 止等治理功能通过系统,能够搭建包含数据整合治理限制和执行节点的数据整合集群,并在系统中能够对数据整合执行节点进行治理,对数据整合任务进行调度通过系统能够对数据整合执行节点的资源负载情况进行监控.数据整合源头监控：能够对数据整合涉及的数据库状况进行监