多维大数据平台设计方案0113A.docx

1、多维大数据平台设计方案0113A一.1. 多维大数据平台设计一.1.1. 大数据关联分析设计一.1.1.1. 概述大数据基础平台承载了公安数据的管理，为上层公安应用提供数据支撑。一.1.1.2. 数据关联查询全文检索引擎是分布式的全文检索引擎，可提供对实体，关系，文档的全库实时检索。基于各类汇聚、整合形成的数据资源提供各类数据查询应用，系统为提供实体、关系、档案等全文查询，将查询结果的明细级数据的显示，并不涉及具体数据型态的图形化应用，相关应用可由各警种业务系统根据实战需要自行研制。一.1.1.2.1. 综合检索服务通过输入身份证、号码、姓名、案件关键字等内容，实现海量数据的全要素检索，系统将

2、查询结果明细数据的列表展示，其中涉密数据将进行脱敏展示。一.1.1.2.2. 关联搜索系统为了便于检索，建立动态电子档案，实现数据汇聚实时动态更新，展示人员基本信息、活动轨迹和各类关联信息。通过简单要素查询出多维度信息，包括人员档案、车辆信息、出行信息、轨迹信息以及关系人关系等。一.1.1.2.3. 多要素关联查询提供带有复杂查询条件的关键词检索，如：逻辑组合检索（与、或、非）、通配检索、同义词查询、渐进检索、词根检索、关键词检索、分类检索、二次检索（渐进检索或在结果中检索）、时间段检索、年龄检索、姓名拼音检索等多种专业检索方式。一.1.1.2.4. 全文动态档案查询全文动态档案查询，提供基于

3、全库数据的实时、动态的完整档案查询同时为了便于检索，建立动态电子档案，实现数据汇聚时实时动态更新，展示人员基本信息、活动轨迹和各类关联信息。通过多维度展示人员档案，包括基本信息、车辆信息、出行信息、轨迹信息等。电子档案的具体功能如下：1）重点人电子档案优化 传统的重点人员电子档案，仅实现了一人一档，在可维护性、和内容动态关联性方面存在缺陷，电子档案再造，实现的是重点人员档案库、关联内容库等自动更新，并动态填充至电子档案库，可针对省部级、本级重点人员电子档案进行人工、自动补充、纠错、编辑实现动态实时更新，增强重点人员管控的实时性、动态性。2）人员背景综合分析 实现了家庭成员、社会背景、关系人网络

4、、轨迹、从业等背景信息的一揽子展现，结合动态的电子档案系统、结合平台的其他检索、分析功能，实现功能的高度融合、信息的集中展示。3）社会网络电子档案集群包括：对网吧通行、旅馆同住、监管场所同房间、涉案同伙等关联人员的处理。档案页面支持查看实体，也支持查看关系，客户不止可以看到实体相关的属性以及关联实体和事件，也可以看到某关系的构成实体以及相关事件。档案同时也是一个功能强大的文档库，所有相关的信息如属性，图片，视频等多格式的文档都可以在这里浏览并推送给别人，确保信息传递及时，数据价值最大化。一.1.1.3. 数据研判分析一.1.1.3.1. 数据关系智能分析在整合各类数据资源的基础上，深入挖掘目标

5、人员、通讯设备、网络身份、交通工具之间的关联关系，根据公安多年经验战法形成研判战法集（算法模型），让海量数据之间产生社会化的复杂网络关系,构建深度社会关系网络，实现动态更新。同时，在此基础上通过在案时间、分析团伙，重点人群体（如涉恐群体、涉毒群体）、线索摸排等进一步实现智能团伙发现和潜在关系挖掘（如吸毒人群自动发现贩毒团伙，根据涉恐网络智能挖掘涉恐头目等）一.1.1.3.2. 轨迹分析算法基于统一的时空坐标体系，将重点人或群体目标车辆、通信、人员轨迹等基于实体关系的关联分析后，发现重大事件与重点人员活动时空的潜在关系和规律，实现多元轨迹的关系发现（如人和案件关联、人和人及车辆关联等）和特征挖掘

6、（如特殊时段、特殊地点的目标人员行为异常等），为情报人员提供智能化综合情报支援，从而有针对性的进行警力分布调配和预警。一.1.1.3.2.1. 涉毒人员轨迹分析涉毒人员的行为轨迹一般呈现“有去无回”的特性，通过比对分析人员出行和返回的轨迹，可以发现经常前往某地但是无返回轨迹的异常人员，经过人工确认后进入异常人员行为布控。一.1.1.3.2.2. 车辆伴随分析提供通过已知车辆（犯罪嫌疑车辆或受害车辆）的号牌信息和案发前后时间段自动分析案件干系车辆的功能，常用于根据犯罪嫌疑车辆找寻同伙车辆或者根据受害车辆找寻犯罪嫌疑车辆。一.1.1.3.2.3. 车辆昼伏夜出分析提供对于辖区内车辆昼夜频次异常分析

7、功能，在后台依据联网卡口车辆通行数据对于夜间频繁出现，白天很少出现的车辆进行自动记录，经过人工确认后，进入异常行为车辆布控库。一.1.1.3.2.4. 车辆区域徘徊分析提供重点区域周边车辆徘徊异常行为分析功能，在后台依据联网卡口车辆通行数据对于短时内(一天内)指定重点区域附近的通行车辆数据进行分析，分析出经常在该区域反复出现的嫌疑车辆信息，经过人工确认后，进入异常行为车辆布控库。一.1.1.3.2.5. 轨迹碰撞通过对不同实体轨迹的分析，可进一步的碰撞多个不同实体的轨迹，发现不同实体间轨迹的交集。例如通过车辆活动轨迹分析功能，支持用户指定车辆号牌以及时间段内，依据联网卡口车辆通行数据进行车辆行

8、驶轨迹计算，并分析出车辆的活动范围的功能，基于此功能可以实现多车辆动态轨迹的碰撞，结果在GIS上展示。一.1.1.3.3. 话单智能分析支持三大运营商话单格式直接导入，支持通过时间筛选以及多级下钻关联，支持多个实体的联系人碰撞以及轨迹碰撞。一.1.1.3.3.1. 机主与联系人查询从话单中自动提取出所有电话号码、姓名等作为实体，并与大数据平台中其他数据源进行关联，查询出实体的360档案，包括基本信息、户籍信息、住址等。一.1.1.3.3.2. 联系人关系分析通过话单分析，可以自动将话单中的联系人提取出关系网，并将话单关系网以合并入整个实体的关系图，为360研判分析提供支撑。在研判平台上可以进一

9、步的进行关系人、事件的分析、挖掘、碰撞。一.1.1.3.3.3. 轨迹分析提取出话单中的通话事件与地理位置信息，自动将话单中通话事件的地点信息与PGIS集成，将所有通话事件以时空方式显示在PGIS中，便于民警人工分析研判以及通过轨迹战法进行自动研判。一.1.1.3.4. 警情案件综合研判将传统的结构化数据与公安机关大量收集的警情等非结构化数据进行统一的再结构化处理，实现结构化数据（如车辆轨迹、通话记录）与非结构化数据（如报警文本、举报线索等）的自动关联，为情报人员提供研判支撑。一.1.1.3.4.1. 非结构化数据采集通过大数据业务平台初步实现半结构化数据（如文本数据等）根据属性结构化处理（图

10、片、视频、语音需额外中间件进行结构化处理），实现通过结构化数据和非结构化数据中的人事关联、人人关联、人案关联，为符合重点人、重大事、案件串并、轨迹分析和专题情报等业务提供研判支撑。一.1.1.3.4.2. 3.4.2.2 文本分析挖掘文本分析是针对系统中的非结构化的文本信息提供信息处理与分析服务，包括两部分功能，一是将非结构化的文本信息进行结构化处理，使得文本信息可以像结构化信息一样进行查询、比对、统计、检索、展示操作，二是针对结构化后的信息，提供关联分析和挖掘功能，如分类聚类分析、关联分析等。一.1.1.3.4.3. 实体关系抽取利用自然语言，自动从案情数据中提取人、地、事物、车、电话等实体

11、关系。在通用切词库的基础上，结合警情语义，不断完善适用于警情的切词库，提高关系提取准确度。一.1.1.3.4.4. 串并案分析以全文检索，模糊查询为基础的线索挖掘。根据案件类型建立不同的主题库，以高速抢劫案为例：搜索“高速公路”+“抢劫”，发现若干事件与接出警信息，在某接出警信息中了解到嫌犯戴有棒球帽或身上有某纹身，在搜索条件中增加此两线索，再次搜索，不断循环这一过程，得到串并案最全信息。一.1.1.4. 数据服务数据整合形成资源池后，建立一套全面数据服务体系。对数据进行资源分类管理，可以向各单位提供数据服务，数据服务主要包括：应用服务、接口服务（SOA）、数据推送服务及数据订阅与下载服务。一

12、.1.1.4.1. 数据资源管理将数据当成一种资源进行全面的台账式管理，包括对资源进行分类、多维检索、统计分析以及元数据管理等。一.1.1.4.1.1. 资源分类对汇集库的数据进行分类管理，将相同类型的数据归类到相同的主题下，方便对数据的检索。一.1.1.4.1.2. 多维检索以多维度形式，提供灵活、可自定义的资源属性信息展示面板。支持动态添加、删减查询条件和资源属性。支持个性化设置页面展示信息，使用户可快速、便捷的获取自己所关注的数据资源信息。一.1.1.4.1.3. 数据操作1)数据导入支持EXCEL数据的导入，同时对导入过程实现全程监控，能够有详细的日志记录每一批次的导入情况（如成功导入

13、行数、失败行数等）。2)数据导出支持数据导出到EXCEL。3)数据查询提供统一的数据查询和结果展示窗口实现对符合用户访问权限的数据资源的快速查询与访问。4)函数操作支持类似关系型数据库的命令函数，如数据处理函数、日期处理函数、条件处理函数、字符串处理函数等，以满足不同的数据使用者对于数据的个性化要求。一.1.1.4.1.4. 通用应用服务传统的检索查询应用对检索结果只是资源数据的简单罗列，通用性应用可针对某一通用需求，提供全面的信息，实现各类信息的综合查询、关联分析与深度分析，解决了检索结果由数据往需求的转化问题。一.1.1.4.2. 专题应用服务专题应用服务与通用应用服务一样，区别在与专题应用服务是针对某一特定的专题而构建的应用模型。一.1.1.4.3. 数据推送服务数据推送服务是通过数据建模工具，建成数据模型。模型运算结果可以将结果集数据推送到其他数据库，如Oracle、MySql等。实现数据平台库与业务库的之间的数据直接对接。一.1.1.4.4. 数据订阅与下载服务数据使用单位可以对有关数据进行订阅。订阅后可查看订阅数据的抽取时间、最后更新时间、今日数据增量、总数据量等信息用户经平台审核后，可以下载该平台的数据，并对下载的数据进行全面监控。