警务综合平台建设方案.docx

1、警务综合平台建设方案淮安市公安局警务平台和情报研判应用建设方案盖特佳信息安全技术股份有限公司第一章 前言1.1 概述近年来，淮安市公安计算机信息化的水平有了质的飞跃，市局紧紧围绕“金盾工程”的目标任务，结合本地实际开展“金盾工程”一期建设，目前已完成警务综合平台各项业务系统的建设任务，数据库已经汇集了上千万条种类繁多、丰富鲜活的业务数据，在公安工作领域发挥了重要作用。金盾工程建设跨过了网络硬件建设、业务系统建设阶段，跨进了信息应用的时代，但是缺乏对公安五要素信息（案件，人员，物品，地理、单位）的数据采集、挖掘，清洗和分析，进而实现公安决策的智能化2006年公安部南京会议部署了开发推广“三大应用

2、平台”的金盾工程二期任务：“公安情报信息综合应用平台”，“警用地理信息基础应用平台”，“部门间信息共享服务平台“，按照“金盾工程”二期建设的总体思路、目标任务和基本要求，我们在总结一期建设和运行经验、继续抓好现有系统优化应用的基础上，开发完成了警务综合平台，涵盖了三大应用平台的所有建设任务，以推动公安信息化应用的普及深化，全面提升整体应用水平。1.2 建设目的警务综合平台坚持以情报信息主导警务活动为方向，以“立足全局、突出重点、面向实战、应用优先”为原则，以“八大信息资源库整合”为基础，以整合业务处理流程为切入点，以“情报信息体系”建设为龙头，以“综合信息库和社会资源库”建设为核心，重点完成综

3、合业务应用和高端应用两大部分内容，通过上述建设提高公安信息资源综合开发利用的水平，基本形成全警采集、全警应用、全警共享、跨部门协同作战的公安信息化应用格局，基本实现公安工作信息化。1.3 建设原则警务综合平台整合了公安机关已建、在建和待建的信息系统。系统建设坚持如下原则：标准化设计系统严格遵循公安部相关标准，按照一定的数据规范、技术规范和业务规范，进行设计、实施，系统处于严格的质量保障体系的控制之下，使系统真正实现跨警种、跨部门的信息共享、复用。平台化设计系统按照平台化的设计思想，可以方便挂接各类工具和数据，对现有的应用和以后新增加的应用，软件无需二次开发。模块化设计对一些成熟的功能以模块化设

4、计，方便用户的定义、加载和卸载。友好的界面设计系统具有良好的交互操作界面。对不同应用群体均能方便操作使用，不同的应用功能具有相似的使用界面和操作方法。用户进入界面时，可方便地进行各种应用操作，对系统管理员进行简单的培训即可进行配置管理。可扩展性设计系统能按公安部有关标准提供可扩展、可持续开发的接口标准。系统能够为将来的应用扩展提供支持。1.4 建设意义公安业务系统整合，完成统一登录和页面级整合目标公安信息库进行整合，形成数据仓库，消除部门间的信息孤岛整合基础上进行各类应用：比对报警，智能搜索，网上布控等，实现公安信息资源的最大化利用情报研判部门产生的各类分析和指令指导基层民警工作，全面实现了公

5、安机关指挥系统的统一公安各类标准的统一，实现公安信息化建设的统一规划和统一建设深层次采集和挖掘公安各类信息，实现情报研判和领导决策的自动化1.5 建设目标警务综合平台主要是在充分保护原有投资的基础上，研究开发一个新系统，突破信息应用的障碍和边界，创造“信息贯通”、“业务关联”、“随需而变”的技术应用环境，实现公安业务系统整合为目的，以公安业务协同办理为方式，最终实现公安业务信息最大化共享的目标。警务综合平台整合了公安机关已建、在建和待建的信息系统。项目建设目标如下：1平台整合综合数据库建设通过ETL系统，完成了对散布在各业务部门信息资源的整合，形成数据仓库统一门户平台提供了对公安已建，正在建设

6、，待建业务系统系统级和页面级的整合，实现了公安业务信息汇总和统计，各类业务信息发布和个性化门户功能2整合应用 在业务系统和信息资源整合基础上，提供各类整合应用，实现公安信息资源的最大化共享和利用。具体实现如下功能：公安情报信息综合应用平台，包括：查踪布控体系智能搜索系统，网上布控系统自动化报警体系比对报警系统，报警台情报研判分析体系领导辅助决策系统，情报研判分析系统，信息指导系统3支撑平台ETL系统系统管理平台第二章 体系架构2.1 总体架构整个警务综合平台的总体架构如下图所示：整个架构从应用层次上可以包括数据采集层、数据存储层、平台整合层、和整合应用层四部分内容数据采集层：包括公安各类应用业

7、务信息系统（网上办案系统，派出所综合信息系统，协同办公系统等）是公安基础数据的采集来源。数据存储层：包括从数据采集层获得的各类业务数据，信息数据，人工采集数据，社会信息资源数据，非结构化数据等。平台整合层：构成警务综合平台的基础架构，通过ETL系统集成数据存储层的各类信息，以情报研判业务模型、OLAP多维分析和数据挖掘为目标构建数据仓库；通过统一门户平台实现系统级和业务模块级的整合，实现功能有统一登录，统一门户，统一业务办理菜单，个性化门户和信息发布；通过业务集成平台实现各业务系统的业务集成，通过部门间信息共享平台实现各业务系统之间的业务协同和数据复用。整合应用层：在平台整合的基础上开发上层公

8、共应用实现功能有：公安情报信息综合应用平台，包括查踪布控体系（智能搜索系统，网上布控系统）,自动化报警体系（比对报警系统，报警台），情报研判综合分析平台（领导辅助决策系统、情报研判分析系统、信息指导系统）；警用地理信息基础应用平台，为各单位提供应用服务。应用支撑平台是整体架构的技术支撑平台和系统管理服务平台，包括：ETL系统：通过数据抽取，清洗，和加载完成了综合数据库的构建。系统管理平台：提供了对业务系统的后台配置管理，包括组织、用户、登录权限，页面菜单，页面栏目管理等运行维护平台：提供了对运行服务器和网络设备的运行监控数据备份平台：提供了对数据库服务器数据实时或定时的增量备份，同时提供了应用

9、系统的热切换和恢复安全服务平台：提供了所有系统的安全保障，提供软硬件方面的安全保证，比如防火墙、安全审计、网闸、内外网安全接入平台，CA服务器、PKI/PMI系统等。2.2 数据分析2.2.1 服务器性能分析 按500万人口，5年数据增长分析,以数据记录数为分析样本常住人口表最大数据记录数：（人口基数+人口基数*年增长率*年数）*冗余倍数=(500+500*20%*5)*2=2000万。 暂住人口最大记录数（预估）：500万。案事件最大记录数：表每天最大增长量*天数*年数*冗余倍数=1500*365*5*2=547万。 派出所综合（预估）：500万。 旅馆业治安管理系统（预估）：500万。 其

10、它业务系统（预估）：500万。根据以上分析服务器性能选形应以最大记录数2000万为依据2.2.2 存储容量配置分析按500万人口，5年数据增长分析,以数据字节数为分析样本数据量的基本计算公式为： = *1*其中 为数据量， 为单位数，1为单位长度，为冗余倍数。数据增量的基本计算公式为： Ca=Ca*Rca* 其中， Ca为数据增量，Ca为数据量，Rca为某一时间段内的变化率，为冗余倍数。计算每年需要数据量（ ）=XX( )*YY(1)=ZZ(GB)预计每年增长率为AA%则每年增长率（ Ca）=ZZ(GB)(Ca)*AA%(Rca)=BB(GB)根据以上数据计算公式进行各项业务分析：常口：(每条

11、人口字节数*人口基数+每条人口字节数*人口基数*年增长率*年数)* 冗余倍数=（50K*500万+50K*500万*20%*5）*2=1000G. 案事件：每案件容量*（每天案件数*365）*年数=3M*(150*365)*5=800GB. 其它（预估） ：200GB.根据以上分析服务器存储容量选形应以2000G为依据2.3 系统软硬件配置以400万人口以上（包括400万），5年发展需求配置如下：项目配置详细补充说明作用数量数据库服务器IBM P550也可选用其他厂商提供的同档次机器。1综合数据仓库服务器 1CPU4*1.65GRAM16G存储设备磁盘阵列,存储量2TB硬盘2个100G镜象应用

12、服务器PC Server用作市级应用服务器1平台类系统3台3比对报警系统1台4智能搜索系统2台6CPU2*1.65GRAM4GBOracle9i企业版无限用户数支持双CPU 1综合数据仓库服务器1Websphere 5.1支持双CPU应用中间件62.4 信息标准2.4.1 业务标准1.公安机关办理刑事案件程序规定2.公安机关办理行政案件程序规定3.中华人民共和国人民警察法4.中华人民共和国刑事诉讼法5.中华人民共和国刑法6.中华人民共和国行政诉讼法7.刑事技术现场勘查规范2004版本2.4.2 数据标准为了保证数据在不同层次业务系统、不同种类业务系统之间的顺利流动，必须制定一个统一的数据接口标

13、准。统一的数据接口标准包括：1.标准的数据库结构设计标准数据库结构标准包括统一的数据库库和数据表命名规则、统一的数据字段命名规则，统一的数据字段定义规则。各类业务数据库设计必须严格按照公安部制定的有关数据库标准设计。2.统一的数据传输通讯协议所有业务系统之间的信息交换遵循统一的数据传输通讯协议，以保证数据传输的正确性和兼容性，减少数据传输的误码率。3.统一的编码体系遵循国家和公安部等制订的信息编码标准，遵照国家经济信息系统设计与应用标准化规范和标准化工作原则信息分类编码规定等标准化文件，按照“国际/国家标准行业标准企业标准”序列，建立起全系统的信息分类编码标准。对未形成统一标准的，应从编码的科

14、学性、扩充性、有效性和规范性出发，制订出管理信息系统的信息编码。2.4.3 技术标准1.数据库必须支持SQL92标准。2.被整合的应用系统必须是B/S模式。且没有系统登录限制第三章 综合数据库建设经过多年的信息化建设，地市公安局已经拥有比较完善的综合库资源，但随着公安业务的发展，原有的综合库已经无法满足目前公安应用整合的需要，所以必须在原有综合库基础上增加信息来源如：公安业务数据、非结构化数据、社会化数据（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口），对数据进行抽取、清洗、和加载形成基础数据库；通过深层次挖掘公安业务信息，根据不同的情报研判和领导辅助决策主题分析模型需求，

15、最终建立数据仓库，实现情报研判和领导辅助决策的自动化。公安业务涉及的数据种类多、数据量大，分类的科学性，存储、组织和关联的合理性将直接影响应用功能的实现和维护的效果。数据设计是整个警务综合应用系统建设的基础部分。依据方案的总体目标、体系结构，在综合考虑业务需求、管理特点、数据特性、系统建设要求的基础上，必须明确综合库的数据来源、数据标准、数据抽取和数据存储等三个方面内容。3.1 数据的来源为了满足信息共享和交换的需求，便于数据的管理，有效地组织数据，有必要对数据进行合理分类。根据数据的特点以及综合库建设要求，建立数据来源的数据分类体系。 按数据来源分类综合库的数据由各基层单位采集，按其来源大体

16、分为：业务系统数据：公安案事件、人口、旅馆业、重大刑事案件信息、禁毒信息、被装管理信息、经济案件信息、重点人口、出租房屋以及其他需纳入综合库的业务信息。非结构化数据：公安网页数据，互连网数据（需安全接入平台，系统留有接口）社会数据：政府网：企业信用、医疗社保数据等；互联网：上网人员数据、电子邮件数据、通信数据、电信数据、典当物品、二手车辆数据、二手手机数据等；未联网系统：银行开户资料、电话号码数据等（需安全接入平台和其他部门协调，系统留有接口）。上述分类数据为按不同方式进行数据的采集、传输提供设计依据。3.2 数据标准化设计数据标准化对于指导综合库的建设具有重要意义。在综合应用系统的建设过程中

17、，无论采用何种方式构建综合库，必须保证共享数据的种类、数据项目以及交换格式的规范和统一，才能保证单位之间、部门之间信息共享的顺利实现。数据的标准化工作需要各单位、各部门紧密的配合，同时需要完善的标准化管理机制。3.3 数据存储和数据抽取考虑数据在网上的存放原则时，首先要保证数据的安全性和一致性，其次要能够满足数据的高效使用和信息共享的目的。从数据的管理角度将数据集中存放便于数据的维护和管理，可以提高数据的共享程度，保证数据的完整性和一致性，同时提高查询的效率。综合库存放的数据主要为各单位、各部门提供共享查询和交换的信息。综合库是各单位、各部门共建、共用的数据库。为便于管理和维护，在网络带宽以及

18、管理条件允许的情况下，综合库存放在市公安局信息中心，由市公安局信息中心负责综合库的运行保障工作。综合库的数据包含了各业务部门提供的共享数据。各业务部门既是数据的使用者，同时也是数据的提供者。综合库的建设是一项系统化的数据工程，综合库的初始数据由各单位、各部门部门按照接口标准一次性提供；业务应用系统通过数据交换平台维护综合库。数据抽取原则如下：1.小数据量、常用数据采用物理数据及时增量集中模式；对大数据量数据采用空闲定时执行模式。2.加载初始化。大数据量数据采用一次性初始化方式，减少网络速度对数据初始化的影响，并增强初始化数据的准确性、可靠性。3.增量业务数据信息抽取。 业务数据库信息抽取方法。

19、有以下几种模式：通过数据库标示信息来抽取数据：对于规范的数据库结构，可以通过数据库表字段来标示信息是否已被抽取，从而达到获取增量数据的目的，此方法适用于数据集成厂商同应用开发商为同一家公司的情况，本方法简单、不影响业务系统的运行速度。触发器模式抽取数据：对于结构已经固定并且没有抽取信息字段标示信息的数据，可采用本方法抽取增量数据。数据库日志同步模式抽取数据：对于同种兼容的数据库，可采用本方法实现增量数据的获取。数据时间戳方式抽取数据：对于有时间段标示的增量数据，通过记录数据抽取日志，定时按时间段增量抽取数据4.网页及其他媒介信息抽取。搜索引擎产品自带的“网络爬虫“可以不间断的获得可访问的网络通

20、路上的任何资源，并动态更新资源的快照以缓存资源。3.4 综合库建设具备数据分析与辅助决策功能，是综合应用的设计目标之一。它与一般统计功能区别在以下几方面：综合应用系统的分析与决策功能，是为高层领导和指挥决策人员服务的。它能在大量数据中，发现规律，找出问题，从而为打击、预防犯罪以及提高部门的管理水平提供有力的辅助手段。一般统计功能往往只能输出预先定义好的报表，而决策与分析系统则是针对特定主题，从宏观的，历史的角度对信息进行分析挖掘，从而得出结论的一个过程。决策与分析系统需要在具有大量参考数据和高性能数据库系统的基础之上，利用专用的数据分析与挖掘工具软件实现辅助决策的功能。以下将对能够实现数据分析

21、与挖掘功能的综合库解决方案进行简要概述。3.4.1 建设内容3.4.1.1 体系架构 综合库建设体系架构包括三层架构，第一层为数据存储层，是所有数据的来源地，包括所有公安业务数据库，公安部数据库，社会信息数据库（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口），网页等非结构化数据，信息采集平台采集的人工采集数据，第二层为数据整合层，完成对数据存储层数据的整合，第三层为整合以后生成的综合库，包括全文检索库，基础业务库和数据仓库3.4.1.2 综合库内容综合库包括以下几个数据库：1全文检索数据库 新增全文检索库，主要提供对非结构化数据的存储和全文检索功能，信息包括：公安网上各级网

22、站信息，包括：公安部、各省公安厅、地市公安局的门户网站信息，情报研判信息网信息，最新发案情况信息，高危人群信息，典型案例信息等公安局各业务系统业务信息，包括：案事件系统、派出所综合系统、刑侦综合系统，人口系统，交管系统，旅馆业系统，出入境系统，禁毒系统，经侦系统，人事系统，被装系统，民爆系统，违法犯罪人员系统，重大刑事案件系统，消防系统等，同时还包括公安部级数据库（八大资源库）和社会信息数据库（需要安装安全接入平台，同时还需要与其他部门协调获得，系统留有接口）。2基础业务数据库 基础业务数据库是在现有综合库基础上通过增加信息来源而产生的，信息包括现有综合库已经包括业务系统中尚未抽取的数据现有综

23、合库尚未包括业务系统信息采集平台产生的综合应用必需的而业务系统无法覆盖的手工采集数据社会信息数据库（需要安装安全接入平台，同时还需要与其他部门协调获得，系统留有接口）3数据仓库新增数据仓库建设，数据仓库是在基础业务数据库基础上，数据结构以公安部五要素分类为基础，并在上层综合系统的要求下进行一定的扩充，数据将以利于整合信息逻辑、能优化检索速度的格式存储，通过深层次挖掘公安业务信息，按照不同的分析主题（OLAP多维分析）、数据挖掘和情报研判模型，建立模型库、主题库和知识库，应用一定的推理逻辑，实现情报研判和公安宏观分析的自动化，为领导和一线民警提供辅助决策和侦察破案服务。 数据仓库分析主题库建设可

24、以包括治安专题、户籍专题、消防专题、旅客专题、监管专题和民警专题，以下以治安专题为例描述各分析对象的分析维度：接警分析：分析维度：报警方式,事别,报警发生和发现时间的年、月、日处警分析：分析维度：处警单位，处警事别，处警意向，处警时间(时间的年、月、日)，时间段(06；612；1218；1824)刑事案件分析：分析维度：案件的阶段：受理、立案、破案、不立案、侦查终结；案件受理的时间：年、月、日；办案单位：分局、派出所、民警；案件的类别：大案别、二级案别、小案别行政案件分析：分析维度：案件的阶段：受理、裁决处罚、处罚执行、行政复议、行政诉讼；案件受理的时间：年、月、日；办案单位：分局、派出所、民

25、警；案件的类别：大案别、二级案别、小案别多发性案件分析：分析维度：在特定时间范围内各种事别占总案件数的百分比，具体分析每天各时间段(06；612；1218；1824)的案发率多犯罪人员综合分析：分析维度：犯罪人员的年龄，性别，婚姻状况，文化程度，所属行政区划，籍贯，所犯罪别，职业社会治安综合分析：发案率的环比，同比，辖区管辖人口发案率3.4.1.3 综合库数据整合过程1全文检索库的生成：网页等非结构化数据、各数据库数据通过搜索引擎产品自带的“网络爬虫“可以不间断的获得可访问的网络通路上的任何资源，并动态更新资源的快照以缓存资源。通过对数据字段的抽取生成全文检索库2基础业务数据库的生成：公安业务

26、数据库（包括市局各业务部门数据库和区县各业务部门数据库），公安部级数据库（八大资源库），社会信息数据库（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口）通过ETL工具完成数据抽取、清洗，转换，装载到基础业务数据库，ETL工具运行描述如下：标准库建立：首先根据公安部标准，国家标准建立公安业务数据标准，并建立标准库，包括数据字段类型，长度，可选数值和标准代码库数据抽取：以标准库为基础，建立业务库与基础业务数据库的数据映射规则，即数据抽取规则，然后根据数据抽取规则抽取业务库数据到转储数据库中，数据抽取遵循原则参照3.3数据清洗：对转储的业务数据，根据定义的数据清洗规则进行清洗，对于

27、有问题的数据则存储到问题数据库中数据转换：以标准库为基础定义数据转换规则，包括字符集转换，格式转换，代码转换，值转换，根据数据转换规则对经过第一步清洗的数据，进行数据转换数据校验：对完成整合的综合数据通过校验器按定义好的校验规则进行数据校验，找出第二批的问题数据，使得数据的质量进一步提高数据装载：把完成前面步骤的数据装载到基础业务数据库中，产生的数据是经过整合的基础业务数据库3.4.2 平台工具3.4.2.1 ETL工具ETL工具完成定期把公安的各个业务系统中的数据按照新的主题模型加载到数据仓库中去的任务，随着业务需求的发展，有更多的业务系统如人口系统的数据源将通过ETL过程集中并转换到数据仓

28、库中去，目前我们的ETL工具完全可以满足市级公安每天100万条的业务新增数据量。同时我们在选择ETL工具时必须考虑了以下几点性能： 1、对平台的支持2、对数据源的支持3、数据转换功能4、管理和调度功能5、集成和开放管理6、对元数据的管理3.4.2.2 数据仓库的存储我们以公安目前需要的TB级以上数据的需求来看，我们在建设数据库仓库从以下几点来保证系统性能：1、对平台的支持2、对数据源的支持3、数据建模的功能，能方便的建立客户的商业模型4、管理和调度功能5、提供对服务的进度、资源等项目的管理。6、与其它数据仓库的数据迁移功能3.4.2.3 前端展现工具为了满足目前公安系统对计算性能的需求，以及开

29、发人员的开发速度和系统低维护成本的要求，在前端工具的选择上我们从以下几点来保证性能：1、易于使用2、易于设置3、灵活地展现数据仓库的结构，将数据仓库的设计翻译成业务术语。4、能弥补SQL的限制，增加如running totals、跨聚合级别比较数据、排名次等功能。便于最终用户使用，无须编程。5、使用查询和报表的同一工具必须也提供分析能力，这样不需要另外的培训学习，而且也不需要IT人员的帮助将数据从一个工具转换到另一个工具中。6、允许在一个报表中溶入多个数据源的数据。这些数据源可以包括任何异构的关系数据库、OLAP Server和本地数据文件3.4.3 开发方法针对公安系统的业务发展特点，以及采

30、用的基于数据仓库技术的系统架构，我们在项目实施上采用CRISP-DM方法论来规范、指导开发实施人员的工作，我们在开发系统中发现数据仓库项目不单是数据的组织或者呈现，也不仅是数据分析和统计建模，而是一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。我们在系统建设中包括以下六个阶段（如下图所示）：业务理解，数据理解，数据准备，建模，评估和发布。 在项目的具体实施过程中我们将严格按照以下的开发流程。3.4.3.1 业务理解1.找问题确定分析的业务目标2.对现有数据的评估3.确定问题是否能够通过数据分析来解决4.确定数据分析的目标5.制定数据分析的计划3.4.3.2 数据理解1.确定数据分析所需要的数据2.对数据进行描述3.数据的初步探索4.检查数据的质量3.4.3.3 数据准备1.选择数据2.清理数据3.对数据进行重建4.调整数据格式使之适合建模3.4.3.4 建立模型1.对各个模型进行评价2.选择数据分析模型3.建立模型3.4.3.5 模型评估1.评估数据分析的结果2.对整个数据分析过程的前面步骤进行评估3.确定下一步怎么办？是发布模型？还是对数据分析过程进行进一步的调整，产生新的模型3.4.3.6 模型发布1.把数据分析模型的结果送到相应的管理人员手中2.对模型进行日常的监测和维护3.定期更新数据分析模型3.4.4 系统的特点3.4.4.1 基于数据仓库技