大数据的汇聚与大屏展示项目的需求规格说明书.docx

1、大数据的汇聚与大屏展示项目的需求规格说明书数据汇聚及大屏展示项目需求规格说明书二一七年七月文件状态： 草稿 正在修改 正式发布受控状态： 受控 非受控当前版本：文件名：数据汇聚及大屏展示项目_需求规格说明书.doc作者：审核人：批准人：等级：部公开批准日期：修订日期版本号修订说明修订人2017-07-130.1初稿1. 文档介绍1.1. 文档目的介绍数据汇聚及大屏展示项目系统总体情况。明确需要开发的系统及功能模块。明确开发计划要求。1.2. 文档围本文档包括数据汇聚、数据分析、大屏展示的需求规格说明，同时也包括整个系统平台的建设目标、总体结构、网络结构、系统接口描述、用户界面需求和软硬件环境方

2、面的需求规格说明。1.3. 读者对象用户、开发部系统分析组、计划质量部、工程负责人、市场部合同负责人1.4. 术语与缩写解释缩写、术语解释BI商业智能(Business Intelligence)ETL数据的抽取、转换和装载(Extract Transformation Load)DM数据挖掘(Data Mining)DW数据仓库(Data Warehouse)OLTP联机事务处理(On-Line Transaction Processing)OLAP联机分析处理(On-Line Analytical Processing)IAS警情研判与智能分析系统(Information Analysis

3、 System)2. 系统概述2.1. 系统建设目标依据业务需求，通过建立数据汇聚系统实现对警情数据及与警情相关业务的数据的监测分析，全面掌控警情数据运行质态，进而开展业务数据间的关联性分析、地理数据分析研判，为日常业务工作的开展提供全面、准确的信息支持；对历史业务数据进行综合分析，提炼出有意义的业务规律，为管理决策提供数据支持，提高对业务规律的把握能力和管理工作的针对性。本系统建设具体应包含以下系统容：1. 数据汇聚2. 数据分析3. 分析统计4. 大屏展示2.2. 系统总体结构系统逻辑结构图如下：系统的物理结构图如下：3. 系统功能性需求3.1. 软件功能概述其中软件方面的需求分为如下几个

4、模块：一、 数据汇聚二、 数据分析三、 统计分析四、 大屏展示3.2. 数据汇聚3.2.1. 接警表数据的整合目前主要的工作是数据汇聚整合，需求比较迫切，尤其从时间上，要尽快完成使用系统主要涉及到的接警区域有市区，消防系统，另外还有警综平台数据整合要时性，对重大敏感警情要求秒级实时需要整合的详细数据如下：3.2.1.1. 警情类数据汇聚整合1、 接警表数据整合接警表需要整合的字段：、呼叫时间、呼入时间、呼入时长、ID号、报警人、性别、报警人地址、报警人坐标、号、警情发生的地址、警情坐标、警情类别（案由）、报警容、警情所属管辖单位、关注类型、接警区域、敏感属性（片区）、关联重复警情、关联单位（谁

5、来关联的）、接警员工号、接警员、管理信息：入库时间（时间戮）、操作标志（增删改）、自处单位（代码）、推送时间、推送类别、推送单位、是否结束、DS受理单号、接警编号2、 处警表需要整合的字段：暂时先以警综平台为准3、 指令单表（流转）需要整合的数据字段：流程的各个节点状态（比如，到场、签收、反馈等），各个节点的时间，可以按我们的指令单表4、 重大敏感警情表将重大敏感警情数据单独存表3.2.1.2. 未存库（消息形式）数据汇聚整合以消息的形式发送，没有存表的数据1、 基本表以10秒为间隔，从0:00:00开始，来存入表，表的字段包括：开始时间、结束时间、接通率、呼叫量、呼叫早释量、排队早释量、呼入

6、量2、 汇总表（以10分钟时间汇总），表字段与基本表相同：开始时间、结束时间、接通率、呼叫量、呼叫早释量、排队早释量、呼入量3.2.1.3. 接警员数据整合1、 接警员基本信息表接警单位、性别、号、班组、职务、接警员工号2、 接警员班组调整表接警员工号、原班组，调整后班组，调整时间3.3. 数据分析3.3.1. 警情总览根据用户需要，查看、导出或打印指定日期的警情总览信息。具体容：今日、本周、本月、本年的警情，今日警情总览，无效的警情总览，警情总览，接警同环比。可参照省公安厅警情研判系统的界面3.3.2. 和地图结合展示与地图做接口将地图的警情撒点、四色预警、热点渲染、统计图表等在该系统展示3

7、.3.3. 四色预警该子系统利用警务平台中历史处警信息记录，通过计算得出警情常量，用于与当前每天实际发生的警情数相比较，衡量治安状况指标。警情常量按月进行计算，市局及分局的常量分别设日、周、月常量，派出所设周、月的警情常量；其中可供分析的警情类别有：警情总量、盗窃总量、盗窃汽车、盗窃车财物、入室盗窃、两抢、抢劫、抢夺、盗窃和骗取少量财物；通过辖区实时警情数与警情常量值对比，展现当日警情与警情常量的差异。3.3.3.1. 警情状态该模块显示各辖区的四色警情状态、巡防等级、警力投入状态、当前刑事类警情情况。3.3.3.2. 时段分析该模块对一段时间的刑事类警情按白天、夜晚、凌晨、上午、中午、下午、

8、晚上、夜间、24小时，进行分析、以柱状图和表格的形式展示；对某单位不同警情类别按时间段警情统计分析。统计分析条件包括统计单位、起始日期、结束日期、警情类别。可选择的警情类别包括警情总量、盗窃总量、盗窃汽车、盗窃车财物、入室盗窃、两抢、抢劫、抢夺、盗窃和骗取少量财物；对统计条件日期围每天各个时间段警情数分别求和，再求出各个时间段警情发案平均数。统计图中横坐标为24小时时间段，纵坐标为警情数量。3.3.3.3. 走势分析该模块对一段时间的刑事类警情，按照类别、单位，以曲线图的方式展现。并使用常见的预测分析算法对全市（分县局）的警情发案数据进行预测分析（可预测下一周、下一月的数据），以图表的形式进行

9、展示。具体算法可使用多项式曲线法、指数曲线法、移动平均法、指数平滑法、周期变动法等；统计分析条件包括统计方式、统计单位、起始日期、结束日期、警情类别；统计方式包括按日统计、按月统计、按年统计；可选择的警情类别包括警情总量、盗窃总量、盗窃汽车、盗窃车财物、入室盗窃、两抢、抢劫、抢夺、盗窃和骗取少量财物。统计结果以折线图展示，纵坐标为警情数，横坐标按不同统计方式而改变。按日统计时，横坐标为统计条件日期围每天具体日期，每天警情数在图中表示为一个坐标点；按月统计时，横坐标为统计条件日期围各个月份值，每月警情数为一个坐标点；按年统计时，横坐标为统计条件日期围各个年份值，每年警情数为一个坐标点。3.3.3

10、.4. 区域分析该模块对不同警情类别按地域警情统计分析。统计分析条件包括统计单位、起始日期、结束日期、警情类别。3.3.3.5. 警情指标该模块对四色警情常量的算法进行说明，设定，并提供当前各单位的警情常量和报警阀值。3.3.3.6. 警情统计该模块对一段时间，辖区单位的四色警情数据进行统计，可以分别以市局、分县局、派出所、社区（巡区）为单位进行统计。3.3.3.7. 历史查询该模块对历史上某一日、周、月的四色警情数据进行查询，可以看该时间段的四色警情数据。3.3.3.8. 变化监测该模块对当前警情数据按日、周、旬、月、季度变化最大的单位（分县局、派出所、社区、巡区）进行排序。3.3.4. 全

11、文检索该模块对一定时间段的接处警数据进行全文检索，对检索出来的结果，可以按照警情类别、管辖单位，时间等定义项进行分类统计，并可进行上钻、下钻和二次检索；可以自由设定一定的检索模板进行保存，以便自由调用。3.3.5. 专题分析该模块通过建立一定的计算模型，实现对关注主题的结果进行展示，可以自由搭建运算模型和展示界面，初期形成以下几个计算展示模型：“两抢一盗”、“盗窃”（“扒窃”、“入室盗窃”、“盗窃车财物”、“盗窃机动车”）、“治安类警情”、“伤害、打架斗殴”、“重大交通事故”、“火警分析”、“群众求助类”。3.3.6. 警情通报该模块对警情按选择的设定模板进行统计，自动生成固定格式的word通

12、报文件，可在线编辑、导出。其中发布模版可灵活配置；警情通报模板设置中，对警情模板进行增加、修改、删除等管理工作，可设置多个模板，如按日、月、季度、年设定，按照警情类别设定、按照单位进行设定。警情通报分为：每日警情通报、每周警情通报、每月警情通报和全年警情通报，任意两时段通报，有效警情查询。3.3.7. 常见以关键字容分析1关键字出现频率高的警情分析一段时间，某些警情类别突然比以前有所提高，目前只能根据警情容包含的关键字出现频率高来判断，但是准确率不高2敏感类的和季节相关的，比如积水，和去年同期相比，积水点在哪些区域长假的交通事故、重大会议期间等类似情况，难点在怎样提取关键字3.3.8. 重大敏

13、感警情全流程监控展示1已办结的重大敏感警情分析对于已办结的重大敏感警情以列表的形式展现，可以查询，详情展现整个警的全过程（从接警到办结的整个过程，每个流程节点都需要展现），包括附件，视频图像等2未办结的重大敏感警情分析对于正在处理的重大敏感警情，监控目前处理到哪一步，组织力量有哪些，可以实时监控3.3.9. 一般警情通过异常数据关注对于一般警情，关注的是异常，有没有形成闭环，有没有数据丢失（人员未登记、物品未登记等），是否有视频未上传、视频在多个警情里重复用（目前技术上能否解决重复用，是个问题），另外要关注警单质量，违规情况主要有以下情况1分局自接警的警单报警是否有部，是否有视频未上传、视频在

14、多个警情里重复用（目前技术上能否解决重复用，是个问题），主要是防止造假2违规关联，类别、容不一致的要列出来处警反馈容与报警容一致，是否是从接警容复制过去的，要进行异常检测，并定期列出来3对于重复报警，异常的也列出来，接警时给于提示，比如精神病人多次报警，目前有黑，但是不敢用4重点关注警情，推送到调度台的是和报警容，要把以前打过多少，及以前报警的相关信息一并列出来3.4. 分析统计分析统计包括：按案由查询同环比、按行政区划查询同环比、警情分析。3.4.1. 按案由查询同环比按案由查询今日、本周、本月以及本年同环比，案由时间段查询同环比图。3.4.2. 按行政区划查询同环比今日、本周、本月以及本年

15、各行政区划按案由查询同环比。3.4.3. 警情分析案由时间行政区划统计查询、出警时间统计分析、两时间段接警查询比较、接警情况统计表、接警情况统计月报、到场效率统计表、处警效率统计表、警情坐标采集统计表、四图联动。3.4.4. 重复报警统计当天、本周、本月接到重复报警多少，接警环节定了多少重复报警，分析都是哪些类别的警情，比如，报警迟缓、不出警、骚扰、敲诈勒索、多次拨打等等3.4.5. 接警员接警量统计按工号、所属班组、平均时长、类别、数量进行统计，并按所属班组进行排名3.4.6. 统计分析转换率到立案率比如违法犯罪类警情，一天接警400-500,实际处警100-200,立案的数量会更少，立案的

16、是否按原始警情，是否大类变了，转换率多少，立案率多少3.5. 大屏展示3.5.1. 坐席情况展示工号、班次、照片、接警数、自处警数、平均每小时接警数以每个坐席占一方格的形式在大屏上展示3.5.2. 坐席状态展示每个坐席以图（工号、状态）的形式展示，鼠标点上可看详情4. 系统非功能性需求4.1. 性能、并发性需求4.1.1. 系统整体性能及并发性要求对系统性能、并发性需求要做到如下几点：1) 系统打开登录页面前的加载时间少于10秒2) 系统加载多维分析数据和报表数据的时间少于5秒3) 统计功能点击响应的时间要小于2秒4) 查询功能点击响应的时间要小于2秒5) 一般功能点击响应的时间要小于1秒4.

17、2. 安全及性需求4.2.1. 敏感数据加密1) 提出者信息a) 提出者b) 提出者分类用户c) 提出时间需求分析阶段2) 提出原因和考虑在一个软件系统中，用户的密码是最重要的，用户密码外泄将严重威胁到系统的安全、系统重要数据的安全，为此系统应该提供对用户密码数据的加密保护功能。3) 安全性需求描述在系统中需要用户输入密码的地方以*显示，用户密码在网络传输和存储时应加密处理，防止用户密码外泄。4.2.2. 角色权限分配1） 提出者信息a) 提出者b) 提出者分类用户c) 提出时间需求分析阶段2） 提出原因和考虑本系统的权限一方面包括对数据和管理方面的操作权限分配，另一方面又包括对系统加载资源的

18、权限分配，要达到用户可以自己方便的设置各种权限组合，方便用户的管理，因此采用用户角色权限这样的权限分配策略，用户可以分配一种或几种角色，一种角色可以分配一种权限或几种权限，每种角色还可以分配一个或几个资源的访问权限。3） 安全性需求描述本系统的权限划分为完全控制、写入、修改、读取和修改密码五种。完全控制的权限最大包括写入、修改、读取和修改密码；写入权限是指具备新增数据的权限；修改权限是指具备修改数据的权限；读取权限是指只具备查看数据的权限；修改密码的权限是指具备修改密码模块的操作权限。4.3. 可靠性需求4.3.1. 运行可靠性1) 提出者信息a) 提出者b) 提出者分类用户c) 提出时间需求

19、分析阶段2) 提出原因和考虑系统上线后能稳定运行，保证用户日常统计分析业务正常开展。3) 可靠性需求描述对于功能性错误要给出友好提示，对于影响系统正常运行的错误每年不超过1次。4.3.2. 数据可靠性1） 提出者信息a) 提出者b) 提出者分类用户c) 提出时间项目需求分析阶段2） 提出原因和考虑本系统是基于数据的分析研判系统，保证基础数据的可靠性是所有分析业务正确运行的基础。3） 可靠性需求描述要保证抽取到数据仓库的数据的安全性、正确性、一致性，ETL程序能重复执行。4.4. 可维护性需求4.4.1. 功能模块配置优化1) 提出者信息a) 提出者b) 提出者分类用户c) 提出时间需求分析阶段

20、2) 提出原因和考虑对于不同级别的用户，可以方便的定制含有不同功能模块的版本。3) 可维护性需求描述根据系统不同的功能特性，将系统划分为标准版、专业版、旗舰版，可以通过可视化配置工具进行功能剪裁以满足不同用户的需求。5. 系统总体设计5.1. 设计原则5.1.1. 统一性原则系统所需数据从警综平台、DS三台合一系统、消防系统中获取，按照统一的数据标准存储和进行ETL数据抽取，保障了数据格式的一致性，遵从统一性原则。5.1.2. 标准化原则数据汇聚及大屏展示系统应严格遵循行业相关标准，按照一定的数据规、技术规和业务规，进行设计、实施。5.1.3. 稳定可靠性原则数据汇聚及大屏展示系统数据是公安信

21、息化中重要的分析数据，因此要通过多种安全技术手段和防护手段，保证系统自身的安全性，保证服务不会中断。采用多种技术来避免数据出错、丢失、损坏，系统应保证高稳定、高可靠，确保系统平稳运行。5.1.4. 可扩展性原则数据汇聚及大屏展示系统充分考虑现有及将来各种公安应用系统的接入需要，在结构、容量、通信能力、产品升级、处理能力、数据库、软件开发等方面具备良好的可扩展性和灵活性。数据汇聚及大屏展示系统采用平台化设计方法，按照平台化的设计思想，应对现有的应用、数据库和以后新增加的应用、数据库的变化，由实施者自行通过各种工具配置完成。数据汇聚及大屏展示系统采用插件化设计方法，对各种业务服务功能采用插件化设计

22、模式，方便开发、定义、加载，卸载和扩展各种业务服务模型。采用挖掘引擎框架，方便扩展各种挖掘模型算法；采用信息交换平台框架，方便扩展各种对外信息交换系统接口。数据汇聚及大屏展示系统基于SOA架构，能适应以后业务需求变更，以及接入其他的业务系统等需求，使得系统的扩展性和兼容性更好。5.1.5. 先进性原则在整体架构上要兼顾当前实用和今后的发展，有选择地适当采取当今国际上成熟、主流并领先的产品和技术以适应更高的数据处理要求，使整个架构体现在一定时期保持技术上的先进，并具有良好的扩展潜力，以适应未来业务的发展和技术升级的需要。5.1.6. 易操作性原则系统设计应坚持采用简单有效实用的指导方针，合理地平

23、衡技术的先进性与易操作性，提供简便而不简单，直观而不繁琐的操作界面。5.1.7. 安全原则数据汇聚及大屏展示系统应以安全为首要前提，确保系统的安全性、性，确保系统安全运行。系统运行在公安网上，以满足分析系统的安全要求。5.2. 系统技术要求5.2.1. 数据支持要求系统要能提供对各种不同格式数据的访问接口；包括关系数据库（各种公共信息资源库、业务数据库等）Oracle、Excel、文本文件等，分析数据在存中运行。数据汇聚及大屏展示系统通过ETL平台和基础平台的外部系统集成接口，完成对各种不同格式数据的访问。包括关系数据库（各种公共信息资源库、业务数据库等）Oracle、SQL Server、E

24、xcel、Access、文本文件等。利用多维数据集可在存中对数据仓库数据进行多维分析，利用数据分析引擎可在存中完成各种模型算法的计算和分析，利用预警分析引擎可以在存中完成各种预警模型和预警分级模型的计算，由于大量的计算均在服务器存中完成，因此系统运行性能高效。5.2.2. 分析服务和引擎要求提供后台成熟的图形化多维分析引擎及服务器支持，分析服务器要提供多用户并发分析请求下高性能及负载要求，同时支持关联查询逻辑便于在线与离线分析。数据汇聚及大屏展示系统利用业界先进的SQL Server 2008 R2 SSAS商业智能多维分析引擎提供后台高性能的多维分析功能；利用业界先进的SQL Server

25、2008 R2 SSRS报表分析服务提供后台高性能的报表分析功能；利用多种成熟的分析服务提供完善的分析模型；利用业界最优秀的数据图表服务组件Dundas和Telerik组件在前端展现多维分析以及报表；利用业界先进的全文检索引擎配合的智能检索业务服务，提供强大的高性能的多维智能检索服务，同时支持关联查询逻辑便于在线与离线分析。系统通过和高性能服务器的配合，使分析服务器能提供多用户并发分析请求下高性能及负载要求。5.2.3. 系统扩展性要求支持分布式集群部署，适应随着用户数据量及业务分析需求增长的分析服务器扩展需求。数据汇聚及大屏展示系统采用Windows Server 2008为操作系统，支持分

26、布式集群部署，数据仓库、ETL服务、多维分析服务、数据分析服务、Web Server等服务可分布式集群部署，当用户数据量及业务分析需求增长时，可通过增加分析服务器达到业务扩展的需求。系统架构采用基于SOA架构的分布式平台设计模式，采用业务插件模式扩展业务功能，业务功能可更加用户的需求方便扩展和部署。5.3. 系统运行流程系统业务运行处理流程如下图所示：系统数据处理流程如下图所示：5.4. 系统的逻辑结构5.4.1. 基础通信网基础通信网络是数据汇聚的大屏展示系统的基础和支撑。本项目涉及的基础通信网络为公安信息网。5.4.2. 基础硬件环境基础硬件设施包括服务器、存储设备、网络设备、安全接入设备

27、等，为上层软件和数据提供可靠、完备的软硬件运行环境。5.4.3. 数据库平台数据库平台为数据汇聚和大屏展示系统构建的综合资源数据库。在此数据库上构建数据仓库和多维数据集，采用ETL技术将警综平台系统中警情数据定时导入到数据仓库中，并加以处理。数据仓库和多维数据集中的数据是进行警情监测和分析预警的数据基础。对于ETL过程中无法导入的数据统一作为不规数据保存。5.4.4. 支撑平台5.4.5. 服务系统服务系统是为数据汇聚的大屏展示系统中各业务子系统和模块提供后台服务的平台。主要包括分析引擎、预警模型、OLAP模块，以及对各业务服务的封装。5.4.6. 应用系统应用信息系统是用户使用和操作层，涵盖

28、系统中所有业务功能，主要包括四色预警子系统、多维分析子系统，数据监测、智能搜索等业务功能。5.4.7. 安全体系安全体系主要提供用户在使用数据汇聚的大屏展示系统的过程中的数据访问、用户信息等功能的安全性保障。5.4.8. 运行保障体系5.4.9. 技术标准规体系为支撑整个数据汇聚及大屏展示系统的数据规和标准，通过制定数据规、代码规等标准，建立相关技术标准体系和框架，以指导系统研制、建设、使用和运行管理。5.5. 系统框架结构数据汇聚及大屏展示系统所有除流程定义部分的功能，其他均应采用应用框架设计模式，应用框架是在windows操作系统，.Ne基础框架t之上，供业务应用使用的框架。系统所有系统服

29、务均封装在应用框架之，在应用框架细分为跨领域框架和领域框架，其所包含的服务如下图所示：5.6. 关键技术选型与分析我们将省公安厅警情分析系统项目作为公司的重点建设项目，因此本次建设，我们选用了业界和公司最先进的技术路线。 数据仓库选择 我们选用了可用性强、可扩展性强、数据安全性强、稳定性强的oracle、SQL Server 2008 R2 数据库。 数据抽取技术选择 我们选用ETL工具和SQL相结合的抽取方案，通过快速的建立起ETL工程，屏蔽复杂的编码任务，提高速度，降低难度。 OLAP技术选择 我们选用业界流行的SQL Server 2008 R2 SSAS系统作为OLAP工具，通过SSA

30、S，用户可以快速访问多维数据集，大大提高分析效率。 开发平台的选择 我们选用.Net技术作为系统的开发平台，.Net对XML、Web Service的支持明显优于Java，而且，提供了更为便捷的开发、调试、部署环境，同时，与微软的BizTalk、Office等系统可以无缝衔接。此外，.Net是构建于操作系统之上的虚拟平台，提供了更为强健的安全系统。 我们选用 Silverlight技术作为系统的前端展示开发平台，Silverlight技术作为新一代的用户交互技术，提供了强大的展现效果和操作性，使得用户在使用分析系统使能得到更好的分析体验。 系统架构设计 系统通过架构于先进的B/S三层应用体系结构之上，用户界面完全通过WWW浏览器实现，一部分事务逻辑在前端实现，但是主要事务逻辑在服务器端实现。6. 外部接口说明6.1. PGIS接口直接调用PGIS热点分析、警情定位、警情上图等相关页面，以页面传参的方式进行相关PGIS功能的展示。6.2. 云指挥平台重大警情推送接口由云指挥平台自动将重大警情推送到警情分析系统中，警情分析系统负责展示。6.3. 警综平台对接接口1.警综平台的接