应急管理综合应用平台数据治理系统解决方案.docx
《应急管理综合应用平台数据治理系统解决方案.docx》由会员分享，可在线阅读，更多相关《应急管理综合应用平台数据治理系统解决方案.docx（54页珍藏版）》请在冰豆网上搜索。
应急管理综合应用平台数据治理系统解决方案
应急管理数据治理系统
建设方案
5.系统功能
5.1信息资源规划
地方应急管理部门应在应急管理部编制的信息资源目录的基础上，补充梳理本省应急管理信息资源，并按照相关规范要求进行编目，为应急管理业务系统和政务服务提供数据资源清单，并定期与部级数据治理系统的资源目录实现同步，为数据接入、数据汇聚、数据存储、数据交换、数据应用提供技术约束，确保数据治理工作规范、统一、有据。
5.1.1信息资源
应急管理数据治理系统建设是一项长期的工作，数据资源池中存储和接入的信息资源类型不断丰富、数据量不断增长数据来源单位范围逐步扩大。
本期信息资源的采集范围主要包括以下单位：
应急管理各转录部门以及林业、交通运输、国土资源、地震、城管、消防、民政、气象等单位。
采集数据类型主要包括：
1、各单位应急相关基础数据，危险源、防护目标、地理信息等。
2、各单位应急资源数据，包括救援队伍信息、应急专家、应急救援物资装备信息等。
3、各单位实时监测监控数据，如气象信息、舆情信息等。
4、各单位应急相关业务数据，包括预案、案例、法律法规信息、安全生产监管的相关信息等。
5、各单位专业预测信息，如气象预测信息、地震预测预警信息等。
5.1.2信息要素规划
根据应急管理业务的数据特征，以相关要素为基础，将应急管理业务中可以进行信息化处理的数据进行分类。
5.1.3信息资源目录编制
本项目将依照《政务信息资源目录编制指南（试行）》、GB/T21063.1-2007及GB/T21063.3-2007等相关指南和标准的要求，结合应急管理部的管理需要，梳理应急管理信息资源，规划应急管理元数据范围，编制完成标准《应急管理信息资源资源目录》。
基于应急管理信息要素，将应急管理信息资源进行汇总融合，可形成包括最小的一级分类。
基于一级分类，将关联于同一信息要素的不同职能或不同对象进行子类划分，形成信息资源二级分类。
对二级分类下的业务流程或业务处理对象进行信息资源再划分，形成信息资源三级分类。
5.1.4分类管理
按类别管理。
5.1.5综合查询
综合查询。
5.1.6定期更新
形成完备的更新机制。
5.1.7绩效考核
根据资源规划情况进行考核。
5.2数据接入
数据接入主要提供统一的数据汇聚功能，将纷繁复杂、格式各样的外部关联部门业务系统、应急管理内部业务系统、互联网业务系统的数据接入到数据治理平台中，方便和外部系统进行数据交换，为上层大数据应用支撑平台的业务分析工作提供数据源。
5.2.1数据接入方式
从数据来源分布来看，本次项目建设接入数据包括外部关联部门数据、应急管理厅内部业务部门数据、互联网公开数据、感知数据等。
针对不同来源数据采用不同的数据接入方式。
5.2.1.1外部关联部门数据接入方式
对于林业、交通运输、国土资源、地震、城管、消防、民政、气象等外部相关部门业务系统数据可通过数据交换平台获取，引接方式遵从平台规定方式进行，目前主要提供库表交换、服务接口调用、文件上传方式。
5.2.1.2应急管理厅内部业务部门数据接入方式
对于黑龙江应急管理厅等应急管理厅内部业务部门的数据，可通过前置系统采用数据抽取、接口调用、消息服务的方式进行数据接入。
5.2.1.3互联网公开数据接入方式
对于来自互联网以及社会企业的舆情数据可通过互联网单向传输设备接入到数据资源池。
5.2.1.4感知数据接入方式
对于来源于GPS与北斗定位及速度、方向等实时定位设备、各单位实时监测监控数据，可通过接口实时接入或定点接收的方式实现数据接入。
5.2.1.5其他数据
对于没有IT系统支撑的业务数据，还可采用人工填报，XLS表格导入的方式实现数据接入。
5.2.2系统功能
数据接入子系统提供数据探查、数据读取、数据对账等功能模块。
5.2.2.1数据探查
数据探查是指通过对来源数据存储位置、提供方式、总量和更新情况、业务含义、字段格式语义和取值分布、数据结构、数据质量等进行多维度探查，以达到认识数据的目的，为数据定义提供依据。
5.2.2.2数据读取
数据读取是指从源系统抽取数据或从指定位置读取数据，检查数据是否与数据定义一致：
不一致的停止接入，并重新进行数据的探查和定义；一致的执行进一步接入，对数据进行必要的解密、解压操作，生成作用于数据全生命周期的记录ID，并对数据进行字符集转换等，将其转成符合数据处理要求的格式。
5.2.2.3数据对账
数据对账是针对数据接入环节，对数据提供方和数据接入方在某一对账节点的完整性、一致性、正确性进行核对和检验的过程。
如果在某一对账时间点数据提供方和数据接入方分别对应的数据条数不一致，说明对账出现异常，记录异常，在必要时需告警。
5.2.2.4断点续传
系统应该提供基于消息的数据传输服务，从一个应用系统传输数据实体和数据格式到另一个应用系统，每个传输服务可以运行多个传输实体。
另外系统也提供断点处理功能，用户可以通过流程诊断工具查看流程发生错误的断点，用户可以只修改发生错误的断点处的消息，然后把该消息重新发送，而不是回退和重新发送整个流程。
5.2.2.5任务管理
主要实现对数据接入任务的管理，支持数据接入任务的创建、查询、删除等功能，并可指定接入任务所使用的抽取方法、转换规则和加载方式，并根据指定类型进行任务的调度执行。
5.2.2.6数据分发
将预处理后的数据按需分发到资源库、主题库、业务库，更新维护原始库，以及向请求方反馈数据。
5.3数据处理
数据处理主要是针对数据接入系统汇聚的结构化数据记录、半结构化文本等具体数据内容建立标准化的数据处理模式，经过处理后的数据存储在应急管理数据资源池中。
数据处理子系统提供数据探查、提取、清洗、转换、关联、比对、标识、融合等功能模块。
5.3.1数据处理场景
5.3.1.1从前置库到原始库
数据处理系统通过数据接入系统接入到前置库中的数据，这些数据包括各业务系统中的结构化数据和非结构化数据，通过数据探查和数据提取等手段，对前置库的数据进行探查分析，提取出数据源信息，并将非结构化数据的关键文字信息如森林草原林火视频监控数据中的时间等提取出来，整个数据处理过程处理后的数据会落入原始库中。
5.3.1.2从原始库到资源库
原始库的数据经过数据比对、数据提取、数据关联、数据转换、数据清洗等处理过程，将数据加工成符合标准规范的数据。
例如人员伤亡表的数据处理工作，经过比对人员伤亡表中的各个字段和标准数据元的差异，将标准数据元与原始表进行关联，如身份证号，然后进行转换和清洗。
5.3.1.3从资源库到主题库
资源库的数据经过数据比对、数据关联、数据融合、数据标识的处理过程，将资源库的数据映射到灾害事故、管理对象、应急环境、救援资源、动态感知五大信息分类中，并详细对应到各信息分类中与森林防火相关的二级、三级主题库中。
例如“地”主题中的关键基础设施主题，需要比对关键基础设施表与资源库中表的数据结构差异，选择有效的字段关联、融合数据到关键基础设施主题中。
5.3.1.4从主题库到专题库
主题库的数据经过数据比对、数据关联、数据融合、数据表示的处理过程，将灾害事故、管理对象、应急环境、救援资源、动态感知五大信息分类中的数据提取出来，按照森林防火专题库所需要的方式进行组织。
5.3.2系统功能
5.3.2.1数据探查
数据探查功能组件主要对业务缓冲库和原始库中的数据进行探查分析，以便对待汇聚整合的数据有一个清晰的了解，进而提取出数据源头的元数据信息，为后续的数据处理过程提供管理、业务、技术等方面的支撑。
业务探查：
对来源表的业务含义进行探查，以便能准确地理解和描述数据。
接入方式探查：
对来源表的存储位置、提供方式进行探查，为数据接入规则定义和数据处理、组织提供依据。
字段探查：
对具体字段的数据内容进行探查，识别其代表的含义和统计分布情况。
空值率探查：
统计字段空值占比情况，一方面可重点关注空值率高的重要字段，另一方面可通过与历史情况比较及时发现数据质量的动态变化。
值域及分布探查：
对字段的值域范围以及分布情况进行探查。
命名实体探查：
根据数据内容识别人名、地名、机构名、手机号等命名实体，帮助理解字段语义。
数据元探查：
根据字段名字及内容，探查字段的确切语义，并与数据元标准进行映射。
类型及格式探查：
探查字段的类型及格式是否符合规范。
数据集探查：
对来源数据集表名、引用数据元等进行探查，确定数据集是否是标准数据集。
探查数据总量、增量及更新情况，为数据接入、处理和组织提供依据。
问题数据探查：
探查字段中不符合规范的数据，为后续数据清洗规则的制定提供依据。
数据推送：
把数据探查的结果信息推送到数据清洗组件、数据转换组件以及元数据库中，为相关组件的规则制定，流程分发等提供必要的信息。
5.3.2.2数据提取
数据提取是原始数据进行规范化处理的过程，主要针对半结构化数据，通过数据提取过程，从这些半结构化数据中提取出人员、机构、应急物资、事件等相关信息，并将提取的信息以结构化形式进行存储。
5.3.2.2.1半结构化文件内容提取
主要针对存在于原始库中的半结构化数据，根据文件中的内容，提取出业务需要的数据内容。
常见的半结构化数据类型包括：
XML、CSV、TXT、Word、Excel等文件。
数据缓存：
对XML、CSV、TXT、Word、Excel文件解析出来的结构化信息缓存的功能。
数据封装：
对解析出来的数据进行数据封装，形成标准化的数据结构。
数据推送：
推送封装好的结构化数据到资源库、主题库。
源数据索引：
需实现对原始半结构化数据的索引能力，便于对提取后的结果进行溯源追踪。
5.3.2.2.2非结构化文件内容提取
多媒体信息提取：
从图片、语音、视频等多媒体数据中提取文字、图片等信息。
如从相关图片中提取文本信息，从视频信息中提取关键帧信息，对图片中出现的二维码进行解析识别，提取包含的文字信息、链接信息等。
生物特征提取：
从海量图像、视频、音频信息中提取人脸、人声等信息，为应急救援提供数据支撑。
如从人事管理系统中的人员照片信息提取人脸特征信息、从各类视频信息中提取人脸信息，识别出涉及的领导人员信息等。
全文信息提取：
主要是从海量文本数据中提取姓名、身份证号、电话号码、车牌号码、社会统一信用代码、企业名称、地址、时间等信息。
如从安全生产诚信管理系统的黑白红名单中提取企业名称、社会统一信用代码等企业组织要素信息，从评估报告信息中提取灾害事故的发生时间、地点、伤亡情况等结构化要素信息。
如从业务信息系统中对接的Word格式的文献文件内容中提取单位名称、姓名等要素信息。
5.3.2.3数据清洗
数据清洗是对业务数据中不符合标准规范或者无效的数据进行相关操作。
在进行数据整合之前先定义数据的清洗规则，并对符合清洗规则的数据设置数据的错误级别。
当进行数据整合过程中遇到符合清洗规则的数据时，系统将把这些业务数据置为问题数据，并根据错误的严重程度进行归类。
对出现的问题数据进行标记后存入问题数据库中，经确认后再决定是通过清洗转换后入库，还是直接放弃，抑或其他方式处理。
对于清洗前后的数据还需进行一致性检查，以保证清洗结果集的质量。
5.3.2.4数据转换
本次数据治理项目涉及多个部门、多个业务系统中的数据。
不同系统有不同的数据结构定义，数据汇聚在一起后就会产生数据格式不规范统一、数据命名不规范统一、数据编码不规范统一、数据标识不规范统一。
这样的数据是无法支撑业务应用需要的，因此需要对汇集的数据进行数据格式规范统一、数据命名规范统一、数据编码规范统一、数据标识不规范统一等数据转换处理。
具体数据转换组件包括以下功能：
数据命名转换：
通过比对标准数据元和实际数据表中的数据项，如果比对结果一致，则不需要转换处理，如果比对结果不一致，要按照标准数据元中规定的命名进行转换。
数据类型转换：
通过比对标准数据元和实际数据表中的数据项，如果比对结果一致，则不需要转换处理，如果比对结果不一致，要按照标准数据元中规定的数据类型进行转换。
按照标准规范将不同来源、不同格式的数据转换成统一的标准化数据格式。
平台将建立一系列的数据标准，进入平台的数据都必须遵循这些标准，只有这样才能保证平台上层应用的调用数据的通用性和应用之间充分的信息共享。
需要做的格式统一有以下几种：
全角转半角、电话号码转换、URL形式转换、身份证件号码转换、社会统一信用代码转换、时间格式转换、经纬度等数据标准化类型。
身份证号码和社会统一信用代码标准化是将身份证位数统一为18位半角字符，字母字符转为大写字符，电话号码标准化主要是保留源数据的数字字符部分，去除加减号、空格等特殊字符，仅保留有效的数字字符内容。
特定字段全角转半角（URL、账号等信息）。
时间标准化即将“yyyy-MM-ddHH:
mm:
ss”、“yyyyMMddHHmmss”等各种时间格式值，这些格式也统一转成平台定义的标准时间格式。
经纬度标准化主要将各种经纬度坐标系统一转换为2000国家大地坐标系，经纬度数值统一为十进制数值格式。
所有数据格式标准化后的字段单独存储，原字段予以保留。
数据编码转换：
比对标准数据元和实际数据表中的数据项，如果比对结果一致，则不需要转换处理，如果比对结果不一致，需要按照标准数据元中规定的标准编码进行转换。
将来源于不同系统的不同数据字典转化为标准数据字典。
视频转码：
由于应急管理数据治理工程中的视频信息来源于不同终端设备，且多经由异构通信网络进行传输，因此需要进行视频转码，将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求，并保证服务质量。
数据标识转换：
通过数据元和数据表字段的关联，根据关联关系自动生成可执行的转换规则，进行数据标识的转换。
标准地址转换：
对地址要素不完整、文字表达不一致的地址信息进行标准化处理。
依托民政的标准化地址库及互联网公开的POI地址信息库，形成应急相关的地址标准基础库，对应急采集的地址信息进行标准化处理。
为保障数据转换处理过程不会造成数据丢失，数据转换模块需要支持断点功能。
5.3.2.5数据关联
数据关联组件需要完成在不同数据集之间的关联，实现在不同数据集的联动，为数据治理、业务应用的需求提供支撑。
根据数据处理流程设计的要求，数据关联组件的功能包括：
标准关联、字典关联、半结构化关联、关联回填。
标准关联：
在资源库中设计了标准的数据元体系，作为数据资源中心的数据规范基础。
数据元是最小的数据单位。
在数据关联系统中，需要通过手工或更智能的方式实现各种不同编码的原始数据和标准数据元的关联。
数据字典、属性及相关含义的关联：
如灾害等级与灾害类别关联、自然灾害和灾害地点关联、单位代码和单位名称关联、救援物资与物资类别关联等。
半结构化与结构化的关联：
对半结构化数据进行提取结构化信息后，按照关键字（如灾害地点相同、灾害时间相同、灾害诱因相同）等进行关联，构建数据关联关系。
如从业务信息系统中对接的Word格式的文献文件，通过提取出的文献内容，通过事件的时间、地点查询相应火灾灾情库中的灾情信息进行关联。
关联回填：
两个或两个以上数据集之间通过某种信息建立关联关系之后，根据实际业务的需要，可以对这两个数据集中的数据进行相互补充。
5.3.2.6数据比对
通过数据比对功能实现对两个数据集中的数据内容、数据格式的比较核查，找出相同的数据或不同的数据。
在业务应用场景上主要实现以下数据比对功能。
数据项与标准数据元比对：
实现原始数据表中的数据与标准数据元数据的比对，比对的内容包括数据命名、数据标识、数据格式、数据值域、数据编码、数据类型等数据的比对，数据比对的结果为一致或不一致。
不同数据项集比对：
实现两个数据项集的交集、补集，以满足数据检索的需求。
5.3.2.7数据标识
数据标识模块依托标签引擎结合应急业务知识库、标签规则库对数据进行标识。
标签规则库提供标签的定义、内容、版本、关联等，通过读取标签规则库的内容，对数据进行映射，通过人工或智能的方式实现对数据打标，以便提升数据的价值密度，并为上层应用提供支撑。
根据标签规则库提供的规则接口，数据标识过程分为以下三类：
基础标签标识：
根据基础标签定义的规则，对数据进行规则筛选，符合规则的数据增添一列基础标签。
业务标签标识：
按照业务数据模型管理数据，根据标签规则库提供的标签元数据信息，在资源库中找到标签所需的相关联的数据，根据规则进行合并、汇总等工作，得到的数据按照标签定义增加一列内容到目标数据中。
智能标签标识：
据标签规则库提供的模型接口，将相应的数据输入模型进行计算，将计算后的结果按照标签规则库定义的标签内容增加一列业务标签到目标数据中。
5.3.2.8数据融合
标准化去噪后的数据需要采取必要的数据融合手段，按照应急管理的主题库、专题库以及数据应用需要的方式组织，以支撑应急管理单位的数据需求。
在数据融合的过程中，应该以合理的方式设计数据结构，保障数据应用对数据高效分析查询的同时，尽可能的减少冗余。
数据融合处理过程贯穿主题库、专题库和数据应用的建设过程，详细如下：
数据融合的关键功能模块包括模型加工和汇总加工。
各功能模块的详细描述如下：
模型加工：
主要包含数据合并、数据覆盖、数据切分功能，其中数据合并需要通过函数、分组或转列的方式完成数据的表合并和列合并。
数据覆盖功能需要依赖数据比对的结果，将新增和修改的记录覆盖到目标表中。
数据切分需要通过行筛选、列提取或表提取等方式将相同数据对象的结果表进行切分合并。
汇总加工：
按照公共汇总的原则，明确哪些数据需要汇总合后，采用聚合函数或窗口函数等方式，完成对跨数据域且需要被频繁公用的数据的汇总。
5.3.2.9数据去重
对重复数据合并处理。
5.3.2.10数据补全
对一条数据各个字段的缺失，通过技术手段进行补全，例如：
黑龙江省，需要补充机构代码23。
5.4数据资源池
按照数据使用目的分级分类建库的要求，统一规划资源，通过对数据资源进行标准统一、流程规范的组织与挖掘，形成包含原始库、资源库、主题库、专题库等的应急管理数据资源池，以满足应急管理内部各单位业务专题数据落地建库需求，为综合展示、数据服务、领导决策提供数据支持。
5.4.1应急管理数据库
5.4.1.1原始库
大数据资源中心的原始库应该包含应急管理单位内部、外部所有需要组织的数据。
在数据来源上，包括外部委数据（如公共安全数据、交通运输数据等），应急管理单位内部数据（如省市重大安全风险监测预警数据、部级安全生产行政执法数据等），社会及互联网数据（如微信、微博及其他舆情数据等）。
在数据类型上，包括结构化数据、半结构化数据和非结构化数据。
原始库的合理设计可以在业务系统和数据资源中心之间形成一个良好的过渡，既保障了数据资源中心数据的稳定性，不会受源业务系统数据频繁变化的影响，又可减轻前置系统被反复抽取的压力，数据资源中心的数据需求统一由原始库为基础来抽取和分发。
由于数据来源多、种类丰富，原始库的数据应该采取清晰、合理的方式去组织。
对于不同来源的数据，应该按照其数据来源进行清晰的标识，包括表名标识、表元数据标识等。
对于不同种类的数据，应该采取不同的存储机制进行存取。
存储域分为结构化域、半结构化域和非结构化域，其中半结构化域和非结构化域的数据应该采用相应的数据提取手段提取关键信息保存至结构化域，便于数据的溯源和使用。
原始库的数据结构设计原则上和业务生产库的表结构一致，并在业务生产库基础上增添数据接入过程中的操作字段，表示数据的更新和删除等状态。
以此向大数据资源中心提供原始、准确的数据，便于后续的分析和使用。
原始库中的数据是大数据资源中心最基础的数据，需要对数据设置不同的生命周期和质量监控标准，从而保障数据的鲜活性和准确性。
原始库的结构按数据的类别分为结构化数据域、半结构化数据域和非结构化数据域三个逻辑的数据域。
（1）结构化数据域用于保存由各业务系统抽取的关系型数据，如火灾档案表等，这部分数据需基于云计算平台所提供的关系型数据库组件来组织。
（2）半结构化数据域用于保存从各业务系统或各部门抽取的半结构化数据，如互联网舆情数据等XML格式、XLS格式数据或文件，该类型数据需基于云计算平台所提供的NoSQL数据库组件来组织。
（3）非结构化数据域用于保存从各业务系统或各部门抽取的非结构化数据，包括图片、音视频、文本等类型数据，如卫星遥感数据、火灾图传录像、救援总结报告等，该类型数据需基于云计算平台所提供的分布式文件系统进行存储。
非结构化数据和半结构化数据需在原始库中建立索引表来记录该数据的来源和存储路径等。
索引表主要以关系型数据形式存储在结构化数据域中。
5.4.1.2资源库
资源库的数据是由原始库的数据经过清洗、转换、关联、比对等数据处理过程后形成的标准数据。
资源库的设计包括数据结构设计、数据表结构设计和加工过程设计。
在资源库的数据结构设计上，以原始库数据结构为基础，补充必要的数据字段。
在数据表设计上，将相同表结构的数据表进行适当的合并，并保留原始库的表名以方便进行溯源。
数据加工过程设计是资源库设计中最核心的部分，这部分要进行数据标准、数据元的设计，以及原始数据和标准数据元的关联设计，从而将资源库的数据处理成符合标准的数据。
5.4.1.3主题库
主题库是按照应急管理信息要素将应急数据按灾害事故、救援物资与装备、组织机构、危险源等进行分类，为数据应用和产品提供公共数据服务，降低用户理解和获取数据的难度，降低数据加工的深度和复杂度，提升数据应用和产品获取数据的效率，保持系统内各个软件模块和应用服务间数据的一致性。
主题库的设计需遵循下述规则：
1、提供统一的数据出口
主题库中包含了主题相关的实体表和实体间的关联表，以及实体表的来源表信息。
通过关联表以及来源表信息，用户能快速清晰地了解实体的数据来源，减少了去数据库中寻找实体相关表的时间，并且由于各个用户统一从主题库获取数据，数据口径的一致性得到了有效保障。
2、保证实体的一致性
主题库包含灾害事故、救援物资与装备、组织机构、危险源等实体，每个实体都会在主题库中有唯一的ID，通过这个唯一的ID，可以获取实体在主题库中的所有信息，从而保证了实体的一致性。
3、提供汇总的业务数据，满足查询、统计、分析等多类应用产品的数据需求
主题库会根据业务类别，将数据从各个业务表中汇聚起来变成汇总后的实体表和关联表，并且在实体表和关联表中还会包含常用的业务字段，使得用户可以方便得从较少的表中获取所需数据，降低了数据获取成本。
主题库在数据治理体系中位于DWD明细数据层（资源库）和DM专题层（专题库）中间，对上游的明细数据打散重构形成主题表，对下游的专题层提供了标准化、一致性的数据。
上游的明细数据里面包含了不同系统、不同部门的数据，数据之间存在关联，但是由于没有进行一致性处理，无法达到数据准确的互通，因此主题库将不同系统间的数据通过信息要素等实体进行有效的关联，打通了不同系统间的数据。
主题层完成后，专题层就能根据特定应用需求，快速选取有效数据形成专题数据。
主题库逻辑模型的设计应采用自顶而下的方法，首先将需求涉及范围内的业务对象从高度概括的信息要素概念层次归类，即划分主题域，再针对各个主题设计实体关系图。
5.4.1.4专题库
专题库是主题库的数据按照专题应用的需要重新整合形成的数据库。
专题库的建库按照专题应用业务模型，通过二次抽取装载的方法重新组织数据，建立形成满足应急管理专题业务应用需要的数据库。
根据应急管理业务需求，专题
升级会员 