河南安全生产信息化.docx
《河南安全生产信息化.docx》由会员分享，可在线阅读，更多相关《河南安全生产信息化.docx（10页珍藏版）》请在冰豆网上搜索。
河南安全生产信息化
河南省安全生产信息化
数据交换标准
（试行）
河南省安全生产监督管理局
2018年7月
1文档概述
1.1文档说明
本文档是河南省安全生产信息化相关系统数据交换部分的规范文档，文档分为建设目标、总体设计、数据交换设计3大部分，以河南省安全生产综合监管平台为例，对数据交换进行设计和描述。
在总体设计中，明确设计的原则；绘制总体框架及明确数据交换在数据中心中所处的地位；详细给出数据交换平台的运行环境。
在数据交换设计中，对交换所采用的多种形式进行逐一描述；给出交换的主要内容和列表；对每项交换内容进行详细的设计。
1.2文档目的
本文的读者为河南省安全生产信息化相关系统项目组成员，详细设计参与人员，数据交换管理开发人员。
本文档明确数据交换的内容，描绘和搭建数据交换的架构，对其中的功能模块进行概要设计，为详细设计和开发提供依据。
1.3文档定义
Webservice：
WebServices是由企业发布的完成其特定商务需求的在线应用服务,其他公司或应用软件能够通过Internet来访问并使用这项在线服务,它是一种构建应用程序的普遍模型,可以在任何支持网络通信的操作系统中实施运行;它是一种新的web应用程序分支，是自包含、自描述、模块化的应用，可以发布、定位、通过web调用。
WebService是一个应用组件,它逻辑性的为其他应用程序提供数据与服务.各应用程序通过网络协议和规定的一些标准数据格式（Http，XML，Soap）来访问WebService,通过WebService内部执行得到所需结果.WebService可以执行从简单的请求到复杂商务处理的任何功能。
一旦部署以后，其他WebService应用程序可以发现并调用它部署的服务。
exadm：
图讯数据交换服务平台
WSDL：
描述Web服务的公共接口。
这是一个基于XML的关于如何与Web服务通讯和使用的服务描述；也就是描述与目录中列出的Web服务进行交互时需要绑定的协议和信息格式。
通常采用抽象语言描述该服务支持的操作和信息，使用的时候再将实际的网络协议和信息格式绑定给该服务。
Schema：
用于描述和规范XML文档的逻辑结构的一种语言,它最大的作用就是验证XML文件逻辑结构的正确性。
可以理解成与DTD（文档类型定义）功能差不多，但是Schema在当前的WEB开发环境下优越很多。
因为它本身就是一个有效的XML文档，因而可以更直观地了解XML的结构。
除此之外，Schema支持命名空间，内置多种简单和复杂的数据类型，并支持自定义数据类型。
由于存在这么多的优点，所以Schema渐渐成为XML应用的统一规范。
MQ：
是一种应用程序对应用程序的通信方法。
应用程序通过写和检索出入列队的针对应用程序的数据（消息）来通信，而无需专用连接来链接它们。
消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。
排队指的是应用程序通过队列来通信。
队列的使用除去了接收和发送应用程序同时执行的要求。
2建设目标
2.1建设内容
制订信息交换的规范，搭建能够满足各种异构数据库访问、存取的环境，搭建数据交互和共享的通路。
同时具备多种数据访问方法，使得各应用系统能够简单、高效的获得所需的数据、简化各应用系统间的数据交换。
实现跨异构数据源的数据复制和联邦查询，解决河南省安全生产综合监管平台对全省各市安监局经营及其它系三方系统数据的收集及数据的交换，达到最终实现系统数据的共享。
通过数据交换平台，将增量数据汇总到省级数据中心，形成一个集成多种业务主题的数据仓库，为下一步的辅助决策信息化打下坚实基础。
2.2技术要求
完成基于SOA的数据交换平台设计规范，实现基于交换平台的现有系统间的数据交换，数据交换技术应包括但不限于以下技术：
MQ传输通道、ETL传输、文件传输（FTP）、服务访问（WebService）等。
建立数据集成与交换平台，将各应用系统间的数据层面和应用层面的信息共享需求转化为服务，增强系统的扩展性和集成的灵活性。
从根本上解决各市局和省局之间纵向数据交换需求，及省局与各自业务系统之间、与其他政府单位之间的横向数据交换需求；同时为分析、决策系统做好数据准备。
3总体设计
3.1技术架构
业务系统与安全生产综合监管平台通过图讯exadm数据交换平台和Webservice服务进行数据交换。
其中WebService服务负责交互实时性高的轻量级数据，exadm平台负责交互大量级数据。
3.2部署架构
根据河南安监当前业务系统信息交换及共享的需求，结合未来业务扩展的需要，数据交换平台采用省、市两级部署。
河南安监数据交换服务体系部署架构如下图所示：
省局数据交换平台负责省级业务系统间的横向数据交换、与安委会成员单位之间的交换、与各市局间的纵向数据交换，除了进行数据交换外，省局平台还提供对数据交换平台进行集中管理和监控的功能。
市局的数据交换提供市局内部业务系统间的横向交换、对省市纵向交换的数据进行预处理（交换到省局临时库）。
3.3设计原则
河南安监数据交换平台，是数据中心建设的核心内容，平台除了满足当前的数据交换和共享需求外，还要能适应企业未来整个信息化发展的需要。
数据交换平台在设计、开发阶段需遵循以下原则：
3.3.1架构体系
数据交换平台采用省市两级平台部署，两级平台之间、平台与外部业务系统间采用服务的方式进行数据交换，整个平台采用省局集中管理和监控。
3.3.2数据传输
1.通道：
采用可靠、合适的数据传输通道，确保数据传输的安全与实时。
异地数据传输采用MQ进行异步传输，确保数据传输的安全；本地数据（非大数据量）原则上采用WebServices方式进行实时传输；海量数据的加载，采用exadm平台辅助实现。
2.数据格式：
数据在平台内部、服务接口均采用XML格式进行传输，针对业务系统的特殊接口，通过平台前端适配器进行数据格式转换。
3.数据标准：
平台的输入、输出、中间过程的数据均要求满足交换数据的数据标准，针对业务系统的特殊接口，通过平台前端适配器进行数据标准转换。
3.3.3数据复用
对于相同的数据，平台从业务系统只采集一次，然后根据业务流程的需要，采用缓存、分发方式提供给相应的业务系统，减少对业务系统的压力和网络负载，同时可以确保企业各业务系统间数据的一致性。
3.3.4接口
1.平台对外接口：
平台对外接口需要遵循SOA标准，以WebServices、MQ接口为主。
可以根据需要扩充其他符合SOA标准的协议接口。
2.业务系统接口：
原则上平台对业务系统接口提供的数据要求符合企业交换数据的元数据标准、接口要符合SOA标准并采用WebServices或MQ协议。
3.3.5管理监控
1.在省局平台实现集中式的管理和监控。
2.对所有的交换和服务记录日志信息和统计信息。
3.可根据需要配置交换策略、提供界面手动启动或通过服务调用启动交换服务。
4.提供对服务异常信息的界面查询及性能统计。
3.3.6安全保障
1.根据需要，采用安全的数据传输机制，如MQ进行异地传输。
2.记录交换日志，确保传输异常的数据能够被及时的发现和分析。
3.采用服务授权机制，确保服务不被非法调用。
3.4运行环境
3.4.1省局数据交换平台
省局的数据交换平台部署在省局
硬件要求：
2CPU2G主频以上2G内存100M网卡60G硬盘空间
支撑软件：
IBMMQ、WebSphere、TomCat
应用软件：
exadm
3.4.2市局数据交换平台
市局的数据交换平台部署在市局
硬件要求：
2CPU2G主频以上2G内存100M网卡60G硬盘空间
支撑软件：
IBMMQ、WebSphere、TomCat
应用软件：
exadm
4数据交换设计
4.1数据交换形式
当前，数据交换模式可以分成文件传输、数据集成两种。
4.1.1文件传输
文件传输就是把交换的数据用文件的方式保持起来，通过某种协商好的方式传递给对方。
可能通过方式有HTTP文件上传/下载、FTP模式进行文件暂存、通过mail发送、通过移动硬盘复制等。
文件格式一般事先定义，早期是用分隔符隔开的字符串，现在一般用XML格式。
4.1.2数据集成
数据集成一般是绕开相对更复杂的应用系统，直接读另一个系统的数据库、直接写另一个系统的数据库、或利用中间库来传递数据。
常见的数据集成的模式有：
1.数据复制（数据同步）。
数据库自带或用第三方的工具。
利用数据复制，可以把远程数据库复制到本地，好处是：
使数据的使用更方便，减轻对网络的依赖，不用改动远程系统，可以通过设定复制时间来减少对原系统负载的影响。
2.ETL抽取。
是一种数据中心常用的数据获取方式，算是一种特殊的数据复制。
一般依赖第三方的ETL工具。
相对于数据复制，支持的数据源种类更多，关键是可以对数据进行清洗、转换，并对数据质量有所控制。
3.数据库联邦或数据库直连。
数据库联邦是一种技术，把多个数据库映射为一个虚拟数据库。
利用数据库联邦可以用一个SQL语句来关联多个数据库的表进行联查，大大降低数据处理难度和数据库相关程序的编写难度。
数据库直联指直接联上其它系统的数据库读取数据。
为了防止误操作，一般会建立数据库视图来供其他系统访问。
无论数据库联邦还是数据库直联都只是一种数据获得方式，需要另外开发程序或利用工具来处理数据。
DB2的数据库联邦叫DB2II，ORACLE的数据库联邦叫DBLINK。
4.中间库模式。
虽然数据库联邦和数据库直联实现简单，但由于不好控制外部系统的访问时间，容易对系统数据库造成额外的压力而影响系统运行。
而且外部系统看到的数据比较多，往往搞不清哪些数据是自己要的。
针对以上两个问题，提出了中间库模式。
中间库模式是提供数据的系统把变化了的数据写入中间库，然后外部系统定时读中间库来获取数据。
5.通过Webservice调度。
提供公用WebService供第三方厂商调用。
WebService服务在网络连接、标准化、易用性上都有优点，但是存在效率不高等问题。
所以只适合于小数量级的数据交互。
6.MQ消息传递模式。
消息队列（MQ）是一种应用程序对应用程序的通信方法。
应用程序通过写和检索出入列队的针对应用程序的数据（消息）来通信，而无需专用连接来链接它们。
消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。
排队指的是应用程序通过队列来通信。
队列的使用除去了接收和发送应用程序同时执行的要求。
4.2数据交换内容
数据交换平台主要处理省安监平台与市安监平台、第三方系统的基础共享数据和业务结果数据，具体内容如下表（√表示交换，×表示不交换）：
序号
交换流向
基础数据
业务结果数据
1
省安监平台->市安监平台
√（exadm）
×
2
市安监平台->省安监平台
√（webservice）
√（exadm）
3
省安监平台->第三方系统
√（webservice）
×
4
第三方系统->省安监平台
×
√（webservice）
4.3数据交换设计
4.3.1省安监平台->市安监平台（基础数据交换流程）
4.3.1.1业务说明
将省局安监平台中的基础数据下发到市局安监平台。
4.3.1.2流程图
4.3.1.3流程设计
1、省局数据交换平台触发抽取业务层数据JOB：
省局数据交换平台配置的JOB，将业务层数据抽取并预存到临时库。
2、省局数据交换平台记录JOB日志：
数据抽取完毕则更新日志状态。
日志信息表字段:
作业ID、作业状态、开始时间、结束时间、异常信息（作业状态0表示开始，1表示正在进行或异常，2表示完成）。
3、市局数据交换平台触发抽取业务层数据JOB：
市局数据交换平台配置的JOB，将省局临时库的数据抽取到市局业务库。
4、市局数据交换平台记录JOB日志：
数据抽取完毕则更新日志状态。
日志信息表字段:
作业ID、作业状态、开始时间、结束时间、异常信息（作业状态0表示开始，1表示正在进行或异常，2表示完成）。
4.3.2市安监平台->省安监平台（基础数据交换流程）
4.3.2.1业务说明
将市局安监平台中的基础数据更新到省局安监平台。
4.3.2.2流程图
4.3.2.3流程设计
1、市局业务系统发出基础数据变更请求：
市局业务系统基础数据（如部门名称）发生变动后，向省局WebService服务平台发送变更请求。
2、身份/权限认证：
省局WebService服务平台收到请求后，对请求方做身份和权限认证，如果请求方没有相应权限，则返回提示信息；如验证通过，则调用相关接口。
3、WebService接口处理：
通过接口处理相关数据处理。
4、省局Webservice服务记录日志：
数据处理完毕则更新日志状态。
日志信息表字段:
服务ID、开始时间、结束时间、异常信息（状态0表示开始，1表示正在进行或异常，2表示完成）。
4.3.3市安监平台->省安监平台（业务结果数据交换流程）
4.3.3.1业务说明
将市局安监平台中的业务结果数据上传到市局安监平台。
4.3.3.2流程图
4.3.3.3流程设计
1、市局数据交换平台触发抽取业务层数据JOB：
市局数据交换平台配置的JOB，将业务层数据抽取并预存到省局临时库。
2、市局数据交换平台记录JOB日志：
数据抽取完毕则更新日志状态。
日志信息表字段:
作业ID、作业状态、开始时间、结束时间、异常信息（作业状态0表示开始，1表示正在进行或异常，2表示完成）。
3、省局数据交换平台触发抽取业务层数据JOB：
省局数据交换平台配置的JOB，将省局临时库的数据抽取到省局业务库。
4、省局数据交换平台记录JOB日志：
数据抽取完毕则更新日志状态。
日志信息表字段:
作业ID、作业状态、开始时间、结束时间、异常信息（作业状态0表示开始，1表示正在进行或异常，2表示完成）。
4.3.4省安监平台->第三方系统（基础数据交换流程）
4.3.4.1业务说明
第三方系统从省局安监平台获取基础数据。
4.3.4.2流程图
4.3.4.3流程设计
1、第三方系统发出基础数据获取请求：
第三方系统向省局WebService服务平台发出基础数据获取请求。
2、身份/权限认证：
省局WebService服务平台收到请求后，对请求方做身份和权限认证，如果请求方没有相应权限，则返回提示信息；如验证通过，则调用相关接口。
3、WebService接口处理：
通过接口处理相关数据处理，数据结果集返回请求方。
4、省局Webservice服务记录日志：
数据处理完毕则更新日志状态。
日志信息表字段:
服务ID、开始时间、结束时间、异常信息（状态0表示开始，1表示正在进行或异常，2表示完成）。
4.3.5第三方系统->省安监平台（业务结果数据交换流程）
4.3.5.1业务说明
第三方系统将业务结果数据写入省局安监平台。
4.3.5.2流程图
4.3.5.3流程设计
1、第三方系统发出业务结果数据写入请求：
第三方系统向省局WebService服务平台发出业务结果数据写入请求。
2、身份/权限认证：
省局WebService服务平台收到请求后，对请求方做身份和权限认证，如果请求方没有相应权限，则返回提示信息；如验证通过，则调用相关接口。
3、WebService接口处理：
通过接口处理相关数据处理，数据写入省局临时库。
4、省局Webservice服务记录日志：
数据处理完毕则更新日志状态。
日志信息表字段:
服务ID、开始时间、结束时间、异常信息（状态0表示开始，1表示正在进行或异常，2表示完成）。
5、如果省局安监平台为自动审核入库，则数据自动调度入库；否则需省局人员前台进行审核操作入库。
4.4服务设计
数据交换平台的服务功能包括服务管理、数据服务。
平台提供服务注册、服务发现、服务权限管理、服务发布等服务的管理功能。
数据服务功能是平台向企业数据使用者提供符合SOA标准的数据服务，包括数据访问、更新服务等。
4.4.1服务注册
所有接口服务需要数据交换平台进行注册。
4.4.2数据服务
平台根据应用需要，逐步实现为企业用户提供实时的数据访问服务，服务用WebServices、MQ等符合SOA标准的接口协议，平台根据数据服务的具体内容及访问限定，选择合适的服务形式。
对于实时性要求要的，小数据量的数据访问，采用WebServices接口；异地数据传输，数据推送形式的服务，采用MQ接口。
大数据量的数据交换服务，平台采用ETL工具实现数据交换过程，同时平台提供对这些流程的启动服务，服务采用WebServices接口。
5附录
5.1附录一：
返回码定义
说明：
500以下为系统定义，500以上为各应用流程自定义
CODE
MSG
000
传输成功!
100
用户不存在!
101
用户已停用!
102
帐户名密码不正确!
103
调用服务运行时错误!
104
应用系统错误!
107
返回数据量超过允许范围!
108
没有调用该服务的权限!
109
该服务不存在!
110
状态信息记载失败
111
未找到指定的MQ配置信息
500
500以上为用户自定义扩展用
升级会员 