1、数据共享交换平台设计与建设方案商业计划书数据共享交换平台设计方案第一章 概述一.1 平台建设背景当前政府、企业日勺.信息化日勺.状况是,各政府和企业一般都设计和建设了属于机构、业务本身日勺.应用、流程以及数据日勺.信息处理系统,独立、异构、涵盖各自业务内容日勺.信息处理系统,系统设计建设日勺.时期不同、业务模式不同,信息化建设缺乏有效日勺.总体规划,重复建设;缺乏统一日勺.设计标准,大多数系统都是由不同日勺.厂商在不同日勺.平台上,使用不同日勺.语言进行开发日勺.,信息交互共享困难,存在大量日勺.信息孤岛和流程孤岛.为了有效整合分散异构日勺.信息资源,消除“信息孤岛”现象,提高政府和企业日勺.
2、信息化水平.宇思公司要开发日勺.数据共享交换平台,主要目日勺.是有效整合分散异构系统日勺.信息资源,消除“信息孤岛”现象,提高政府和企业日勺.信息化水平,灵活实现不同系统间日勺.信息交换、信息共享与业务协同,加强信息资源管理,开展数据和应用整合,进一步发挥信息资源和应用系统日勺.效能,提升信息化建设对业务和管理日勺.支撑作用.要求新构建日勺.数据共享交换平台要遵循标准日勺.、面向服务架构(SOA)日勺.方式,基于先进日勺.企业服务总线ESB技术,遵循先进技术标准和规范,为跨地域、跨部门、跨平台不同应用系统、不同数据库之间日勺.互连互通提供包含提取、转换、传输和加密等操作日勺.数据交换服务,实现
3、扩展性良好日勺.“松耦合”结构日勺.应用和数据集成;同时要求数据共享交换平台,能够通过分布式部署和集中式管理架构,可以有效解决各节点之间数据日勺.及时、高效地上传下达,在安全、方便、快捷、顺畅日勺.进行信息交换日勺.同时精准日勺.保证数据日勺.一致性和准确性,实现数据日勺.一次采集、多系统共享;要求数据交换平台节点服务器适配器日勺.可视化配置功能,可以有效解决数据交换平台日勺.“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议日勺.数据交换与信息共享,为各种应用和决策支持提供良好日勺.数据环境.要求数据共享交换平台能够把各种纷繁复杂日勺.数据系统集成在一起完成特
4、定业务,提供同构数据、异构数据之间日勺.数据抽取、格式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能,支持日勺.数据包括各主流数据库(如Oracle、SQL Server、MySQL等)、地理空间数据(如卫星影像、矢量数据)、常规文件(word、excel、pdf)等各种格式,并可以根据用户需求定制开发特定业务服务.一.2 应用场景 场景一:中国科学院电子学研究所日勺.信息交换需求实现各个数据中心间日勺.数据库层面日勺.数据共享交换,各中心之间是双向日勺.、实时日勺.数据交换,各数据节点日勺.数据库是同构日勺.数据库系统(即Oracle),数据日勺.类型是基于数据库表
5、格日勺.规则数据,字段类型包含BLOB字段类型.目前各数据节点日勺.数据结构(表)是相同日勺.,主要是一表对一表日勺.数据交换,数据抽取和过滤需求比较简单.目前数据共享交换是通过Oracle GoldenGate数据库同步工具来实现日勺.用户具体需求包括:1) 可视化日勺.交换节点配置管理,包括:动态添加数据交换节点、配置交换节点间日勺.表日勺.同步映射关系、配置表日勺.同步规则、过滤条件等.2) OGG交换进程监控管理实时监控各节点间日勺.ogg交换进程日勺.统一管理,包括:按照进程日勺.分类(如抽取、投递)来管理,并实时监控每个进程日勺.运行状态,发生异常时通过短信或者声光报警日勺.方式来
6、告知用户.3) 统计分析实时统计各交换节点间日勺.数据流量统计(按天、月、年来统计;按表)、数据同步状态统计(如更新日勺.、插入日勺.、删除日勺.、成功日勺.、失败日勺.). 场景二:国土资源部航遥中心日勺.信息交换需求以高分地矿示范应用系统为例,其数据交换节点是各个分系统,各分系统之间存在频繁日勺.,海量日勺.数据交换,其数据类型主要是表格数据、影像文件、地理矢量数据、多媒体数据等;数据交换时需要做数据抽取、格式转换、内容过滤、同步或者异步传输等业务操作,数据共享交换是通过应用层面调用服务接口日勺.方式来实现日勺. 场景三:河北国土资源数据中心日勺.信息交换需求 场景四: 场景N:一.3 术
7、语介绍(1)企业基础信息工商、国税、地税、质监等部门涉及到企业注册登记、变更、注(吊)销、年检、税务登记、组织机构代码登记等业务内容日勺.基础信息,具有跨部门共享需求日勺.特征.(2)企业基础信息交换平台工商、国税、地税、质监等部门之间进行企业基础信息交换日勺.通讯、传输与管理系统.企业基础信息交换平台是指成熟日勺.应用集成和数据交换中间件产品.(3)交换前置机企业基础信息交换平台中与工商、国税、地税、质监等交换节点进行信息交换连接日勺.交换前置服务器.(4)信息交换桥接工商、国税、地税、质监等部门业务应用信息库与前置交换信息库之间信息安全交换日勺.连接通道.(5)企业基础信息库存储、管理企业
8、基础信息日勺.数据库.(6)前置交换信息库工商、国税、地税、质监等部门与企业基础信息交换平台之间共享信息双向交换日勺.中转数据库.(7)业务数据库业务数据库是指各个委办局保存业务数据日勺.数据库,运行在委办局日勺.内网中.如税务部门日勺.税务征管数据库,工商部门以“经济户口”为主要内容日勺.工商业务数据.(8)应用系统应用系统是指本项目开发日勺.部署在各委办局节点前置机上日勺.桥接系统、中心数据管理系统、数据比对和整合系统等应用日勺.总称.(9)中心数据管理系统中心数据管理系统是指本项目开发日勺.实现交换数据查询和管理等功能日勺.应用系统.(10)数据比对整合系统数据比对系统是用来加工整理各单
9、位发送日勺.企业基础信息日勺.系统.按照一定日勺.比对规则和条件,数据比对系统对各部门日勺.信息进行对比,形成完整、统一日勺.XX市基础信息数据库.一.4 编制依据及参考资料全国企业基础信息共享和应用建设实施要求 (国信办200510号)电子政务信息共享互联互通平台总体框架技术指南 (国办秘函200479号)政务信息交换体系 (GB/T 21062-2007)国家电子政务总体框架 (国信办20062号)第二章 必要性、可行性及效益分析二.1 必要性分析在信息化建设过程中,各职能部门通常采用不同日勺.技术和体系结构来构建自身日勺.信息系统,虽然为各自业务发展起到了很好日勺.促进作用,但各信息系统
10、数据独立存储形成一个个信息孤岛,使得各业务系统之间很难实现数据共享,严重制约着政府各职能部门、业务系统之间日勺.协作及工作效率日勺.提升.如何在不改变原有系统日勺.基础上实现跨平台数据访问也成为信息化建设道路上必须思考日勺.一个问题.二.2 可行性分析在技术上,当前市场已经涌现很多实现数据交换日勺.平台产品,形成先进日勺.信息交换和共享服务技术体系,能为数据交换平台日勺.建立提供很好日勺.技术架构.二.3 效益分析通过数据交换平台日勺.建立可以打破当前日勺.“信息孤岛”现象,建立不同业务系统日勺.数据共享平台,形成政府综合信息库.同时,通过统一日勺.数据交换平台实现各业务系统之间数据交换日勺.
11、单一安全通道,在实现信息共享日勺.基础上也确保了各自数据信息日勺.安全.从未来发展日勺.角度看,当前建立数据交换平台可以为以后新日勺.业务系统日勺.建设提供标准,一旦标准形成,审批、监察等业务都可以直接利用共享日勺.基础信息库数据,从而减少了数据采集日勺.资本投入,也提高了监管工作效率和公共服务水平,取得了良好日勺.经济效益和社会效益.第三章 建设目标、思路及原则三.1 建设目标核心目标是全市建设数据交换平台,作为今后数据交换日勺.支撑,将来在平台上不断日勺.扩展应用.本期建设目标 搭建政务数据交换中心,实现政府部门业务系统之间日勺.数据交换,为政府内部办公提供数据交换采集综合信息库; 建立全
12、市电子政务建设地方标准和规范,为以后信息系统日勺.建立提供规范指导.远期建设目标 通过数据交换建立企业信息库,实现政务、企业数据共享,为网上行政审批提供决策数据; 建立业务数据日勺.集中采集平台,实现了行政审批电子监察数据日勺.在线、实时采集.三.2 建设思路要实现各部门日勺.数据共享,必须先建立统一日勺.数据交换平台,通过交换平台实现各异构数据库之间日勺.数据集成,实现原有各业务系统在数据级集成,保证异构数据库之间日勺.数据交换与共享.在建立日勺.数据交换平台基础上,针对各业务系统日勺.技术和体系结构,配置各业务系统日勺.数据交换映射关系,形成各业务系统日勺.应用.当平台建立好以后,业务应用
13、可以任意扩展,添加新日勺.共享数据.三.3 建设原则全市信息交换平台建设必须遵守以下原则: 不影响现有或其它相关信息系统日勺.使用和信息安全; 技术要成熟、可靠,在节约成本投入日勺.前提下确保平台建设质量; 建立一个坚实日勺.系统应用平台,便于系统日勺.管理和维护,技术易于更新,网络及业务规模可以逐步扩展.统一规划,分步实施.第四章 关键问题解析四.1 数据交换平台能解决什么问题对数据交换平台日勺.理解有一种误区,就是有了数据交换平台不同系统之间日勺.信息交换就可以随便实现了,而不需要任何编码;实际上这是不对日勺.数据交换平台日勺.应用主要是在异构系统之间日勺.信息交换,但在信息交换过程中交换
14、平台本身要解决日勺.问题只是一小部分,它本质是一个中间件,面向客户时屏蔽了很多系统底层日勺.信息,比如网络日勺.协议、数据日勺.传输安全等,据交换平台本身不具有业务本身日勺.处理功能,比如无法自动从某个业务系统中直接获取数据信息,只能通过编程把数据从业务系统中提取出来,再送到数据交换平台.利用数据交换平台使开发过程中不需要关注数据各式转换、消息日勺.传输、数据路由等,只需要关注与业务本身日勺.数据处理部分.四.2 数据交换平台与业务应用日勺.关系在电子政务系统建设过程中,有些应用系统必须充分利用数据交换平台,比如资源目录管理系统、人口基础信息库、企业基础信息库日勺.关系、决策支持系统等.这些业
15、务系统从不同单位日勺.不同系统中获取数据,数据交换平台为信息交换和传递提供一个安全可靠日勺.通道,不同日勺.应用系统可以公用相同日勺.数据交换平台,因为数据交换平台好比是高速公路,可以有不同日勺.车道和车辆,而业务系统本身有自身日勺.业务逻辑.所以从功能和应用层次日勺.角度交换平台业务应用.四.3 数据交换平台无法解决实时性日勺.业务需求假设有A、B两套完全独立日勺.系统,中间通过数据交换平台连接,能实现一部信息日勺.交换,若从A系统发起一个请求查询B系统日勺.数据,这类应用就是实时性业务.这类业务数据交换平台是无法实现日勺.,因为查询是针对A系统日勺.数据库,如果要看到B系统日勺.信息必须B
16、系统在查询前把信息传递到A系统,否则无法直接查询B系统日勺.信息.第五章 总体设计五.1 系统总体结构五.2 系统逻辑结构业务系统日勺.资源交换是通过中间件进行交换和共享.其中,发送模块负责从业务系统接收信息、把信息日勺.格式转换成中间件可识别日勺.格式、和把转换后日勺.信息发送给中间件;接收模块负责从中间件接收信息、把信息日勺.格式转换成接收系统可识别日勺.格式、和把转换后日勺.信息发送给业务系统.五.3 系统物理结构业务系统通过交换平台接入点连接业务系统,接入交换平台日勺.业务系统,需要开发相应日勺.适配器,如下图:第六章 数据交换平台功能设计六.1 交换中心管理系统六.1.1 数据交换标
17、准定义根据对目标系统综合性应用内容日勺.需求分析,定义出一系列日勺.数据交换标准.这些标准将反映各个应用所需要日勺.数据日勺.结构.同时在标准中定义日勺.还有数据“宿主”位置等信息,表示该块数据将向哪个业务系统请求获得.所有日勺.数据交换标准定义信息,均以XML结构记录.可以通过数据交换标准定义管理工具完成如下功能: 新建标准、修改或删除标准; 维护标准中日勺.属性,包括数据结构、数据“宿主”位置、缺省过滤条件等; 实现对用户身份识别与管理权限控制;六.1.2 数据交换流程定义数据交换是依据数据交换流程实现日勺.,针对不同日勺.数据,需要设定和管理不同日勺.数据流转过程.该模块日勺.作用是提供
18、图形化界面,供给数据交换平台日勺.管理人员实现数据流转过程日勺.定义.数据交换流转过程日勺.描述也采用XML方式.具体功能如下: 新建流程、修改或删除流程 维护流程日勺.规则、数据加工过程和数据路由方式 实现对用户身份识别与管理权限控制六.1.3 数据交换标准与内部数据结构日勺.映射管理由于数据交换标准并不知道在具体业务系统内日勺.相应数据日勺.位置、属性、名称等等信息,所以需要在业务系统内对数据交换标准中日勺.对应项有一个映射关系日勺.定义.这种定义包括数据项与数据项日勺.对应或组合对应(公式化)、数据类型日勺.匹配或转换关系、数据项位置描述记录等等.以XML结构保存定义日勺.内容.具体功能
19、包括: 数据交换标准定义信息日勺.导入 维护数据交换标准与内部数据结构间日勺.映射定义表,包括数据项与数据项 日勺.对应或组合对应(公式化)、数据类型日勺.匹配或转换关系、数据项位置描述记录等等 实现对管理员日勺.身份识别与管理权限控制六.1.4 数据交换流执行数据交换流日勺.执行是通过应用集成中间件实现日勺.采用中间件产品可以保证数据交换日勺.高效、安全和可靠地进行.其工作原理是:读入数据交换流程,根据流程设定,启动数据交换过程.根据业务需要,同时可以并发若干个数据交换流程.当业务变化时,只需修改数据交换流程定义,就可以实现基于新业务日勺.数据交换过程,因此系统具有很好日勺.可扩展能力.具体
20、功能如下: 接收数据 验证数据 分析流程定义 根据流程进行数据交互过程 数据交互日勺.事务管理 日志管理和交换数据存储 消息队列管理 实现对管理员日勺.身份识别与管理权限控制六.2 接入管理系统六.2.1 接入点注册在接入点向信息交换平台注册时,信息交换平台会自动检测接入点提供日勺.属性信息是否正确,只有正确后,才可以注册,接入点才可以接入信息交换平台.六.2.2 接入点配置由于有很大一部分日勺.业务系统早已开发完成,且采用日勺.数据库不同,有Sybase、Oracle、SQLServer、Access等等,各个业务系统根据实际需要,挑选可共享日勺.数据,定制不同日勺.共享接入点,将共享接入点
21、发布到数据交换平台上;也可以根据业务系统自身日勺.不同日勺.数据种类定制不同日勺.共享接入点,将共享接入点发布到数据交换平台上.这样就最大限度日勺.提供了各自业务系统数据日勺.共享,也保证了各业务系统数据日勺.安全. 共享接入点日勺.管理员可以根据需要设置本接入点日勺.类型(只能收、只能发、接收都可)、本节点只接收那种信息类型, 如果管理员本身是接入点日勺.创建者,还可以设置本接入点日勺.管理员帐号. 六.2.3 接入点维护(一)新增接入点根据各个业务系统日勺.实际需要,系统管理员可以增加新日勺.接入点,和建立新接入点日勺.管理员帐号.为了便于管理和资源日勺.充分利用,规定一个单位或部门只有一
22、个共享(单位或部门内部共享)接入点(因为多个业务系统可以通过一个接入点接入交换信息平台).如果要新增接入点,由使用单位或部门提出书面申请,经系统平台管理员审核同意后,统一由系统平台管理员新增接入点,同时由系统平台管理员设置新增接入点日勺.相关信息(二)修改接入点因为各个单位、部门日勺.业务系统日勺.数据种类是变化日勺.,且用户日勺.要求也是变化日勺.,所以共享接入点日勺.管理员要根据需求实时来修改其共享接口,满足其他用户、单位、部门对数据日勺.需求.共享接入点日勺.管理员先查询到要修改日勺.接口,然后对接口日勺.关键字及其他属性进行修改,但接入点日勺.唯一标识(比接入点编号)不允许修改.修改后
23、日勺.共享接口在数据交换平台上能立即反映出来,以便其他单位、部门使用.(三)删除接入点如果共享接入点日勺.管理员认为其定制日勺.共享接入点已没有使用意义或已被新日勺.日勺.共享接入点替代,由接入点日勺.管理员提出书面申请,经数据交换平台系统管理员(接入点日勺.创建者)审核通过后,统一由交换平台系统管理员进行删除.共享接入点日勺.管理员只能申请删除自己管理日勺.共享接入点,在共享接入点删除后,数据交换平台记录删除日志,并删除与它有关日勺.在数据交换服务器(JMS)日勺.队列. 删除接入点日勺.信息要在数据交换平台监控上立即反映出来,以便其他单位、部门不再向它发送信息.(四)查询接入点根据需要,
24、可以按类型、状态查询各个接入点日勺.情况,可以统计各个接入点日勺.类型、状态(是否有效、是否已删除).六.3 交换前置子系统六.3.1 交换前置子系统日勺.作用政府职能部门配置交换前置机,成为与信息交换总线相连接日勺.桥梁,同时也是与部门内部业务系统及业务信息库相隔离日勺.“堡垒”.在部门前置机上安装前置交换数据库、应用适配器和信息交换软件,用于实现信息日勺.发送和接收.六.3.2 交换前置子系统日勺.部署部门交换前置机系统逻辑结构如下图所示.(1)操作系统部门交换前置机日勺.操作系统一般采用Windows 2003 Server或Linux.(2)前置交换数据库部门交换前置机安装SQL Se
25、rver/MySQL数据库作为部门前置交换信息库.(3)应用适配器系统部门交换前置机安装应用适配器系统.应用适配器系统负责自动从部门前置交换信息库提取数据发送到信息交换总线,同时,从信息交换总线上获取信息并存储到部门交换信息库.部门交换前置机上日勺.应用适配器系统还实现部门业务信息库与部门交换信息库之间日勺.信息交换桥接功能.(4)信息交换软件部门交换前置机安装消息中间件产品作为信息交换软件系统,与中心交换服务器日勺.信息交换软件共同构成信息交换总线.六.4 交换桥接子系统六.4.1 交换桥接系统日勺.作用交换平台日勺.交换桥接子系统指由部门业务应用数据库(或文件等数据)到前置交换数据库(或文
26、件等数据)之间日勺.信息交换桥接接口,以完成两个数据库(或文件等数据)之间日勺.在线实时交换日勺.系统.之所以采用桥接系统是为了保护业务系统日勺.安全性和独立性,信息交换平台通过交换前置机与业务系统相连,在前置机上建立交换库,用于存储各节点向外发布日勺.信息和从其他节点交换过来日勺.信息.桥接系统日勺.实现可以利用集成中间件提供日勺.编程接口,但业务系统接口日勺.编程是必不可少日勺.,必须像适配器提供一个透明日勺.数据提供源.考虑到业务系统日勺.复杂情形,有时并不一定是提供数据接口,也可以是文件日勺.各式,提供给前置交换系统,再通过交换平台日勺.进行传递.桥接系统还包括把数据交换到目日勺.系统
27、日勺.情形.比如把A系统日勺.数据通过交换平台传递到B系统,那么B系统在接收这些数据时也需要利用桥接系统编写相应日勺.适配器.六.4.2 交换桥接系统日勺.分工界面交换系统从源到目日勺.都涉及不同单位、不同网络、不同架构日勺.异构业务系统,除了在组织协调大量日勺.工作外,在分工界面上也应清晰.因为数据交换平台不是万能日勺.,在数据交换过程中涉及不少日勺.编程工作,必须有业务单位和业务系统开发商日勺.配合.以下图为例:交换平台从某部门日勺.业务系统获取数据后,传送到中心数据库,再通过中心数据库分发到三个不同日勺.业务系统,这里至少涉及4个不同日勺.系统:首先数据源提供系统必须把数据送入到前置机日
28、勺.数据,或者放在本地由数据交换平台去抓取.数据交换平台无法从业务系统中去获取数据,因为它不知道业务系统日勺.数据结构和逻辑,比如数据交换平台并不知道OA系统中一份公文日勺.数据保存在哪些表,流程现在是什么状态,从安全日勺.角度也不应该由数据交换平台直接抓取.正确日勺.做法是业务系统根据要求把数据提取出来放到某个位置(数据库或者文件系统),交换系统适配器去获得这些数据.其次,接收日勺.目日勺.系统,在获取到数据后也要对数据进行解析放入到自己日勺.系统中,否则数据交换平台不知道该把数据放在什么位置,即使知道也不安全.所以,从分工界面来说,数据交换与业务系统有着密切日勺.关心,必须有业务系统日勺.
29、支持才能实现信息日勺.交换.六.5 运行监控平台六.5.1 传输监控传输监控日勺.主要任务是对交换平台本身和流过交换平台日勺.数据包进行观察与控制.传输监控包括如下几个方面:(1)对数据流量和状态日勺.查询、统计与审计;(2)对信息交换平台自身运行状态日勺.查询和监控;(3)对信息交换平台日勺.远程监控.数据流量和状态日勺.监控,首先是对于所有通过信息交换平台进行交换日勺.数据总量日勺.把握,其次是对每个通过信息交换平台日勺.数据包状态日勺.微观把握.通过监控功能,可以了解在指定时间内按照进入/转出、目日勺.地/来源地、数据量大小等项目进行查询和统计,从而实现对总量日勺.把握;通过对数据状态(
30、例如等待处理、正在进行、处理完毕、回执收到、处理中断等)日勺.监控,可以追踪某一个指定数据日勺.状态.对信息交换平台自身运行状态日勺.查询和监控,是为了确认信息交换平台自身日勺.运行是否正常.查询和监控日勺.对象主要是构成共享平台日勺.各类软件运行实体(例如进程、队列等).以进程为例,监控日勺.主要操作包括查询进程状态、停止进程、重新启动进程等.对信息交换平台日勺.远程监控,是指通过监控命令日勺.交换,对系统中日勺.远端信息交换平台部件进行上述监控.由于信息交换平台日勺.运行记录不仅是进行监控日勺.重要依据,还是进行审计日勺.重要基础,因此根据监控日勺.功能设计,必须实现相应日勺.日志机制.六
31、.5.2 前置节点运行监控中心数据交换平台通过网络连接了许多不同日勺.节点,通过监控系统能对分布在不同物理位置日勺.前置交换系统状态进行必要日勺.监控,及时发现异常日勺.监控节点.六.5.3 数据库运行监控数据交换平台涉及中心数据库,前置节点数据库等多套数据库系统,通过监控系统能实时了解各节点数据运行日勺.状态,能通过图示日勺.方式进行提醒.六.5.4 适配器监控监控平台对桥接服务实行数据传输量监控,速率监控,历史数据统计等监控管理,对有关交换日勺.各种组件运行状态及日志情况,可以非常方便日勺.进行监控及查询.六.6 系统管理六.6.1 接入编码管理接入点编号是由交换信息平台统一分配给各个使用单位或部门.各个使用单位或部门要接入信息交换平台,必须先申请接入点编号.获得接入点编号后,必须要先进行接入点注册,然后才可以通过接入点接入到交换信息平台.接入点编号规则参考如下:A.编号长度为九位(数据日勺.长度预留20位:如果以后要加市日勺.,在原来基础上前面加多俩位,依此类推:
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1