组建大数据平台方案设计.docx
《组建大数据平台方案设计.docx》由会员分享，可在线阅读，更多相关《组建大数据平台方案设计.docx（19页珍藏版）》请在冰豆网上搜索。
组建大数据平台方案设计
组
建
数
据
平
台
建
设
方
案
概述
一.1建设背景
户用表集中抄表系统（以下简称“抄表系统”）是利用当代微机技术、数字通讯技术与户用仪表计量技术完满结合，集计量、数据采集、处理于一体，将城市居民用水、电、气、热信息加以综合处理的系统，使供水、供电、供气、供热公司及物业部门从根本上减少人工上门抄表的繁杂劳动强度。
准确而便捷的收费系统，既可节省人工又可减少各部门与客户之间的纠纷，它不但能提高管理部门的工作效率，也适应现代用户对缴费的新需求。
随着科技的进步和人们对信息化要求的提高，智能住宅将逐渐在全国范围内得到推广。
智能化居住区的主要功能应当体现在快捷、高效、安全和方便上，智能楼宇控制系统中的智能抄表系统是智能建筑优点的充分体现。
远程数据采集及无线传输系统是基于人工数据收集思想改变和发展的一种体现，同时它也是一种新型现场数据收集的应用工程系统。
在未来信息时代中，各种现场数据收集将以高效率、高可靠性和方便性（H2F）的要求为主导形式出现。
在这种环境要求下，系统既要各个前端控制器具备分散的独立工作及独立应付突发事件的能力，同时又要求它们通过抄表器或远程传输通信与计费中心数据库远程收发管理器实现彼此联系，并能实现自身协调、执行多种系统数据收集和监管功能等。
户用表集中抄表系统是一个综合性、多学科技术合成的一种技术设备。
在技术层次上它涉及计算机技术应用、通信工程、微电子技术、热力学等。
由于冬季供热问题与我国北方地区广大人民群众的生活、工作密切相关，产品社会需求量之大是可想而知的，同时它也是创建和谐社会的一个重要基础条件。
户用表集中抄表系统在国内还是一项新兴的产业技术，其技术层面的更新必将摧生更多新兴社会服务行业的发展。
另外户用表集中抄表系统的启动，还可以带动一批相关产业链的发展、增加国家整体就业机会，比如在原材料业、电子器件业、计算机业和加工业等。
正因为热能无线自动抄表系统对技术先进性的要求，这也向相关产业的技术更新提出相应要求，从而极大地促进了相关产业的技术进步。
一.2术语介绍
（1）交换前置机
企业基础信息交换平台连接的交换前置服务器。
（2）信息交换桥接
业务应用信息库与前置交换信息库之间信息安全交换的连接通道。
（3）企业基础信息库
存储、管理企业基础信息的数据库。
（4）前置交换信息库
企业基础信息交换平台之间共享信息双向交换的中转数据库。
（5）业务数据库
业务数据库是指各个保存业务数据的数据库，运行在内网中。
（6）应用系统
应用系统是指本项目开发的部署在各节点前置机上的桥接系统、中心数据管理系统、数据比对和整合系统等应用的总称。
（7）中心数据管理系统
中心数据管理系统是指本项目开发的实现交换数据查询和管理等功能的应用系统。
（8）数据比对整合系统
数据比对系统是用来加工整理各单位发送的企业基础信息的系统。
按照一定的比对规则和条件，数据比对系统对各部门的信息进行对比，形成完整、统一的XX市基础信息数据库。
必要性、可行性及效益分析
一.3必要性分析
在信息化建设过程中，各职能部门通常采用不同的技术和体系结构来构建自身的信息系统，虽然为各自业务发展起到了很好的促进作用，但各信息系统数据独立存储形成一个个信息孤岛，使得各业务系统之间很难实现数据共享，严重制约着政府各职能部门、业务系统之间的协作及工作效率的提升。
如何在不改变原有系统的基础上实现跨平台数据访问也成为信息化建设道路上必须思考的一个问题。
一.4可行性分析
从当前现状来看，在技术上，当前市场已经涌现很多实现数据交换的平台产品，形成先进的信息交换和共享服务技术体系，能为数据交换平台的建立提供很好的技术架构。
一.5效益分析
通过数据交换平台的建立可以打破当前的“信息孤岛”现象，建立不同业务系统的数据共享平台，形成政府综合信息库。
同时，通过统一的数据交换平台实现各业务系统之间数据交换的单一安全通道，在实现信息共享的基础上也确保了各自数据信息的安全。
从未来发展的角度看，当前建立数据交换平台可以为以后新的业务系统的建设提供标准，一旦标准形成，审批、监察等业务都可以直接利用共享的基础信息库数据，从而减少了数据采集的资本投入，也提高了监管工作效率和公共服务水平，取得了良好的经济效益和社会效益。
建设目标、思路及原则
一.6建设目标
核心目标是建设数据交换平台，作为今后数据交换的支撑，将来在平台上不断的扩展应用。
建设目标
✓搭建数据交换中心，实现集抄业务系统之间的数据交换，为内部办公提供数据交换采集综合信息库；
✓建立能源管理的标准和规范，为以后信息系统的建立提供规范指导。
✓通过数据交换建立能源监测信息库，实现数据共享，为网上行政审批提供决策数据；
✓建立业务数据的集中采集平台，实现了行政审批电子监察数据的在线、实时采集。
一.7建设思路
要实现各数据共享，必须先建立统一的数据交换平台，通过交换平台实现各异构数据库之间的数据集成，实现原有各业务系统在数据级集成，保证异构数据库之间的数据交换与共享。
在建立的数据交换平台基础上，针对各业务系统的技术和体系结构，配置各业务系统的数据交换映射关系，形成各业务系统的应用。
当平台建立好以后，业务应用可以任意扩展，添加新的共享数据。
一.8建设原则
数据信息交换平台建设必须遵守以下原则：
✓不影响现有或其它相关信息系统的使用和信息安全；
✓技术要成熟、可靠，在节约成本投入的前提下确保平台建设质量；
✓建立一个坚实的系统应用平台，便于系统的管理和维护，技术易于更新，网络及业务规模可以逐步扩展。
统一规划，分步实施。
关键问题解析
一.9数据交换平台能解决什么问题
对数据交换平台的理解有一种误区，就是有了数据交换平台不同系统之间的信息交换就可以随便实现了，而不需要任何编码；实际上这是不对的。
数据交换平台的应用主要是在异构系统之间的信息交换，但在信息交换过程中交换平台本身要解决的问题只是一小部分，它本质是一个中间件，面向客户时屏蔽了很多系统底层的信息，比如网络的协议、数据的传输安全等，据交换平台本身不具有业务本身的处理功能，比如无法自动从某个业务系统中直接获取数据信息，只能通过编程把数据从业务系统中提取出来，再送到数据交换平台。
利用数据交换平台使开发过程中不需要关注数据各式转换、消息的传输、数据路由等，只需要关注与业务本身的数据处理部分。
一.10数据交换平台与业务应用的关系
在能源管理系统建设过程中，有些应用系统必须充分利用数据交换平台，比如资源目录管理系统、人口基础信息库、企业基础信息库的关系、决策支持系统等。
这些业务系统从不同单位的不同系统中获取数据，数据交换平台为信息交换和传递提供一个安全可靠的通道，不同的应用系统可以公用相同的数据交换平台，因为数据交换平台好比是高速公路，可以有不同的车道和车辆，而业务系统本身有自身的业务逻辑。
所以从功能和应用层次的角度交换平台≠业务应用。
一.11数据交换平台无法解决实时性的业务需求
假设有A、B两套完全独立的系统，中间通过数据交换平台连接，能实现一部信息的交换，若从A系统发起一个请求查询B系统的数据，这类应用就是实时性业务。
这类业务数据交换平台是无法实现的，因为查询是针对A系统的数据库，如果要看到B系统的信息必须B系统在查询前把信息传递到A系统，否则无法直接查询B系统的信息。
总体设计
一.12系统总体结构
一.13系统逻辑结构
业务系统的资源交换是通过中间件进行交换和共享。
其中，发送模块负责从业务系统接收信息、把信息的格式转换成中间件可识别的格式、和把转换后的信息发送给中间件;接收模块负责从中间件接收信息、把信息的格式转换成接收系统可识别的格式、和把转换后的信息发送给业务系统。
一.14系统物理结构
业务系统通过交换平台接入点连接业务系统，接入交换平台的业务系统，需要开发相应的适配器，如下图：
数据交换平台功能设计
一.15交换中心管理系统
一.15.1数据交换标准定义
根据对目标系统综合性应用内容的需求分析，定义出一系列的数据交换标准。
这些标准将反映各个应用所需要的数据的结构。
同时在标准中定义的还有数据“宿主”位置等信息，表示该块数据将向哪个业务系统请求获得。
所有的数据交换标准定义信息，均以XML结构记录。
可以通过数据交换标准定义管理工具完成如下功能：
✓新建标准、修改或删除标准；
✓维护标准中的属性，包括数据结构、数据“宿主”位置、缺省过滤条件等；
✓实现对用户身份识别与管理权限控制；
一.15.2数据交换流程定义
数据交换是依据数据交换流程实现的，针对不同的数据，需要设定和管理不同的数据流转过程。
该模块的作用是提供图形化界面，供给数据交换平台的管理人员实现数据流转过程的定义。
数据交换流转过程的描述也采用XML方式。
具体功能如下：
✓新建流程、修改或删除流程
✓维护流程的规则、数据加工过程和数据路由方式
✓实现对用户身份识别与管理权限控制
一.15.3数据交换标准与内部数据结构的映射管理
由于数据交换标准并不知道在具体业务系统内的相应数据的位置、属性、名称等等信息，所以需要在业务系统内对数据交换标准中的对应项有一个映射关系的定义。
这种定义包括数据项与数据项的对应或组合对应（公式化）、数据类型的匹配或转换关系、数据项位置描述记录等等。
以XML结构保存定义的内容。
具体功能包括：
✓数据交换标准定义信息的导入
✓维护数据交换标准与内部数据结构间的映射定义表，包括数据项与数据项的对应或组合对应（公式化）、数据类型的匹配或转换关系、数据项位置描述记录等等
✓实现对管理员的身份识别与管理权限控制
一.15.4数据交换流执行
数据交换流的执行是通过应用集成中间件实现的。
采用中间件产品可以保证数据交换的高效、安全和可靠地进行。
其工作原理是：
读入数据交换流程，根据流程设定，启动数据交换过程。
根据业务需要，同时可以并发若干个数据交换流程。
当业务变化时，只需修改数据交换流程定义，就可以实现基于新业务的数据交换过程，因此系统具有很好的可扩展能力。
具体功能如下：
✓接收数据
✓验证数据
✓分析流程定义
✓根据流程进行数据交互过程
✓数据交互的事务管理
✓日志管理和交换数据存储
✓消息队列管理
✓实现对管理员的身份识别与管理权限控制
一.16接入管理系统
一.16.1接入点注册
在接入点向信息交换平台注册时，信息交换平台会自动检测接入点提供的属性信息是否正确，只有正确后，才可以注册，接入点才可以接入信息交换平台。
一.16.2接入点配置
由于有很大一部分的业务系统早已开发完成，且采用的数据库不同，有Sybase、Oracle、SQL Server、Access等等，各个业务系统根据实际需要，挑选可共享的数据，定制不同的共享接入点，将共享接入点发布到数据交换平台上；也可以根据业务系统自身的不同的数据种类定制不同的共享接入点，将共享接入点发布到数据交换平台上。
这样就最大限度的提供了各自业务系统数据的共享，也保证了各业务系统数据的安全。
共享接入点的管理员可以根据需要设置本接入点的类型（只能收、只能发、接收都可）、本节点只接收那种信息类型,如果管理员本身是接入点的创建者，还可以设置本接入点的管理员帐号。
一.16.3接入点维护
（一）新增接入点
根据各个业务系统的实际需要，系统管理员可以增加新的接入点，和建立新接入点的管理员帐号。
为了便于管理和资源的充分利用，规定一个单位或部门只有一个共享（单位或部门内部共享）接入点（因为多个业务系统可以通过一个接入点接入交换信息平台）.
如果要新增接入点，由使用单位或部门提出书面申请，经系统平台管理员审核同意后，统一由系统平台管理员新增接入点，同时由系统平台管理员设置新增接入点的相关信息
（二）修改接入点
因为各个单位、部门的业务系统的数据种类是变化的，且用户的要求也是变化的，所以共享接入点的管理员要根据需求实时来修改其共享接口，满足其他用户、单位、部门对数据的需求。
共享接入点的管理员先查询到要修改的接口，然后对接口的关键字及其他属性进行修改，但接入点的唯一标识（比接入点编号）不允许修改.修改后的共享接口在数据交换平台上能立即反映出来，以便其他单位、部门使用。
（三）删除接入点
如果共享接入点的管理员认为其定制的共享接入点已没有使用意义或已被新的的共享接入点替代，由接入点的管理员提出书面申请，经数据交换平台系统管理员（接入点的创建者）审核通过后，统一由交换平台系统管理员进行删除。
共享接入点的管理员只能申请删除自己管理的共享接入点，在共享接入点删除后，数据交换平台记录删除日志,并删除与它有关的在数据交换服务器（JMS）的队列.删除接入点的信息要在数据交换平台监控上立即反映出来，以便其他单位、部门不再向它发送信息。
（四）查询接入点
根据需要,可以按类型、状态查询各个接入点的情况，可以统计各个接入点的类型、状态（是否有效、是否已删除）。
一.17运行监控平台
一.17.1传输监控
传输监控的主要任务是对交换平台本身和流过交换平台的数据包进行观察与控制。
传输监控包括如下几个方面：
（1）对数据流量和状态的查询、统计与审计；
（2）对信息交换平台自身运行状态的查询和监控；
（3）对信息交换平台的远程监控。
数据流量和状态的监控，首先是对于所有通过信息交换平台进行交换的数据总量的把握，其次是对每个通过信息交换平台的数据包状态的微观把握。
通过监控功能，可以了解在指定时间内按照进入/转出、目的地/来源地、数据量大小等项目进行查询和统计，从而实现对总量的把握；通过对数据状态（例如等待处理、正在进行、处理完毕、回执收到、处理中断等）的监控，可以追踪某一个指定数据的状态。
对信息交换平台自身运行状态的查询和监控，是为了确认信息交换平台自身的运行是否正常。
查询和监控的对象主要是构成共享平台的各类软件运行实体（例如进程、队列等）。
以进程为例，监控的主要操作包括查询进程状态、停止进程、重新启动进程等。
对信息交换平台的远程监控，是指通过监控命令的交换，对系统中的远端信息交换平台部件进行上述监控。
由于信息交换平台的运行记录不仅是进行监控的重要依据，还是进行审计的重要基础，因此根据监控的功能设计，必须实现相应的日志机制。
一.17.2前置节点运行监控
中心数据交换平台通过网络连接了许多不同的节点，通过监控系统能对分布在不同物理位置的前置交换系统状态进行必要的监控，及时发现异常的监控节点。
一.17.3数据库运行监控
数据交换平台涉及中心数据库，前置节点数据库等多套数据库系统，通过监控系统能实时了解各节点数据运行的状态，能通过图示的方式进行提醒。
一.17.4适配器监控
监控平台对桥接服务实行数据传输量监控，速率监控，历史数据统计等监控管理，对有关交换的各种组件运行状态及日志情况，可以非常方便的进行监控及查询。
一.18系统管理
一.18.1接入编码管理
接入点编号是由交换信息平台统一分配给各个使用单位或部门。
各个使用单位或部门要接入信息交换平台，必须先申请接入点编号。
获得接入点编号后，必须要先进行接入点注册，然后才可以通过接入点接入到交换信息平台。
接入点编号规则参考如下：
A.编号长度为九位（数据的长度预留20位：
如果以后要加市的，在原来基础上前面加多俩位，依此类推：
加省、）；
B．位数的意义：
第一、二位代表区;第三、四位代表单位类型;最后五位流水号。
比如：
000000000
区单位类型流水号
一.18.2数据备份及恢复
数据交换平台涉及大量数据的存储，需要有良好的数据存储机制确保数据的安全，避免数据丢失。
一.18.3用户管理
数据交换平台作为一套专门的信息交换系统，具有完善的用户管理体系，能创建不同权限、不同角色的用户帐号，对系统内的信息进行查看和访问。
一.18.4日志管理
管理员能查看系统不同类型的日志，对系统的运行状态进行监控，及时发现运行过程中出现的问题。
并提供日志审核的功能。
交换平台安全设计
一.19威胁与风险分析
交换系统的业务特点和信息的敏感性决定了系统可能承受来自各个方面的攻击，如犯罪团伙的破坏，黑客的恶意攻击。
信息交换平台系统的安全性应从政府专网的网络安全中总体考虑，包括入侵检测、防病毒系统、防火墙系统在内的安全措施由XX市政府专网统一考虑。
本实施方案中重点考虑系统在应用、数据交换、数据管理以及系统管理方面的安全问题。
（1）信息安全
信息安全指信息内容在采集、存取、处理、使用和传输中的机密性、完整性、可用性和不可否认性，以及确保信息在系统主体的可控性和可审计性等特征的系统辨别、控制、策略和过程。
主要威胁和风险包括：
伪装、系统入侵、通信监听、数据篡改、否认和拒绝服务等。
（2）安全管理
安全管理主要威胁和风险包括：
（1）管理不当造成的口令及密钥丢失和泄露；
（2）制度遗漏造成的系统无序运行、系统灾难；
（3）人员管理漏洞；安全审计不力或无审计等。
一.20安全需求分析
为了使数据系统能够有效应对以上所描述的安全威胁和风险，切实保障系统的安全，必须从组织管理、技术保障、政策环境、标准体系、人才培养等方面着手，形成有效的安全防护能力、隐患发现能力和应急反应能力，为系统建立可靠的安全运行环境，切实保障系统的安全。
从应用安全和信息安全需求来分析，重要的是要解决全网统一的身份鉴别，要解决数据的完整性、数据的访问控制和授权，以及敏感信息的机密性。
从安全管理需求来分析，要考虑规章制度的完善、安全策略的制定、系统人员的安全培训等，特别要考虑到基层人员计算机应用水平还不高，必须加强安全管理和人员培训，与技术保障紧密结合，形成一套比较完备的交换系统的安全保密体系。
因此，系统应用安全要重点做好以下几方面的工作，同时也是安全方案需要解决的问题：
（1）解决信息的备份问题。
（2）解决信息交换平台的统一身份鉴别问题。
（3）解决信息交换平台的信息资源管理，信息分类访问控制和分组共享（即什么人可以访问什么信息和哪些人可以共享哪些信息）问题，实现全系统的有效访问控制。
（4）解决系统敏感数据的加密问题，特别是重要信息的多级安全保护；采用数字签名和各种安全审计手段，解决关键操作的抗抵赖问题。
（5）解决内部人员滥用权力，有意犯罪，越权访问机密信息或恶意篡改等问题。
（6）解决系统安全运行的管理问题。
一.21身份认证和授权管理设计
为了保证信息的合法访问，建立统一的认证网关和授权管理系统。
在本系统中，主要有两类操作涉及到身份认证和授权访问控制：
一种是对接入的业务系统（即接入用户）的身份认证和授权访问控制，当一个业务系统，通过应用适配器或者调用交换系统的JAVAAPI，向信息交换平台发送数据或者从交换平台读取数据时，必须要提供身份信息（用户名/口令、CA证书），交换平台进行身份认证和权限检查，被授权的合法用户才能将操作完成。
另一类是对系统管理人员的身份认证和访问控制，用户登录到管理平台，进行系统管理，必须经过系统的身份认证和授权访问控制。
这两类身份认证和授权管理都可以通过eStarESS提供的安全管理模块来实现。
eStarESS支持两种身份凭证：
用户名/口令和数字证书两类技术体系的电子身份凭证。
用户名/口令认证的实现方式是：
（1）系统管理员利用系统超级用户登录到系统管理平台，建立多个用户，并授予不同的权限，密码加密后保存在用户数据库中；
（2）将这些用户分别赋给不同的业务系统，业务系统连接信息交换平台时，提供预先配置的用户名和密码；
（3）对业务系统提供的用户名/口令进行认证和权限检验。
系统管理员登陆系统的过程类似，只是管理员每次登陆时都要输入用户名和口令，而不是向业务系统那样，用户名和口令预先被配置。
一.22数字证书认证
系统支持内部的CA证书系统，也可以和外部独立的CA认证系统连接。
具体的实现方式是：
（1）向不同的业务系统颁发CA证书；
（2）业务系统访问信息交换平台时，提供CA证书；
（3）系统的安全认证接口进行身份认证，授权管理系统进行权限检查。
在交换平台中，数据被保存在消息队列中，不同的用户对消息队列的访问权限是不一样的，给每个用户分别授予不同的权限，从而实现对数据资源的保护。
具体的实现方法是：
（1）对于共享的信息，可以发送到公共的队列中，将该队列的访问权限赋予所有的用户，则所用的用户登陆后，都可以访问该队列的信息。
（2）对于私有信息，保存到私有队列中，将权限授予特定的用户，则只有该用户可以访问该队列中的消息，其他用户则不能访问。
一.23数据交换过程的安全保障
数据交换过程的安全保障主要指信息在交换过程中不能被非法篡改、不能被非法访问、数据交换后不能抵赖等功能。
提供了两种方法实现上述功能：
一种是支持HTTPS传输协议，通过SSL实现数据防篡改、数据加密等功能。
另一种是通过支持对消息内容的数字签名、数字摘要和信息加密，来实现上述的安全功能。
上述两种安全传输实现方式，都需要数字证书的支持，在交换系统中，利用系统提供的证书，也可统一使用外部CA系统颁发CA证书。
数据交换中间件选型
一.24数据交换中间件技术要求
信息交换平台由交换中间件、应用适配器系统组成，各部分设计要求如下：
一.24.1交换中间件技术要求
交换中间件技术要求主要包括：
数据传输要求、数据转换要求、可靠性要求、安全性要求、差错处理要求、Web服务支持要求、跨平台要求、基本性能要求等几个方面。
（1）数据传输要求
在数据传输方面，交换中间件应能满足以下要求：
○传输协议
交换中间件必须支持HTTP/HTTPS传输协议。
支持消息传输与文件传输。
○消息基础协议
交换中间件支持国家政务信息资源交换体系标准规定的消息格式。
○大文件支持
交换中间件支持大文件传输。
○消息交换模式
交换中间件支持消息主动发送、请求/应答、订阅/发布三种消息交换模式。
○消息路由
交换中间件支持消息路由的功能，包括基于消息内容的路由和基于消息头的路由。
（2）数据转换要求
交换中间件具有数据转换的功能，支持数据格式转换、数据内容转换，提供图形化数据转换规则生成工具。
（3）可靠性要求
交换中间件具有可靠传输的功能。
通过断点续传、消息确认和消息重发机制，实现在网络发生故障、系统产生异常或发生崩溃的情况下实现数据交换“不丢、不错、不重”。
（4）安全性要求
交换中间件支持安全的数据传输功能，支持消息加密、消息数字签名功能。
（5）差错处理要求
交换中间件支持政务信息资源交换体系标准规定的错误处理功能，如身份验证失败、权限验证失败、消息超时、消息ID重复等错误处理功能。
（6）Web服务支持要求
交换中间件支持Web服务调用功能。
（7）交换流程管理要求
交换中间件应支持动态交换流程配置，采用图形化的界面进行交换流程与交换内容配置管理。
（8）跨平台要求
交换中间件具有跨平台特点，支持UNIX、Linux、MicrosoftWindows等不同的操作系统，支持不同平台间平滑移植。
（9）基本性能要求
交换中间件基本性能指标，如单位时间内传递消息、单位时间内字节流量、并发用户数量及在大负载情况下系统资源使用情况等满足交换平台的业务需求。
（10）管理监控要求
○交换结点状态监控要求
中心交换管理系统能够监视中心交换服务器、部门交换前置机等各交换结点的运行状态。
○交换服务状态监控要求
中心交换管理系统能够监视中心交换服务器、部门交换前置机等各交换结点上部署的交换服务的运行状态，能够远程启动、停止交换服务。
○交换过程
升级会员 