数据适配器技术白皮书.docx

1、数据适配器技术白皮书数据适配器产品功能介绍 V0.06 1.1简介随着大型企业及政府机关机构实现业务集中处理后，各个数据中心产生的大量数据信息，以及各种文件、图像、数据及多媒体数据等需要及时快速地从市、区、县一级的服务器或终端传输到省或全国中心，或者从全国中心往省、市、县级中心下发。由于数据的复杂性，收集的突发性，同时由于数据来源各式各样，因此对数据收集的效率、可靠性、灵活性、安全等方面提出了诸多要求，手工收集明显无法胜任企业级应用环境的需求。数据适配器是面向分布式的数据收集管理服务。针对上述需求，提供满足企业级应用需要的灵活通用的数据收集管理功能，使用户能够方便地、随时随地地挖掘、提取、转换

2、和管理数据。数据适配器能够为需要数据集成的应用提供数据流服务，即需要解决数据从何而来，哪个应用对其感兴趣，以及如何被每个系统使用。数据适配器通过把信息提供者和消费者隔离，来构建灵活的系统，使得这些系统不会受到数据的物理位置的影响，也不会受到需要存取数据信息的应用个数的影响。这样，对于每一个系统，在一般情况下不需要进行特别的定制处理，可以在系统之间实现信息的集成了。许多企业需要将许多不同的系统连接在一起，使得它们之间能够进行信息交互。原来的典型处理方法是需要一个直接的“点对点”的数据链接，并且需要定制编程以实现系统之间的“会话”。随着新系统的不断增加，直接的定向连接和定制编程的情况会急剧增加，这

3、最终会成为信息流动的瓶颈。数据适配器通过一个集成框架的方案来解决这个问题，即自动定制系统集成需要的大部分编码。数据适配器通过为开发人员提供一组标准接口来实现这个方案，数据适配器可以实现系统和系统间的连接，也可以实现系统和中间件之间的连接。数据适配器提供解决数据集成问题的标准适配器，比如数据转换，过滤和填充，同时也支持数据交换标准，比如XML等。数据适配器还具有例外处理能力。所有这些类型的适配器都可以非常容易无缝集成到异步消息系统和订阅/发布系统中。数据适配器可以为不同的专用中间件系统提供适配器，通过对接口协议需求进行抽象，使用数据适配器框架，就可以完成某个中间件产品的特定接口。使用数据适配器，

4、可以很容易和快速的实现新的适配器。作为一个面向企业级应用的产品，数据适配器具备以下品质特性：可靠性：即系统必须保证数据收集的可靠性，不能在非正常断电、操作系统崩溃后导致数据丢失和不完整。在数据收集过程时，非正常断电、操作系统崩溃，数据适配器能够保证数据的完整性，支持故障恢复。可扩展性：系统能够随着业务规模的扩大和对文件传输服务要求的变化、快速方便地部署新的处理节点和调整数据收集的方式，适应用户系统的变化。安全性：通过集中的用户身份认证和权限管理中心，对所有节点的用户统一进行管理和授权，保证系统的访问安全。数据适配器还提供节点标识认证、数据加密、日志等多种机制，在多个层次上保证系统的安全性。可管

5、理性：系统提供统一的图形用户界面，配置、管理、控制等都可以通过图形界面操作完成。系统易用性：用户对于系统的使用，不需要进行大量的开发工作，而只需要将数据适配器安装在需要收集数据的各节点上，进行少量的简单配置工作，就可以实现数据收集管理功能，非常容易使用。易于开发和集成：系统提供应用开发接口，供用户和系统集成商进行了应用开发、便于与其他系统的灵活集成。信息系统名称是一个面向地方区域的服务对象例举等服务对象的系统，大量数据信息分布在地方区域的服务对象例举。利用数据适配器灵活通用的数据收集管理功能，并透过信息系统名称使用户能够方便地、随时随地地挖掘、提取、转换和管理数据。同时，为了更进一步进行数据集

6、成，充分释放单位名称数据的价值，降低用户在系统开发方面的投资，缩短系统开发周期和提升产品质量，数据适配器提供了多种类型的应用程序接口，允许用户利用外部的工作流对数据适配器进行二次开发。包括：扩展处理接口、消息通知接口、协作接口和数据网关，方便用户灵活开发更加个性化的数据收集管理系统和与其他系统进行集成1.2体系结构 图1 数据适配器示意图数据适配器以处理引擎为处理核心，处理引擎内置的服务包括：数据收集、数据清洗、数据填充、数据格式翻译等基本的数据处理功能。如用户需要对数据进行个性化的处理，如：扩展处理适配器不支持的文件格式翻译、数据需经外部系统处理等，可通过扩展处理接口实现扩展的个性化处理。业

7、务流程由业务规则驱动，对业务流程的大部分修改都是对业务规则的修改（相对于针对技术进行的修改）。但是，由于在传统的应用程序中，业务规则包含在一些不透明的程序代码中，在不影响正在运行的业务流程的前提下，无法轻松地访问或修改它们。将业务规则从程序代码或者任何流程实现机制中抽离出来可以极大改善业务流程的管理。数据适配器内置的工作流引擎提供了可视化的图形设计界面，方便用户根据自身的业务规则定义数据处理流程。内置工作流引擎负责管理步骤，应用业务逻辑，以及调用复杂流程和（或）事务集合的支持程序。此外，处理引擎还包含了与其他节点或系统协作进行数据收集的结点管理。通过结点管理对逻辑上分布的各个节点进行集中化管理

8、。上级结点既可通过调度下级结点进行数据收集，也可由上级结点向下级结点广播数据。 图2 数据处理引擎功能模块图数据适配器提供有供最终用户使用的图形用户界面，完成引擎的配置、处理的监控管理、数据查询打印等任务；为了适应复杂多变的数据处理方式，我们采用了插件式的设计，用户个性化的处理（如：支持更多的数据格式、个性化的数据转换处理）可利用数据适配器提供的扩展处理接口进行扩展。图3 数据适配器与消息通知网关的关系在消息通知方面灵活多样，用户可利用统一的消息通知接口，轻松简单地发出各种消息，包括：故障通知、数据异常通知、数据处理通知和用户自定义信息。1.3系统组成配置工具：允许系统管理员通过配置管理界面对

9、处理引擎的执行动作进行配置和管理。处理引擎：采用多任务处理方式，由不同的进程来提供不同的服务，如数据收集进程、数据清洗进程、数据格式翻译进程等等，这些进程由内置工作流引擎驱动，相互协调工作，完成系统的各种任务。监控器：允许系统管理员通过管理界面进行数据处理、实时监控数据处理的情况。查询工具：提供灵活的查询定义功能，使业务人员方便地查询统计收集的数据。扩展处理接口：为了弥补处理引擎固有处理的不足，数据适配器提供了扩展处理接口，用户可以基于这些接口，实现个性化的处理操作。消息通知接口：允许系统管理配置各种通知方式，如：邮件、QQ、SMS、OA通知等，系统通过接口实现故障通知、数据异常通知、数据处理

10、通知和用户自定义通知等功能。协作接口：一方面，允许节点间对数据处理引擎进行远程调度，实现数据收集协作。另一方面，用户可以基于这接口函数实现与其他系统集成。数据网关：为了方便用户更加灵活地使用和管理数据，数据适配器提供数据存取，用户可利用此接口实现数据交换和数据共享。内置服务包括：数据压缩、数据加密和签名等，保证数据进出数据适配器的安全性。1.4数据适配器种类1.4.1简单适配器简单适配器适合于数据传输具备独立语义的特性，即：数据元素的传输不依赖于其他元素的传输；数据元素的引用和解释是自包含的；有很多数据元素的传输具备独立语义特征，例如：一个word文件、一条统计数据记录、一个审批批准的公文等等

11、。简单说，具备独立语义的数据元素就是最小的传输单元，这个概念类似于数据库应用中的事务处理特征，即要么整个数据元素被传输，要么不被传输。具备独立语义的数据元素传输不会引起数据中心查询的歧义。1.4.2复杂适配器同时，随着数据汇集的深入，数据越来越体现应用的语义特征。即，数据元素不再是独立语义，具备复合语义。一个数据元素传输成功的前提必须是其他数据元素的传输成功。复杂适配器是为了解决复合数据元素的一致传输和同步问题。例如：包含统计汇总信息和明细信息的数据包就包含了多个数据元素，只有这些数据元素的同时完成才能使得数据中心查询得到的数据不会歧义，否则领导在数据中心会看到不一致的数据信息。特别地，当数据

12、源越来越多时候，这个问题将越突出、越难发现和解决。复杂适配器可以分为两类：一类是：复合数据元素又若干个独立语义数据元素组成，组成结构是一个树关系。另一类是：复合数据元素又数据元素组成的关系是复杂的。可以分为：图关系、嵌套关系、与应用事务相关的关系。1.5系统功能数据收集处理是数据适配器的核心功能，此外，还提供了跨越系统多个层次的安全性机制和良好的可管理性，以满足企业级应用的要求。1.5.1配置管理用户通过图形化对数据适配器的行为进行设置。设置项包括：收集任务定义、输入定义、输出定义、数据清洗规则定义、数据填充规则定义、数据映射关系定义、处理流程定义等。图4 配置管理界面1.5.2数据收集数据适

13、配器目前支持以下几种数据源：XML文档、Word文档、Excel文档、CSV文件、文本文件、Access文档、SQL SERVER、MySQL、Oracle、DB2、Sybase等。用户可利用扩展处理接口以实现支持其他数据源。数据收集模式分为：定时收集：系统按用户设定的时间定时执行已配置于好的数据处理流程。变化自动收集：通过系统监视指定数据源的数据是否发生变化，一但数据发生变化便启动数据收集处理任务。被动通知收集：由外部节点发出通知，节点收到通知后，根据相应的权限设置进行数据收集处理。手工收集：用户通过监控界面直接调用一个已配置好的工作流程实现数据收集处理。外部调用收集：由外部系统通过接口调用

14、数据适配进行收集工作。实现这种收集模式需要外部系统进行一定开发或修改。1.5.3数据清洗根据用户定义的数据清洗规则对数据进行合法性、合理性检查，保证每个节点收集的数据是正确可用的。1.5.4数据填充根据用户定义的数据填充规则对数据填充，保证数据的完整性。1.5.5数据格式翻译根据用户定义的数据映射关系，对数据进行格式转换。提供了数十种数据处理函数，可以完成数学计算、逻辑判断、数据转换等操作，甚至可以用常用开发语言设计自己的处理函数。数据映射关系有以下几种关系：一对一：数据源的数据元素与数据目标的数据元素是一对一关系，数据转换过程只是对源数据元素进行数学计算、逻辑判断、数据转换等相关操作就可转换

15、成目标数据元素。一对多：数据源的数据元素与数据目标的数据元素是一对一关系，源数据元素通过相同（或不同）的数学计算、逻辑判断、数据转换等相关操作转换成目标数据元素。多对一：数据源的数据元素与数据目标的数据元素是多对一关系，多个源数据元素通过数学计算、逻辑判断、数据转换等相关处理转换成一个目标数据元素。多对多：数据源的数据元素与数据目标的数据元素是多对多关系，最复杂的一种映射关系，多个源数据元素通才相同（或不同）的数据通过数学计算、逻辑判断、数据转换等相关操作分别转换成多个目标数据元素。图5 数据格式翻译界面1.5.6数据压缩根据用户的选择，对数据进行压缩处理。最大限度地减少传输时网络上的数据流量

16、。1.5.7数据加密和签名为了保证数据的机密性、信息的完整性、身份的可认证性、不可抵赖性，数据适配器支持对称密钥和公开密钥两种加密方式。1.5.8监控管理数据适配器提供实时监控工具对系统进行监控和管理，系统管理员可以第一时间发现系统故障和运行的异常情况，及时进行处理；同时也可以对数据处理的情况进行统计分析，及时掌握数据处理情况。图6 监控管理界面1.5.9通知管理提供可视化的管理界面，让用户设定：是否接收通知、接收方式（支持指定接收时间、即时发送等）、通知方式（支持SMS、邮件、QQ、OA通知等）、接收内容选择等。通过设定，用户便随时了解系统运行情况、数据收集情况。1.5.10权限管理数据适配

17、器通过权限管理中心，实现资源权限数据的集中存放和分级管理。为便于大型系统的管理，数据适配器支持分组授权功能，根节点安装时内置一个根系统管理员，拥有系统的所有权限。根系统管理员可以视需要建立下级系统管理员，并将自己拥有的部分或全部权限授予下级系统管理员，通过逐级授权，可以将整个系统划分为若干管理区域，以利于系统的实施和管理维护。1.5.11日志管理用户使用数据适配器完成的所有任务，均有详细的日志信息；此外，系统运行中出现的故障，也会在日志中进行记录。通过日志信息，用户可以快速地进行运行故障定位和方便地进行运行审计。1.5.12节点管理数据适配器采用层级管理机制。每个节点均有安装后，自动生成一个唯

18、一的标识。除根节点外，所有节点均需要向上级节点注册。1.5.13数据查询提供灵活的查询定义界面，用户可以通过界面轻松地定义各种复杂的查询条件。所有查询都由到权限限制，只有授权用户才能进行数据查询。1.6系统特点1.6.1应用集成框架可以实现从一个系统采集数据，对数据进行加工处理，将需要的数据提交给另一个系统使用。在集成框架中应用系统可以在一个系统中，也可以分布在不同的地域。1.6.2集中化管理数据适配器提供分级管理机制，对分布在不同地域的适配器进行集中管理。1.6.3多种数据格式通过数据适配器集成的不同应用系统可以有各子不同的数据格式（如数据库记录，XML等），数据适配器提供数据格式转换功能。

19、1.6.4灵活的数据加工处理提供强有力的数据加工处理能力，如数据压缩、数据加密和签名、数据填充、数据格式翻译等。程序员也可以编写自己的数据处理代码加入到数据适配器框架中来丰富它对数据的处理能力。1.6.5支持事务功能在涉及多个应用的数据交换过程中支持全局事务功能。1.6.6可靠的故障恢复当数据处理失败时，提供重新处理功能，应用也可以建立自己的恢复处理过程。1.6.7XML的支持对XML 有很好的支持，用户应用数据可以是XML 格式的，系统可以自动识别用户XML格式的数据。同时内部数据表示也采用XML 格式。1.7操作环境1.7.1硬件最小主机配置（作为安装根节点的服务器配置应比以下标准要高），具体参考具体的业务应用：CPU PII300以上内存 64以上硬盘 512以上1.7.2软件操作系统：Windows9X/WIN NT/WIN2000/WIN XP/WIN2003/Linux等；网络协议：支持TCP/IP协议和SOAP协议