TongGTP v60技术白皮书.docx

TongGTP v60技术白皮书.docx

《TongGTP v60技术白皮书.docx》由会员分享，可在线阅读，更多相关《TongGTP v60技术白皮书.docx（18页珍藏版）》请在冰豆网上搜索。

TongGTPv60技术白皮书

TongTech®

TongGTP6.0

技术白皮书

东方通科技公司技术白皮书（14）

1.前言

随着大型企业或机构实现业务集中处理后，各个数据中心产生的大量数据信息，以及各种图像文件等需要及时快速地从省、市一级的服务器或终端传输到全国中心，或者从全国中心往省、市、县级中心下发，多数企业还在使用传统的FTP解决传输问题。

主要因为它是一个免费的非侵入式的软件，一个技术人员稍加培训即可在基于IP的网络上进行各种类型文件的传输操作。

但是，FTP解决不了以下问题：

FTP不适应现代化企业进行信息传输的需求，无法满足大量的非常准确的信息传送需求和业务需求：

Ø安全性差

Ø没有传输的保障

Ø有限的错误捕获和预防措施

Ø没有传输监控、广播、自动化、重传、重试、存储转发等必要的功能。

当需要传输的系统越来越多，传输数据量越来越大的情况下，必须增加大量的人员进行24小时不停的人工监控和系统维护，造成人力物力成本的大幅增加。

TongGTP（以下简称GTP）是面向分布式应用的文件传输平台，针对上述需求，提供满足企业级应用需要的通用传输功能。

GTP系统以成熟的消息中间件TongLINK/Q为基础进行架构，从而保证了其核心系统稳定可靠、具有良好的可扩展性和相当好的处理性能、并且易于管理和维护。

同时，GTP平台提供企业大数据量传输所需要的各种管理、部署和安全功能，使其方便易用。

借助此平台用户无需任何编码，只需进行简单的配置就可以轻松实现不同节点间的文件可靠、安全、高效的传输。

2.TongGTPv6.0主要新特性

1.支持分域管理

一个系统中的节点数量达到成百上千时，由一个管理中心进行维护管理就显得有些庞大，可以将所有节点按某种共同特性划分为一个个独立的管理域，每个管理域中设立管理中心，负责管理自己辖内的节点，这样即降低了单中心管理的压力和负担，也与企业的行政管理结构更加吻合，如按网段划分的办公网、生产网管理域，或按区域划分为X省管理域、Y省管理域。

2.端到端任务配置和传输路由

在上一版本中，GTP系统内，两个不能直接连通的节点之间要进行文件传输，必须由操作员定义几个首尾相连的任务进行文件的中转传输，即使发送到同一个目的地不同目录下的文件，也需要重复定义传输中转任务。

为了简化用户配置工作，提高产品使用灵活度，GTP新版本中允许用户直接配置不能直接连通的节点间任务，文件的传输通过路由进行自动中转。

任务配置数量至少减半。

3.传输进度监控

传输进度是户直观查看和了解文件传输情况的重要渠道，用户查看任务时，能够显示任务当前正在并行传输文件的传输百分比进度，每隔5秒钟系统会自动刷新进度。

4.预警及故障告警

系统运行过程中可能会出现各种故障，如节点异常、传输异常等，第一时间将故障通知给系统维护人员，能够大大提高问题的处理和故障修复速度，增强系统可用性。

5.集中任务管理

系统提供统一任务管理窗口，用户不必再一级一级点击单个节点，查看和修改该节点的任务，能够直观的了解全系统中任务配置和运行情况。

6.批量导入导出改进

批量导入导出模板进行了调整，不同属性使用不同的sheet，以便于客户编辑。

同时任务导入时，支持所有字段的导入。

3.基本术语

由于后续对于此平台的功能描述中涉及诸多基本概念，本节将介绍GTP涉及的基本术语。

消息中间件

消息中间件是实现应用之间进行广泛用途的消息传递的一类中间件，在分布式计算环境中通过消息队列以消息投递方式实现应用间松耦合关系的信息交互。

GTP节点

一套GTP的运行环境，实现文件传输的功能，一般运行在一台物理机器上。

GTP客户端

一套用于与GTP节点通讯的开发包，由用户的应用程序调用实现文件上传到GTP节点所在机器或从GTP节点上下载文件。

GTP监控管理中心

集中进行GTP节点管理、用户管理、任务管理的统一平台，用户通过浏览器进行访问。

任务

任务是指用户为GTP定义的工作计划，GTP将根据用户的定义，在某个最方便的时间自动运行任务，实现文件传输。

断点续传

当文件在传输过程中由于意外原因引起传输失败时，GTP将负责从传输失败点接续发送该文件，而不是将整个文件重新发送。

通过断点续传机制，既可以有效减少高故障率网络上的冗余通讯量，又可以避免极端情况下，如频率极高的网络抖动，文件传输的反复失败重传。

数据加密

通过某种算法，对数据进行编码，防止非法用户的阅读。

比较常用的都是基于复杂的算法，通过密钥来进行数据加密，主要的算法有DES、3DES、RC5、RSA等。

数据压缩

对于特大数据进行压缩，对于传输系统来说也非常重要。

通过标准高效的压缩算法，对要传输的大文件先进行压缩处理再进行传输，可以非常有效的利用网络带宽，提高传输效率。

4.体系结构

4.1.产品组成

TongGTP由GTP节点、GTP客户端、监控管理中心三部分组成。

组成结构如下图所示：

图1GTP产品组成

GTP节点分布在网络上需要进行文件传输的机器上，用户可以通过浏览器登录集中管理中心，访问需要管理的节点，并定义相关的任务，交由GTP节点以手工或自动方式执行发送任务，文件的接收方（可以为一个或多个节点）的GTP节点负责将收到的消息按照约定的目录存放。

为保证系统的的安全性，GTP提供用户权限管理服务，用户分为管理员、操作员及访问者三种级别，具有不同的访问权限，而且对某个用户可管理的节点也可进行指派，避免错误操作职权范围外的节点。

4.2.GTP节点

GTP节点是GTP在网络中的一套运行环境和基本单位，它由一组进程、配置文件和相关系统资源所组成，为用户提供文件传输任务的监控和调度管理，在合适的时间为用户自动进行文件的扫描与发送。

GTP节点的组成结构如下：

图2GTP节点体系结构

GTP节点包括代理服务、核心进程、命令工具及核心传输模块、日志管理等五大部分。

代理服务负责与监控管理中心进行通讯，提供GTP节点管理的代理服务。

底层传输模块是提供消息存储、队列管理等职能的消息中间件产品TongLINK/Q，由其为GTP节点间提供可靠高效的传输平台。

核心进程提供任务管理、目录访问及文件传输等服务，按照用户的定义的约定要求执行相关文件传输命令。

命令行工具及日志管理是为用户提供的其他辅助工具，以便用户在GTP节点上通过手工执行命令实现文件发送或日志的查看和管理。

4.3.GTP客户端

TongGTP客户端是一个应用开发包，应用程序可调用该开发包中的接口按需与GTP服务节点进行文件传输。

客户端上传下载文件前，首先需要通过用户名口令验证，验证通过后才能进行文件（包括目录）的上传下载。

客户端与GTP节点不同，它不需要配置和维护工作，使用方便。

4.4.监控管理中心

TongGTP监控管理中心是一套基于Web浏览器、B/S架构的集中监控管理平台。

通过监控管理中心，可以实现对网络中所有GTP节点的集中配置、监控、管理和维护等工作，能够大大提高系统的维护管理效率，降低系统维护成本。

TongGTP监控管理中心的体系结构如下图：

图3GTP监控管理中心体系结构

通过监控管理中心，用户实时查看各GTP节点的运行状态、任务所定义的文件传输情况，而且可以非常方便的查询及统计GTP节点上的文件传输结果，对于掌握系统的传输流量可以及时掌握。

通过监控管理中心也可以非常方便的对GTP节点进行远程的启动与停止，更加方便对系统的管理。

监控管理中心是一套独立于GTP节点运行环境的辅助工具系统，它不依赖于GTP环境，可以灵活的安装部署在专门的监控管理设备上，方便用户集中查看、监控GTP系统运行状态，对监控对象进行分析、诊断，并根据系统运行需要，调整相关配置。

5.主要功能

GTP的主要功能是为用户提供点与点之间自动、可靠高效的通用文件传输服务。

用户无需要进行任何编码，只需要进行简单的设置就可以完成传输任务的定义，GTP节点将按照用户的要求定期扫描新的文件并负责发送到目的地。

除文件传输功能之外，GTP还提供了跨越系统多个层次的安全性机制和良好的可管理性，以满足企业级应用的要求。

GTP系统提供的主要功能包括：

5.1.文件收发

GTP系统提供目录及文件的收发服务，用户指定要发送的目录及文件、接收节点及接收目录，向GTP发出发送指令，由GTP将该目录中的文件和子目录以相同的目录结构发送到指定节点的指定目录下。

用户可以采用手工方式逐次定义发送任务并发送；也可以采用自动方式——通过定义自动发送任务，指定要传输的目录、接收节点和目录后，启动自动任务，则GTP会自动检测该目录，随时将放入该目录的文件发送到接收节点的指定目录中。

为了保证文件传输的可靠和高效，GTP也提供了各种保证措施：

5.1.1.多种文件类型

GTP支持各种类型文件的传输，例如：

♦文本文件

♦二进制文件

♦图像文件

♦图片文件

♦语音文件等

对于文件的大小，GTP不做任何限制，只要操作系统可支持的文件大小，GTP都可以进行传输，无需用户手工对文件进行预先分割，再传输。

5.1.2.任务的灵活调度

GTP任务分为自动任务和手工任务两种类型，自动任务表示需要按一定的规则定期循环执行，一直不停止，除非用户主动停止它。

自动任务创建后可以立即开始执行、可以由用户按自己的需要启动并执行、也可以定时执行。

而手工任务则指将一批符合条件的文件发送完成就停止的任务。

对于运行中的任务用户可以根据自己的需要即时终止任务，也可以重新启动任务。

5.1.3.文件筛选及过滤

GTP可以按照配置的规则对源目录下的文件进行筛选，即只发送符合某些规则的文件，而不是目录下的所有文件。

文件筛选规包括通配符*、？

和正则表达式，也支持以文件大小范围和文件修改时间范围作为筛选条件。

5.1.4.压缩加密

GTP产品提供数据压缩和加密功能，产品本身带有一套数据压缩、加密算法，同时也为第三方的压缩和加密算法提供了接口，用户可以方便的将自己指定的压缩和加密算法嵌入到GTP系统中。

5.1.5.断点续传

通过GTP的底层通讯模块TongLINK/Q提供的断点续传功能，可以有效的保证文件传输的可靠性。

文件在传输过程中，不论是系统非正常关机或网络意外中断，文件消息都将仍保留在消息队列中，等待系统恢复后，文件将从传输失败点继续发送，而不是整个文件重新发送。

断点续传机制可以有效减少高故障率网络上的冗余通讯量。

在高故障网络上进行重传，会导致反复的失败重传，保证消息的可靠性。

5.1.6.流量控制

GTP也提供流量控制功能，在传输的过程中，GTP可以根据设置将消息拆分为不同的小块，在网络上进行传输，传输到目的端后再重新组织为完整的消息。

每个小块的大小可以根据网络带宽和网络质量的不同灵活设置，网络质量较高的系统，可以调大每个数据块的大小，以充分的利用网络带宽，网络质量较差的系统，可以相应调小每个数据块的大小，以减少对网络的压力。

5.1.7.文件组播

GTP既支持点对点方式的文件发送，也支持组播方式的文件发送，即可以将文件发送到一组GTP节点上，对于用户而言，只需要在定义任务时，指定多个目的节点就可以，任务所涉及到GTP节点之间则会自动生成所需要的相关配置，并实现文件从一个GTP节点发送到多个目的节点的要求。

5.1.8.文件发送后归档

GTP对目录下发送成功或失败的文件会按照用户的定义分类归档，即发送成功后转移到成功目录下，发送失败后也可以转移到发送失败目录下，以方便用户检查和审核。

在接收方文件也可以按照接收的时间归类存储，便于应用程序检索和获取。

5.1.9.文件重发

当GTP发送的文件到达目的方后，因为对方磁盘满等原因无法正常接收时，GTP发送方会认为此次发送失败，而会进行不断的重发尝试，重发的尝试次数由用户配置决定。

5.2.权限管理

GTP在监控管理中心上进行用户的权限定义和管理。

GTP系统定制了各种角色，并为这些角色授予各种资源的访问权限，包括节点及用户的定义（指增加、删除、修改等）权限、任务定义及管理权限等。

对于GTP系统的所有用户，均需要由系统管理员为其建立唯一的用户名和口令，并为该用户指定所属角色及可操作的节点。

用户在使用GTP系统时，必须通过口令字认证才可以登录成功，而该用户也只有拥有相应的权限，才能使用系统提供的任务定义、文件传输、系统管理等功能，同时也只能管理分配给自己的节点，以保证节点的安全性。

为了保护GTP节点本地的目录资源被非法访问或读写，系统中由管理员为各个节点定义目录资源，操作员通过控制台进行任务定义时，只能选择节点上定义的目录资源，而不能随意指定目录。

5.3.系统管理

5.3.1.管理方式

TongGTP提供命令行和B/S监控管理中心两种类型的系统管理工具，通过系统管理工具：

♦可以实现任务的定义、任务的调度；

♦可以监控各个节点的运行状态，也可以实时监控任务的运行情况及文件的传输情况；

♦可以实时监控各GTP节点的报警信息及运行日志，以便及时处理系统异常；

♦可以查询GTP节点的文件传输日志，并统计GTP节点的文件收发情况，进行系统审计；

♦可以启动和停止GTP节点

5.3.2.分域管理

一个系统中的节点数量达到成百上千时，由一个管理中心进行维护管理就显得有些庞大，可以将所有节点按某种共同特性划分为一个个独立的管理域，每个管理域中设立管理中心，负责管理自己辖内的节点，这样即降低了单中心管理的压力和负担，也与企业的行政管理结构更加吻合，如按网段划分的办公网、生产网管理域，或按区域划分为X省管理域、Y省管理域。

5.3.3.传输进度监控

传输进度是户直观查看和了解文件传输情况的重要渠道，用户查看任务时，能够显示任务当前正在并行传输文件的传输百分比进度，每隔5秒钟系统会自动刷新进度。

5.3.4.预警及故障告警

系统运行过程中可能会出现各种故障，如节点异常、传输异常等，第一时间将故障通知给系统维护人员，能够大大提高问题的处理和故障修复速度，增强系统可用性。

对于磁盘空间使用等资源当超出预定的阀值时，系统也能自动产生告警信息，提醒进行系统运维。

5.3.5.集中任务管理

系统提供统一任务管理窗口，用户不必再一级一级点击单个节点，查看和修改该节点的任务，能够直观的了解全系统中任务配置和运行情况。

5.3.6.任务配置

GTP节点的任务配置可以通过B/S管理控制台进行，也可以在节点上直接进行文件编辑，即能满足集中配置的需要，也能够满足客户本地化管理的需要。

而每个GTP节点的任务配置文件可以存储为二进制，也可以为文本文件，用户可以根据自己的需要选择存储方式。

存储为二进制的任务只能通过B/S管理控制台进行编辑，而文本则可以直接进行任务的添加和编辑。

5.3.7.动态配置

TongGTP提供动态配置功能，用户可以使用管理工具对系统的配置参数进行动态调整，调整后的配置信息能够在运行系统中立即生效，而无需重新启动系统。

TongGTP也提供核心动态控制功能，用户可以根据需要灵活启动、停止、删除某些系统对象，及时调节系统的核心，以节省系统资源、提高效率和可靠性。

5.3.8.监控管理

通过GTP提供的可视化的远程监控管理中心，用户可以对多个GTP节点的运行进行集中实时地监控和管理，如对节点的远程启动和停止，对节点的状态、文件的传输进度与状态的监控，对传输日志的审计等，极大方便了系统的集中维护和管理。

5.3.9.查询统计

GTP提供查询及统计功能，用户可以通过各种组合条件查询节点间的文件传输状况，也可以非常方便的统计全网内各节点之间文件发送及接收累计信息，如发送成功的文件总数数、发送失败的文件总数、接收成功的文件总数、接收失败的文件总数，发送成功的文件自字节数、接收成功的文件字节数等，用来对系统的传输情况进行审计及流量监管。

5.3.10.操作审计

TongGTP提供操作审计功能，可对每个登陆控制台的用户操作进行记录，供管理查询与审计，跟踪问题。

5.4.日志管理

用户使用GTP系统完成的所有传输任务，均有详细的日志信息；此外，系统运行中出现的故障，也会在日志系统中进行记录。

通过日志信息，用户可以快速地进行运行故障定位和方便地进行运行审计。

GTP的日志记录级别及日志文件的大小都可以根据用户需求灵活配置，用户进行系统调试时，日志级别可以设置的较高，以详细记录系统传输的信息，当系统稳定运行后，日志级别可以相应调低，以减少日志记录对资源的占用。

为避免传输日志长期积累过于庞大，影响GTP节点的良好运行，用户可定义相关日志处理条件，GTP节点则按照条件进行日志自动清理或备份。

对于监控管理中心上的用户操作行为也会记录详细的操作记录日志，管理员可以查看所有用户的操作痕迹，一旦系统出现运行故障，可以非常方便的分析和跟踪用户行为。

为避免监控管理中心数据库中的传输日志及操作日志过多，造成系统访问速度受到影响，GTP提供控制台传输日志手工或自动清理功能，系统将自动进行日志的清理。

5.5.链路管理

GTP系统节点之间的拓扑结构完全由用户根据传输需要灵活组织，GTP节点之间可以是树型逻辑结构、网状结构和星型结构等。

用户在使用时，只需根据自己的传输需要，在GTP节点上定义到其他GTP节点上的任务，两者之间的传输链路则由GTP自动产生并维护，用户无需要提前构建GTP节点之间的拓扑关系。

GTP的数据传输通道建立在TCP连接之上，利用TCP可靠、有序的传输服务，为用户进行消息传送。

GTP对数据传输通道进行管理，为文件及控制信息的传送提供通路。

GTP采用断点续传技术，以避免在网络质量下降时，数据重复发送产生雪崩效应导致的网络极度拥塞。

GTP在高速网上传输数据时，支持对网络带宽的占用进行限制，以适应用户对带宽资源进行规划使用的要求。

GTP节点与监控管理中心的管理连接可以根据需要灵活定义，即可以选择所有节点向管理中心统一主动注册的模式，也可以选择由管理中心主动连接节点的模式。

5.6.易用工具

5.6.1.批量导入导出

为方便系统的快速搭建，TongGTP提供批量导入导出功能。

用户不必通过控制台逐条添加节点、用户、目录、任务等记录，而可以预先编辑好一个批量文本，一次性导入所有资源和任务，减少维护人员的工作量。

5.6.2.本地日志查询统计

为方便用户在GTP节点上查看本节点文件传输情况，GTP也提供一个命令行的管理工具，用户可以通过该工具查询和统计本节点的文件收发情况。

5.6.3.本地运行监控

为了方便用户在GTP节点上查看节点、任务、文件传输情况，GTP提供本地化的命令行工具，通过该工具，用户不必再登录到控制台上查看节点信息，而直接在节点上查看和监控所有关键信息。

5.6.4.链路检测工具

为了方便用户检测某个任务的传输链路是否正常，GTP提供检测命令行检测工具，可以方便的检测到指定目的地的路由及传输连接是否正常。

5.7.传输扩展

5.7.1.任务出口

GTP在文件传输的过程中，允许用户以动态库的形式嵌入自己对文件的处理，如发送前的文件内容检查，接收后的复审等。

5.7.2.灵活的加密算法

GTP在进行任务定义时，可以指定是否对要传输的文件进行加密，而且可以选择加密算法，如RC5、DES、3DES等，可以满足客户不同强度的加密需求。

6.系统特点

GTP在传输的效率、安全性、可靠性等方面都提供了相当多的技术保障机制，以适应企业级应用的需要。

作为一个运行系统，它为上层应用系统提供可靠、实时高效的文件传输服务。

依靠此平台，用户不要进行任何编码，就可以轻松实现文件的各种方式传输。

GTP的管理工具集，提供了对系统运行情况进行监控、维护的功能，同时能够根据网络资源实际情况进行合理的配置，极大的提高系统的运行效率。

系统完善的日志机制对于进行故障排除和信息汇总分析也提供强大的支持。

作为一个面向企业级应用的产品，GTP具备了以下品质特性：

♦高可靠性：

鉴于各种网络传输的差异性及网络环境的不确定性，在传输大容量数据时，网络连接如果突然中断，GTP系统能够保证数据的完整性，支持断点续传和数据安全保存。

♦高效性：

GTP通过各种传输优化策略保证了传输高效性，传输效率已接近FTP。

另外，为提高网络传输效率，GTP还支持压缩传输，用户可以选择将传输内容压缩发送，接收方接收到传输内容后可以根据是否为压缩方式进行自动解压。

♦全程可见性：

GTP提供可视化的监控管理工具，能够实现端到端的监控，即时掌握文件的传输状态。

♦传输自动化：

GTP可支持定时传送、按预先的设置进行重试、断点续传等等，用户完全不需要频繁的检查传输情况，手工去重传消息。

♦安全性：

通过集中的用户身份认证和权限管理，对所有节点的管理用户统一进行管理和授权，保证系统的访问安全。

GTP还提供网络节点认证、文件加密传输、日志审计等多种机制，在多个层次上保证系统的安全性。

♦可管理性：

系统提供统一的图形用户界面，传输、管理、控制等都可以通过图形界面操作完成。

♦系统易用性：

用户对于系统的使用，不需要进行大量的开发工作，而只需要将通用数据传输平台安装在需要传输的各节点上，进行少量的简单配置工作，就可以实现文件的自动发送和接收功能，非常容易使用。

7.应用案例

本部分给出了一个应用GTP实现企业财务数据传输系统的案例。

本案例涉及的是一个在全国范围分布着三级分公司的大型企业，各下级分公司将其财务数据报送给上级公司，上级公司也会将反馈数据、分析数据等下传给各下级分公司。

应用环境特点

♦系统规模庞大，覆盖了全国300多个有财务数据传输需求的分支机构。

♦系统内的数据非常敏感，需要有完备的安全保障机制。

♦系统内供数据传输用的计算机种类繁杂，涉及到多种Unix和Windows操作系统，必须提供跨平台的传输服务。

♦系统的网络环境复杂，既有高速的DDN线路，也有低速的拨号网络，还有延迟较大的卫星线路。

系统部署

为实现上述环境下的数据传输需求，用户选择了GTP来构建全国范围的财务数据传输系统，系统部署如下图：

♦在总公司、一级分公司、二级分公司部署GTP的文件传输服务系统，向用户提供业务机构间的双向数据传输服务

♦在总公司部署监控管理中心，对整个系统中的用户、节点及任务进行管理和监控。

图4企业财务数据传输系统GTP部署示意图

系统的主要优点

♦基于GTP的企业财务数据传输系统实现了复杂网络环境和多操作系统环境下的数据传输网络构建，提供了系统所需的数据传输服务。

♦基于GTP的安全体系，在传输通道的建立、数据在网络上的传输、用户对资源的访问等层面均提供了相应的安全管理机制，保护了用户机密数据的安全。

♦易学易用，企业中的财务人员经过简单的培训即可以承担日常的数据传输工作。

♦通过远程管理系统，有效解决了这样一个全国范围的大型网络的管理维护问题，降低了系统的使用成本。