TongGTP v60技术白皮书参考仅供.docx

1、TongGTP v60技术白皮书参考仅供TongTech TongGTP6.0技术白皮书东方通科技公司技术白皮书（14）1. 前言随着大型企业或机构实现业务集中处理后，各个数据中心产生的大量数据信息，以及各种图像文件等需要及时快速地从省、市一级的服务器或终端传输到全国中心，或者从全国中心往省、市、县级中心下发，多数企业还在使用传统的FTP解决传输问题。主要因为它是一个免费的非侵入式的软件，一个技术人员稍加培训即可在基于IP的网络上进行各种类型文件的传输操作。但是，FTP解决不了以下问题：FTP不适应现代化企业进行信息传输的需求，无法满足大量的非常准确的信息传送需求和业务需求： 安全性差 没有传

2、输的保障 有限的错误捕获和预防措施 没有传输监控、广播、自动化、重传、重试、存储转发等必要的功能。当需要传输的系统越来越多，传输数据量越来越大的情况下，必须增加大量的人员进行24小时不停的人工监控和系统维护，造成人力物力成本的大幅增加。TongGTP(以下简称GTP)是面向分布式应用的文件传输平台，针对上述需求，提供满足企业级应用需要的通用传输功能。GTP系统以成熟的消息中间件TongLINK/Q为基础进行架构，从而保证了其核心系统稳定可靠、具有良好的可扩展性和相当好的处理性能、并且易于管理和维护。同时，GTP平台提供企业大数据量传输所需要的各种管理、部署和安全功能，使其方便易用。借助此平台用

3、户无需任何编码，只需进行简单的配置就可以轻松实现不同节点间的文件可靠、安全、高效的传输。2. TongGTP v6.0主要新特性1. 支持分域管理一个系统中的节点数量达到成百上千时，由一个管理中心进行维护管理就显得有些庞大，可以将所有节点按某种共同特性划分为一个个独立的管理域，每个管理域中设立管理中心，负责管理自己辖内的节点，这样即降低了单中心管理的压力和负担，也与企业的行政管理结构更加吻合，如按网段划分的办公网、生产网管理域，或按区域划分为X省管理域、Y省管理域。2. 端到端任务配置和传输路由在上一版本中，GTP系统内，两个不能直接连通的节点之间要进行文件传输，必须由操作员定义几个首尾相连的

4、任务进行文件的中转传输，即使发送到同一个目的地不同目录下的文件，也需要重复定义传输中转任务。为了简化用户配置工作，提高产品使用灵活度，GTP新版本中允许用户直接配置不能直接连通的节点间任务，文件的传输通过路由进行自动中转。任务配置数量至少减半。3. 传输进度监控传输进度是户直观查看和了解文件传输情况的重要渠道，用户查看任务时，能够显示任务当前正在并行传输文件的传输百分比进度，每隔5秒钟系统会自动刷新进度。4. 预警及故障告警系统运行过程中可能会出现各种故障，如节点异常、传输异常等，第一时间将故障通知给系统维护人员，能够大大提高问题的处理和故障修复速度，增强系统可用性。5. 集中任务管理系统提供

5、统一任务管理窗口，用户不必再一级一级点击单个节点，查看和修改该节点的任务，能够直观的了解全系统中任务配置和运行情况。6. 批量导入导出改进批量导入导出模板进行了调整，不同属性使用不同的sheet，以便于客户编辑。同时任务导入时，支持所有字段的导入。3. 基本术语由于后续对于此平台的功能描述中涉及诸多基本概念，本节将介绍GTP涉及的基本术语。消息中间件 消息中间件是实现应用之间进行广泛用途的消息传递的一类中间件，在分布式计算环境中通过消息队列以消息投递方式实现应用间松耦合关系的信息交互。GTP节点一套GTP的运行环境，实现文件传输的功能，一般运行在一台物理机器上。GTP客户端 一套用于与GTP节

6、点通讯的开发包，由用户的应用程序调用实现文件上传到GTP节点所在机器或从GTP节点上下载文件。GTP监控管理中心集中进行GTP节点管理、用户管理、任务管理的统一平台，用户通过浏览器进行访问。任务 任务是指用户为GTP定义的工作计划，GTP将根据用户的定义，在某个最方便的时间自动运行任务，实现文件传输。断点续传当文件在传输过程中由于意外原因引起传输失败时，GTP将负责从传输失败点接续发送该文件，而不是将整个文件重新发送。通过断点续传机制，既可以有效减少高故障率网络上的冗余通讯量，又可以避免极端情况下，如频率极高的网络抖动，文件传输的反复失败重传。数据加密 通过某种算法，对数据进行编码，防止非法用

7、户的阅读。比较常用的都是基于复杂的算法，通过密钥来进行数据加密，主要的算法有DES、3DES、RC5、RSA等。数据压缩 对于特大数据进行压缩，对于传输系统来说也非常重要。通过标准高效的压缩算法，对要传输的大文件先进行压缩处理再进行传输，可以非常有效的利用网络带宽，提高传输效率。4. 体系结构4.1. 产品组成TongGTP由GTP节点、GTP客户端、监控管理中心三部分组成。组成结构如下图所示：图 1 GTP产品组成GTP节点分布在网络上需要进行文件传输的机器上，用户可以通过浏览器登录集中管理中心，访问需要管理的节点，并定义相关的任务，交由GTP节点以手工或自动方式执行发送任务，文件的接收方（

8、可以为一个或多个节点）的GTP节点负责将收到的消息按照约定的目录存放。为保证系统的的安全性，GTP提供用户权限管理服务，用户分为管理员、操作员及访问者三种级别，具有不同的访问权限，而且对某个用户可管理的节点也可进行指派，避免错误操作职权范围外的节点。4.2. GTP节点GTP节点是GTP在网络中的一套运行环境和基本单位，它由一组进程、配置文件和相关系统资源所组成，为用户提供文件传输任务的监控和调度管理，在合适的时间为用户自动进行文件的扫描与发送。GTP节点的组成结构如下：图 2 GTP节点体系结构GTP节点包括代理服务、核心进程、命令工具及核心传输模块、日志管理等五大部分。代理服务负责与监控管

9、理中心进行通讯，提供GTP节点管理的代理服务。底层传输模块是提供消息存储、队列管理等职能的消息中间件产品TongLINK/Q，由其为GTP节点间提供可靠高效的传输平台。核心进程提供任务管理、目录访问及文件传输等服务，按照用户的定义的约定要求执行相关文件传输命令。命令行工具及日志管理是为用户提供的其他辅助工具，以便用户在GTP节点上通过手工执行命令实现文件发送或日志的查看和管理。4.3. GTP客户端TongGTP客户端是一个应用开发包，应用程序可调用该开发包中的接口按需与GTP服务节点进行文件传输。客户端上传下载文件前，首先需要通过用户名口令验证，验证通过后才能进行文件（包括目录）的上传下载。

10、客户端与GTP节点不同，它不需要配置和维护工作，使用方便 。4.4. 监控管理中心 TongGTP监控管理中心是一套基于Web浏览器、B/S架构的集中监控管理平台。通过监控管理中心，可以实现对网络中所有GTP节点的集中配置、监控、管理和维护等工作，能够大大提高系统的维护管理效率，降低系统维护成本。 TongGTP监控管理中心的体系结构如下图：图 3 GTP监控管理中心体系结构通过监控管理中心，用户实时查看各GTP节点的运行状态、任务所定义的文件传输情况，而且可以非常方便的查询及统计GTP节点上的文件传输结果，对于掌握系统的传输流量可以及时掌握。通过监控管理中心也可以非常方便的对GTP节点进行远

11、程的启动与停止，更加方便对系统的管理。监控管理中心是一套独立于GTP节点运行环境的辅助工具系统，它不依赖于GTP环境，可以灵活的安装部署在专门的监控管理设备上，方便用户集中查看、监控GTP系统运行状态，对监控对象进行分析、诊断，并根据系统运行需要，调整相关配置。5. 主要功能GTP的主要功能是为用户提供点与点之间自动、可靠高效的通用文件传输服务。用户无需要进行任何编码，只需要进行简单的设置就可以完成传输任务的定义，GTP节点将按照用户的要求定期扫描新的文件并负责发送到目的地。 除文件传输功能之外，GTP还提供了跨越系统多个层次的安全性机制和良好的可管理性，以满足企业级应用的要求。GTP系统提供

12、的主要功能包括：5.1. 文件收发GTP系统提供目录及文件的收发服务，用户指定要发送的目录及文件、接收节点及接收目录，向GTP发出发送指令，由GTP将该目录中的文件和子目录以相同的目录结构发送到指定节点的指定目录下。用户可以采用手工方式逐次定义发送任务并发送；也可以采用自动方式通过定义自动发送任务，指定要传输的目录、接收节点和目录后，启动自动任务，则GTP会自动检测该目录，随时将放入该目录的文件发送到接收节点的指定目录中。为了保证文件传输的可靠和高效，GTP也提供了各种保证措施：5.1.1. 多种文件类型GTP支持各种类型文件的传输，例如： 文本文件 二进制文件 图像文件 图片文件 语音文件等

13、 对于文件的大小，GTP不做任何限制，只要操作系统可支持的文件大小，GTP都可以进行传输，无需用户手工对文件进行预先分割，再传输。5.1.2. 任务的灵活调度GTP任务分为自动任务和手工任务两种类型，自动任务表示需要按一定的规则定期循环执行，一直不停止，除非用户主动停止它。自动任务创建后可以立即开始执行、可以由用户按自己的需要启动并执行、也可以定时执行。而手工任务则指将一批符合条件的文件发送完成就停止的任务。对于运行中的任务用户可以根据自己的需要即时终止任务，也可以重新启动任务。5.1.3. 文件筛选及过滤 GTP可以按照配置的规则对源目录下的文件进行筛选，即只发送符合某些规则的文件，而不是目

14、录下的所有文件。文件筛选规包括通配符*、？和正则表达式，也支持以文件大小范围和文件修改时间范围作为筛选条件。5.1.4. 压缩加密GTP产品提供数据压缩和加密功能，产品本身带有一套数据压缩、加密算法，同时也为第三方的压缩和加密算法提供了接口，用户可以方便的将自己指定的压缩和加密算法嵌入到GTP系统中。5.1.5. 断点续传通过GTP的底层通讯模块TongLINK/Q提供的断点续传功能，可以有效的保证文件传输的可靠性。文件在传输过程中，不论是系统非正常关机或网络意外中断，文件消息都将仍保留在消息队列中，等待系统恢复后，文件将从传输失败点继续发送，而不是整个文件重新发送。断点续传机制可以有效减少高

15、故障率网络上的冗余通讯量。在高故障网络上进行重传，会导致反复的失败重传，保证消息的可靠性。5.1.6. 流量控制GTP也提供流量控制功能，在传输的过程中，GTP可以根据设置将消息拆分为不同的小块，在网络上进行传输，传输到目的端后再重新组织为完整的消息。每个小块的大小可以根据网络带宽和网络质量的不同灵活设置，网络质量较高的系统，可以调大每个数据块的大小，以充分的利用网络带宽，网络质量较差的系统，可以相应调小每个数据块的大小，以减少对网络的压力。5.1.7. 文件组播GTP既支持点对点方式的文件发送，也支持组播方式的文件发送，即可以将文件发送到一组GTP节点上，对于用户而言，只需要在定义任务时，指定多个目的节点就可以，任务所涉及到GTP节点之间则会自动生成所需要的相关配置，并实现文件从一个GTP节点发送到多个目的节点的要求。5.1.8. 文件发送后归档GTP对目录下发送成功或失败的文件会按照用户的定义分类归档，即发送成功后转移到成功目录下，发送失败后也可以转移到发送失败目录下，以方便用户检查和审核。在接收方文件也可以按照接收的时间归类存储，便于应用程序检索和获取。5.1.9. 文件重发当GTP发送的文件到达目的方后，因为对方磁盘满等原因无法正常接收时，GTP发送方会认为此次发送失败，而会进行不断的重发尝试，重发的尝试次数由