使用手册动态数据加工.docx
《使用手册动态数据加工.docx》由会员分享，可在线阅读，更多相关《使用手册动态数据加工.docx（52页珍藏版）》请在冰豆网上搜索。
使用手册动态数据加工
文档编号：
ICSSTJBG-DTSSJG-H001
国家烟草专卖局
动态数据加工
使用手册_动态数据加工
北京中软国际信息技术有限公司
目录
目录3
1前言8
1.1编写目的8
1.2运行环境8
1.3参考资料8
2使用说明8
2.1加工逻辑设计8
2.1.1基础信息维护9
2.1.2语义信息维护17
2.1.3数据结构维护21
2.2加工任务调度24
2.2.1数据源注册24
2.2.2工作组注册30
2.2.3加工工作注册32
2.2.4加工任务注册39
2.3加工任务监控43
2.3.1任务运行监控44
2.3.2任务历史日志查询47
2.3.3工作历史日志查询49
2.3.4任务平均执行时间图50
2.3.5单一任务执行时间图52
2.3.6历史工作执行图53
2.3.7工作时间占用图55
2.3.8任务成功比例图56
2.3.9任务安排情况57
2.4加工数据校验58
2.4.1校验信息注册59
2.4.2校验结果展示62
2.5系统管理63
2.5.1系统参数维护63
2.5.2缓存管理65
2.5.3数据加工逻辑下发66
1前言
1.1编写目的
本文档描述动态数据加工使用手册的工作原理与使用方法
1.2运行环境
动态数据加工管理系统部署的服务器。
该服务器需要部署动态数据加工管理系统应用包。
1.3参考资料
使用手册_动态数据加工管理系统工作原理
2使用说明
2.1加工逻辑设计
加工逻辑是对数据加工处理过程的描述，用标准的语法描述数据加工各环节的具体工作及数据加工各环节间的关系。
数据加工基本处理逻辑是通过灵活的配置方式获得加工业务类型和加工逻辑，脚本生成引擎根据加工业务类型和加工逻辑生成最终的数据加工脚本。
2.1.1基础信息维护
2.1.1.1功能描述
加工逻辑的基础信息是对数据加工的整体信息进行描述，是加工逻辑设计工作的基础，为加工脚本的生成提供名称等信息。
加工逻辑基础信息维护实现对加工逻辑信息的新增、修改、删除、查看和列表展现等功能，是加工逻辑设计的入口。
加工规则基础信息的具体内容如下：
Ø标识：
系统生成的唯一标示UUID；
Ø名称：
对加工逻辑的简要描述；
Ø代码：
用户定义的具有一定含义的字符串，作为加工脚本的名称；
Ø状态：
包括草稿、发布、取消发布三种状态；
Ø备注：
对加工逻辑的描述；
Ø创建人：
加工逻辑基础信息建立人员；
Ø创建时间：
加工逻辑基础信息的建立时间；
Ø修改人：
最后一次修改加工逻辑信息的人员；
Ø修改时间：
最后一次修改加工逻辑信息的时间。
2.1.1.2操作此功能的角色
加工逻辑设计者。
2.1.1.3使用说明
2.1.1.3.1基础信息维护列表页面
在动态数据加工菜单下选择加工逻辑设计基础信息维护，进入基础信息维护列表页面：
基础信息维护列表
基础信息维护列表页面主要包括三个区域：
查询条件区、列表展现区、操作区。
对基础信息列表展现页面说明如下：
1）查询条件区：
可通过输入加工逻辑名称、代码，对数据加工逻辑的相关信息进行过滤，只展现操作人员所关注的数据。
2）列表展现区：
展现数据查询结果，显示序号、加工逻辑名称、加工逻辑代码、状态、创建人、创建时间等信息。
可以点击加工逻辑名称进入加工逻辑修改/查看页面，其中状态有取消发布、发布和草稿三种状态，取消发布和发布状态的信息不能被删除。
3）操作区：
可以选择加工逻辑列表第一列的单选框，选中指定加工逻辑，如果该行的状态为取消发布和发布状态，则“删除”按钮变为灰色即该行不能删除，如果该行的状态为草稿状态，则点击“删除”按钮对该加工逻辑进行删除，可以点击“新建”按钮，进入基础信息维护页面。
2.1.1.3.2查询基础信息
可通过输入加工逻辑名称、代码，点击“查询”按钮，对数据加工逻辑的相关信息进行过滤，在列表展现区展现操作人员所关注的数据。
2.1.1.3.3新建基础信息
点击基础信息维护列表页面的“新建”按钮，进入基础信息维护页面：
基础信息维护页面
基础信息维护页面分为两个部分：
基础信息维护区、基础信息操作区。
对基础信息维护页面说明如下：
1）基础信息维护区：
维护加工逻辑的基础信息，包括名称、代码、状态、数据源、创建人、创建时间、修改人、修改时间、备注等信息。
2）基础信息操作区：
提供配置加工规则、保存、删除、脚本生产、发布/取消发布、版本管理、返回等功能，其中新增规则是具体加工规则维护的入口。
可通过点击“保存”、“删除”、“发布”按钮对当前维护的加工逻辑进行修改、删除、发布操作。
Ø配置加工规则：
新增加工规则的入口；
Ø保存：
存储当前加工逻辑到数据库；
Ø删除：
删除当前加工逻辑，删除相关的加工逻辑和脚步文件，并删除数据库中的对象（存储过程）；
Ø脚本生成：
脚本生成的入口；
Ø发布：
修改当前加工逻辑为“
发布”，同时系统对数据加工脚本进行编译，并在指定数据库中生成可被调度的数据库对象；判断是否包含有“数据过滤”加工业务类型的加工规则，如有则首先判断是否已有垃圾表存在，垃圾表命名规则为数据目标表名称+“_WASTE”，如果垃圾表不存在则首先创建垃圾表（如存储过程）。
Ø取消发布：
修改当前加工逻辑为“取消发布”，同时删除数据库中的对象（存储过程），并进行版本处理，即备份当前版本的加工逻辑文件和脚本文件，复制原文件并在文件名后增加时间戳字符串。
Ø版本管理：
提供查询历史版本的功能，并根据业务需要启用以往版本的加工逻辑。
当刚进入新建基础信息维护页面时，配置加工规则、保存、删除、脚本生产、发布/取消发布、版本管理等的按钮为灰色即不能进行这些操作，只有保存、删除和返回等功能；当点击“保存”按钮后，取消发布变为灰色不能用，其他按钮都显示为黑色表示可用；只有加工逻辑生产的脚本通过校验后，才能做“发布”操作。
2.1.1.3.3.1配置加工规则
点击基础信息维护页面的“配置加工规则”，可对加工逻辑配置多个加工规则，进入新增加工规则列表页面：
加工规则列表页面
加工规则实现的是指在加工业务类型基础上设置输入输出项、配置满足具体业务需求的加工规则的具体化设计，是一个将加工业务类型实例化成具体业务处理的过程。
加工规则列表页面分为三个部分：
加工规则列表展现区、加工规则操作区、加工规则标题修改区。
对加工规则列表页面说明如下：
1）加工规则列表展现区：
展现加工规则的基础信息，包括序号、标题、模板、顺序调整、操作等，其中操作列中有选择该行进入修改加工规则和删除该加工规则等功能。
点击顺序调整图标可以将数据加工的顺序按升序或降序操作。
2）加工规则操作区：
提供新增规则、保存、返回等操作。
3）加工规则标题修改区：
可对选择的加工规则标题进行修改。
可以选择加工规则列表第一列的单选框，选中指定加工规则，点击操作中的“删除”按钮，可删除该加工规则，点击“修改”按钮可对该条加工规则的标题进行修改：
加工规则标题修改页面
修改后点击“保存”按钮，加工规则标题即更新成功。
选中某条规格后面的“修改”按钮，可修改加工规则的配置信息，进入修改页面：
加工规则配置页面
2.1.1.3.3.1.1新增加工规则
点击加工规则列表页面“新增规则”，进入新增加工规则页面：
新增规则页面
选择所属加工类型，加工类型有同步、整合、延续、累计、同期、上期、时间降维、非时间降维、价类拆分、企业合并等，再输入加工规则名称，点击“下一步”进入配置加工规则明细页面，可根据所属加工类型配置对应加工规则。
2.1.1.3.3.2保存
点击基础信息维护页面的“保存”按钮，保存当前加工逻辑到数据库。
2.1.1.3.3.3删除
点击基础信息维护页面的“删除”按钮，删除当前加工逻辑。
2.1.1.3.3.4脚本生成
点击基础信息维护页面的“脚本生成”按钮，进入脚本生成页面：
脚本生成页面
脚本生成页面分为三个部分：
加工逻辑基础信息区、操作区、脚本维护区。
对脚本生成页面说明如下：
1）加工逻辑基础信息区：
展现加工逻辑名称、代码和加工规则列表，列表中展现已配好的加工规则的序号、标题和模板等信息。
2）操作区：
提供生成脚本、保存、清除、校验、返回等功能
3）脚本维护区：
展现加工逻辑生成的存储过程脚本。
点击“生成脚本”按钮，生成存储过程脚本，在脚本维护区中展现：
脚本维护展现
点击“保存”按钮后，可点击“校验”按钮，此时在数据库中将存储过程进行预编译处理，校验其语法问题。
也可点击“清除”按钮，重新进行生成、校验。
注意每次“生成脚本”之后，“校验”之前要先“保存”，否则脚本可能不是最新。
2.1.1.3.3.5发布
点击基础信息维护页面的“发布”按钮，该存储过程会被编译后保存到数据库，存储过程名字为代码名称。
发布后可取消发布。
注意：
在脚本生成页面里，生成的脚本没有保存的话在新建加工逻辑页面中不会显示“发布按钮”。
2.1.1.3.3.6取消发布
点击基础信息维护页面的“取消发布”按钮，修改当前加工逻辑为“取消发布”，同时删除数据库中的对象（存储过程），并进行版本处理，即备份当前版本的加工逻辑文件和脚本文件，复制原文件并在文件名后增加时间戳字符串。
2.1.1.3.3.7版本管理
点击基础信息维护页面的“版本管理”按钮，进入版本管理页面：
版本管理页面
版本管理页面分为三个部分：
版本信息查看区、历史版本管理区、操作区。
对版本管理页面说明如下：
1）版本信息查看区：
展现加工逻辑的名称、代码和加工规则列表，列表中显示序号、加工规则的标题、模板等信息。
2）历史版本管理区：
展现加工逻辑各个历史版本的名称、代码、截止日期和操作，可以点击操作列的“启用”按钮，重新恢复对指定历史版本加工逻辑的使用，点击“删除”按钮清除指定版本，点击历史版本的名称可以在版本信息查看区域显示版本的基本信息。
3）操作区：
提供返回上一级菜单的返回按钮。
2.1.1.3.4删除基础信息
选择基础信息维护列表第一列的单选框，选中指定基础信息，点击“删除”按钮，删除了该基础信息。
2.1.2语义信息维护
2.1.2.1功能描述
通过动态数据加工系统，用户可以配置表、表对应字段等信息，并将配置的信息保存到数据库中，为数据加工体系提供基础结构。
2.1.2.2操作此功能的角色
加工逻辑设计者。
2.1.2.3使用说明
2.1.2.3.1基础信息维护页面
在动态数据加工菜单下选择加工逻辑设计语义信息维护，进入表信息维护页面：
表信息维护页面
表信息维护页面为三个部分：
查询区、列表展现区、操作区。
对表信息维护页面说明如下：
1）查询区：
可通过输入表中文名称、表英文名称，对表信息的相关信息进行过滤，只展现操作人员所关注的数据。
2）列表展现区：
展现数据查询结果，显示序号、表中文名称、表英文名称等信息，可以点击表中文名称进入表信息修改/查看页面。
3）操作区：
提供同步、新建、删除等功能操作。
2.1.2.3.2查询
可根据表中文名称、表英文名称对表信息进行查询，在列表展现去展现操作人员所关注的数据。
2.1.2.3.3修改
点击表中文名称中的链接，进入字段信息维护页面，可对表信息进行修改操作。
表信息修改页面
2.1.2.3.4同步
点击表信息维护页面的“同步”按钮，可将数据中心的数据同步到ddp库表中，对于ddp库表已经存在的数据不作处理。
2.1.2.3.5新建
点击表信息维护页面的“新建”按钮，进入字段信息维护页面：
字段信息维护页面
字段信息维护页面主要包括三个区域：
表设置区、字段设置区、操作区。
对字段信息列表展现页面说明如下：
1）表设置区：
提供表中文、英文名称输入框，装载按钮等。
表英文名称只能是数据库中存在表的名称，要不不能装载，点击“装载”按钮后，字段设置区会将数据库表中的字段信息展现出来。
2）字段设置区：
显示序号、字段英文名称、顺序、字段中文名称、选择指标等信息，根据装载的表，按表顺序显示字段英文名称和顺序，点击选择指标列的选择“指标按钮”，出现指标数据对话框，选择里面的数据后将在字段中文名称中显示，也可以对“字段中文名称”进行修改。
3）操作区：
提供保存字段信息、返回上一级菜单等功能。
指标数据对话框
2.1.2.3.6删除
选择表信息列表第一列的单选框，选中指定表信息，点击“删除”按钮，将该表信息删除。
2.1.3数据结构维护
2.1.3.1功能描述
在语义信息维护中建表的基础上，用户可以配置以某种加工业务类型和语义主表为依赖的表、表对应字段等信息，并将配置的信息保存到数据库中，为数据加工体系提供基础结构。
2.1.3.2操作此功能的角色
加工逻辑设计者。
2.1.3.3使用说明
2.1.3.3.1数据结构维护页面
在动态数据加工菜单下选择加工逻辑设计数据结构维护，进入数据结构维护页面：
数据结构维护页面
数据结构维护页面为三个部分：
查询区、列表展现区、操作区。
对数据结构维护页面说明如下：
1）查询区：
可通过输入表中文名称、表英文名称，对表信息的相关信息进行过滤，只展现操作人员所关注的数据。
2）列表展现区：
展现数据查询结果，显示序号、表中文名称、表英文名称、依赖表英文名称、依赖类型等信息，可以点击表中文名称进入表信息修改/查看页面。
3）操作区：
提供新建、删除等功能操作。
2.1.3.3.2查询
可根据表中文名称、表英文名称对表信息进行查询，在列表展现去展现操作人员所关注的数据。
2.1.3.3.3查看表基础信息
点击表中文名称中的链接，进入创建表页面，可查看表基础信息。
查看表页面
2.1.3.3.4新建
点击数据结构维护页面的“新建”按钮，进入创建表页面：
创建表页面
创建表页面主要包括三个区域：
表设置区、字段设置区、操作区。
对创建表页面说明如下：
1）表设置区：
提供表中文、英文名称输入框，依赖表英文名称、依赖类型下拉菜单等。
依赖表英文名称是在语义信息维护中定义的表，依赖类型是加工业务类型。
选择一项依赖表英文名称后，字段设置区会将数据库表中的字段信息展现出来。
2）字段设置区：
显示序号、字段英文名称、字段中文名称、顺序等信息，根据语义主表，按表顺序显示字段英文名称、字段英文名称和顺序，点击复选框，就会生成对应字段的新表。
3）操作区：
提供保存字段信息、返回上一级菜单等功能。
2.1.3.3.5删除
选择表信息列表第一列的单选框，选中指定表信息，点击“删除”按钮，将该表信息删除。
2.2加工任务调度
2.2.1数据源注册
2.2.1.1功能描述
（1）实现增加、删除、修改和查询
增加：
采用向导的形式，提供添加数据源基本信息的界面客户进行增加数据源，对于数据库连接的注册，注册应用服务器的数据库连接池的连接信息。
删除：
如果有其他加工工作在引用该数据源，则不允许删除
修改：
修改数据源的注册资料
查询：
提供数据源列表查询，可以根据数据源名称和类型来查询；数据源名称支持模糊查询。
（2）连接测试
对于数据库类型的数据源，测试其连接是否成功。
2.2.1.2操作此功能的角色
加工逻辑设计者。
2.2.1.3使用说明
在系统菜单中选择动态数据加工加工任务调度数据源注册，进入数据源注册列表页面：
数据源注册列表
数据源注册列表页面主要包括三个区域：
查询条件区、列表展现区、操作区。
对数据源注册列表页面说明如下：
1）查询条件区：
可通过输入数据源名称、选中数据源类型，对注册的数据源进行过滤，展现操作人员所关注的数据源。
其中数据源类型有DB2、ORACLE、SYBASE、SERVERSQL等。
2）列表展现区：
展现查询结果，显示序号、数据源名称、类型、数据源描述、建立时间和连接测试按钮等信息。
可以点击数据源名称的链接进入数据源注册修改/查看页面，点击连接测试列的“测试”按钮测试其连接是否成功。
3）操作区：
提供新建、删除等功能，当选中了第一列的多选框，点击“删除”按钮，可删除选中数据源，如果该数据源被其他加工工作引用了，则该数据源不能选中，不能删除，点击“新建”按钮，进行新建数据源页面。
1.查询
在数据源注册列表页面中，用户可以先选择查询条件，然后点击“查询”按钮，系统将符合查询条件的数据源显示在列表展现区中。
2.新建
在数据源注册列表页面中，点击页面下方的“新建”按钮，进入新建数据源的第一个页面：
注册数据源-第一步
在上图中，选择一个数据源类型，然后点击“下一步”继续，到新建数据源的第二个页面，根据数据源类型选择不同，这个页面内容有所区别；对于数据库类型的数据源，页面如下面两个图所示（一个是通过JNDI连接，一个是通过jdbc直接连接）：
注册数据源-第二步
（1）
注册数据源-第二步
（2）
在上图中，填写必须的信息，然后点击“保存”按钮，完成数据源的创建；填写的信息包括：
1．数据源名称
2．数据源描述
3．如果是数据库，数据库连接方式
✧JNDI：
填写数据源的JNDI名字
✧Driver：
如果采用这种方式，还需要注册以下的属性：
（1）驱动程序DRIVER
（2）数据库连接URL
（3）用户名USER
（4）口令PASSWORD
（5）数据库编码方式
✧数据库版本Version
4．如果是OLAP，填写：
ØOLAP服务器IP
ØOLAP服务器服务端口
Ø用户
Ø口令
Ø应用名称
Ø库名称
5．如果是EXCEL文件，填写：
Ø文件名称
Ø全路径
ØExcel格式信息（列数:
sheet名称,列数:
sheet名称…..）
Ø描述
6．如果是TXT文件，填写：
Ø文件名称
Ø全路径
Ø文本分隔符
Ø文本列数
Ø描述
7．如果是XML文件，填写：
Ø文件名称
Ø全路径
ØDTD格式
Ø描述
3.修改
在数据源注册列表页面中，点击某个数据源名称的链接，进入该数据源的明细信息页面：
修改数据源信息
在上图中，修改该数据源的属性，点击“保存”按钮，完成数据源的修改。
4.删除
在数据源注册列表页面中，选中想要删除的数据源左边的复选框，点击“删除”按钮，完成数据源的删除（只能删除在系统中没有被使用的数据源）。
删除数据源
5.测试
在数据源注册列表页面中，点击某个数据源右边的连接测试列中的“测试”按钮，可以测试该数据源是否可以访问（目前只支持对数据库类型数据源的测试）。
2.2.2工作组注册
2.2.2.1功能描述
增删改查，如果有其他加工工作在引用该工作组，则不允许删除。
2.2.2.2操作此功能的角色
加工逻辑设计者。
2.2.2.3使用说明
在系统菜单中选择动态数据加工加工任务调度工作组注册，进入工作组注册列表页面：
工作组注册列表页面
数据源注册列表页面主要包括三个区域：
查询条件区、列表展现区、操作区。
对数据源注册列表页面说明如下：
1）查询条件区：
可通过输入工作组名称、工作组标识，对注册的工作组进行过滤，系统将符合查询条件的工作组显示在列表展现区中。
2）列表展现区：
展现查询结果，显示序号、工作组名称、工作组标识、工作组描述、建立时间等信息。
可以点击工作组名称的链接进入工作组修改/查看页面。
3）操作区：
提供新建、删除等功能，当选中了第一列的多选框，点击“删除”按钮，可删除选中工作组，如果该工作组被加工工作引用了，则该工作组不能选中，不能删除，点击“新建”按钮，进行新建工作组页面。
1．查询
在工作组注册列表页面中，用户可以先输入查询条件，然后点击“查询”按钮，系统将符合查询条件的工作组显示在列表展现区中。
2．新建
在工作组注册列表页面中，用户点击页面下面的“新建”按钮，进入新建工作组注册页面：
工作组注册页面
在上图中，填写新建工作组的各项属性，点击“保存”按钮，完成工作组的创建。
3．修改
在工作组注册列表页面中，点击某个工作组名称的链接，进入该工作组的明细信息页面，然后修改该工作组的属性，点击“保存”按钮，完成工作组的修改。
4．删除
在工作组注册列表页面中，选中想要删除的工作组左边的复选框，点击“删除”按钮，完成工作组的删除（只能删除在系统中没有被应用的工作组）。
2.2.3加工工作注册
2.2.3.1功能描述
主要包括增加、删除、修改、查询功能。
如果有其他加工任务在引用该加工工作，则不允许删除。
如果某个包含该加工工作的任务处于生产状态，不能修改此加工工作。
2.2.3.2操作此功能的角色
加工逻辑设计者。
2.2.3.3使用说明
在系统菜单中选择动态数据加工加工任务调度加工工作注册，进入加工工作注册列表页面：
加工工作注册类别页面
加工工作注册列表页面主要包括三个区域：
查询条件区、列表展现区、操作区。
对加工工作注册列表页面说明如下：
1）查询条件区：
可通过输入工作名称、选择工作组、选择工作类型，对注册的加工工作进行过滤，系统将符合查询条件的加工工作显示在列表展现区中，其中工作组是前面注册了的各个工作组名称，工作类型有“存储过程”、“普通JAVA程序”、“通用扩展接口”、“SQL”、“抽取”等。
2）列表展现区：
展现查询结果，显示序号、工作名称、工作组名称、工作类型、工作执行位置、优先级、预测运行时间、使用情况等信息。
可以点击工作名称的链接进入加工工作修改/查看页面，点击列表右边的“查看明细”按钮，进入工作使用情况明细页面。
3）操作区：
提供新建、删除等功能，当选中了第一列的多选框，点击“删除”按钮，可删除选中加工工作，如果该加工工作被其他加工任务引用了，则该加工工作不能选中，不能删除，点击“新建”按钮，进行新建加工工作页面。
1．查询
在加工工作列表页面中，用户可以输入工作名称、选择工作组和工作类型等条件，然后点击“查询”按钮，系统将符合查询条件的加工工作显示在列表展现区中。
2．查看使用情况
在加工工作列表页面中，点击某个工作右边的“查看明细”链接，可以进入工作使用情况明细页面，查看所有使用了该工作的所有任务列表：
工作使用情况明细页面
如上图，展现了工作名称和工作描述，和使用该工作的任务列表信息，列表信息中有序号、任务名称、任务状态、任务描述等信息。
3．新建
在加工工作列表页面中，点击页面下面的“新建”按钮，进入新建加工工作页面：
新建加工工作页面
在上图中，填写新建加工工作的各项属性，点击“保存”按钮，完成工作的创建。
需要填写的属性包括：
1．工作名称
2．工作类型
◆存储过程
Ø存储过程名称及调用参数
存储过程的参数有注册时在界面上输入，输入参数值可以使用全局环境变量，使用格式为$（全局环境变量）.如果存储过程以字符串方式返回结果，该存储过程的第一个参数必须是输出参数，用于返回运行结果。
工作详情信息-1
◆普通JAVA程序
ØCLASS名称
ØCLASS调用方法
ØCLASS调用参数
工作详情信息-2
◆通用扩展接口，（符合系统开发商提供接口规范的JAVA程序）
方法：
ØCLASS名称
ØStringrun（Stringxml）调用方法该属性由用户实现，不用界面注册
Øbooleanstop（）正常停止方
升级会员 