MDS数据传输接口规范v1 0 5.docx
《MDS数据传输接口规范v1 0 5.docx》由会员分享，可在线阅读，更多相关《MDS数据传输接口规范v1 0 5.docx（9页珍藏版）》请在冰豆网上搜索。
MDS数据传输接口规范v105
MDS（主数据存储）传输接口规范
9/22/2018
目录
前言4
目的4
内容摘要4
读者4
1MDS与各系统关系5
2数据传输总体架构6
2.1源系统与MDS交互6
2.1.1源系统数据文件存放规则6
2.2MDS数据文件存放规则7
2.3MDS数据存储期限规则8
2.4目标系统与MDS交互8
2.4.1FTP文件获取方式8
2.4.2数据库加载方式8
2.5MDS文件目录的权限控制8
2.6MDS的NAS共享9
3获取接口说明10
3.1数据文件格式说明10
3.1.1数据文件名命名规则10
3.1.2数据文件格式10
3.2数据字典文件格式说明10
3.2.1数据字典文件名命名规则10
3.2.2数据字典文件格式11
3.3文件列表清单格式说明12
3.3.1文件列表清单命名规则12
3.3.2文件列表清单格式12
4节假日文件生成规范13
5源系统需要提供信息14
5.1文件方式14
5.2库表方式14
6附件15
6.1附表一：
15
前言
目的
本文档描述MDS系统和源系统及目标系统间数据交换（数据文件获取和数据库直接访问）的接口格式、实现机制等，作为后续的技术设计参考。
内容摘要
1．MDS与各系统关系
2．数据传输总体架构
3．文件传输接口说明
4．节假日文件生成规范
5．源系统需要提供信息
6．附件
读者
本文适用以下读者：
ØMDS项目全体人员
Ø涉及的源系统、目标系统相关专家
1MDS与各系统关系
MDS与行内的各系统联系紧密，需要从各源系统获取数据，目前接入45个源系统，6个目标系统。
随着业务的发展将接入更多的系统。
源系统EOD完成以后由CPS通知MDS开始工作，MDS开始从源系统FTP获取数据或从源库卸载表数据，当MDS数据处理的工作完成以后通知CPS，再由CPS通知目标系统、目标系统可以到MDS的NAS共享存储上获取所需要的文件或者MDS按照目标系统要求插入到相关数据库中。
2数据传输总体架构
MDS与源系统及目标系统的数据交换方式经讨论确定分为两种：
文件获取和数据库直接访问。
其中文件获取确定为源系统统一生成文件后由MDS通过FTP的方式去获取，文件的命名需遵循MDS的规范；MDS通过FTP获取过来后存放到MDS的NAS共享存储上。
数据库直接访问方式则是源系统开放数据库访问权限，MDS直接访问源系统数据库获取数据生成文件，并按规范存放在MDS的NAS文件共享服务器上；目标系统开放数据库访问权限，MDS形成落地文件按规范存放在NAS文件共享服务器，根据需要在加载到目标系统的数据库。
2.1源系统与MDS交互
源系统与MDS交互有两种方式：
FTP方式和数据库表卸载方式.
源系统提供数据的方式是数据库表的方式，需要提供数据库的连接方式、主机地址、数据库的实例名、数据库名、用户密码的信息，由MDS系统通过ETL取数据按规范存放在MDS的NAS文件共享服务器上。
源系统提供数据的方式如果是文件，按MDS的规范生成文件存放在各系统的本地，由各系统对MDS开放FTP的权限、提供用户名、密码、访问目录，端口号都采用默认的21；MDS会通过原系统提供的用户名和密码及其访问目录去获取文件按照MDS的规范存到MDS的NAS文件共享服务器上，各源系统的文件名称及其文件列表的生成必须按照MDS的规范要求进行生成；MDS的获取程序去检测各源系统的文件列表是否存在，如果文件列表不存在MDS认为源系统数据文件还尚未生成完毕，不进行获取。
2.1.1源系统数据文件存放规则
如果源系统提供给MDS的是以文件方式存在，那么需要源系统需要提供给MDS源系统的FTP用户名、FTP的密码以及文件存放的路径，为了便于管理和获取文件，源系统提供给MDS的文件存放路径如下：
$HOME/$XXX/$YYYYMMDD
说明如下：
$HOME是指FTP用户的根路径
$XXX系统英文简称（详细请参见附表一系统中英文对照）
$YYYYMMDD为业务的8位日期目录
举例说明：
LM提供的FTP用户为mdsftp,利用mdsftp的用户登录进去执行pwd命令后看到的路径为“/usr/sap/cmbc”，那么$HOME的值就为“/usr/sap/cmbc”，此目录下还必须包含有一个系统英文简称的目录为LM；如果业务日期为2009年8月1号，那么LM的目录下必须有一个子目录为“20090801”,通过$HOME、系统英文简称、日期目录可以的到具体存放文件的绝对路径为“/usr/sap/cmbc/LM/20090801”；MDS会通过FTP到这个目录下面获取LM提供给MDS的文件然后存放到MDS的NAS共享存储上的/home/mds/file/input/add/LM/20090801的目录下。
$HOME对于FTP用户来说是根目录，对于文件来说是相对路径，$HOME是由源系统自己定义的，$XXX各模块不一样由CPS和各源系统沟通定义的详见附件。
2.2MDS数据文件存放规则
数据文件和传输文件列表的存放目录为：
输入文件（增量）：
/home/mds/file/input/add/$XXX/$YYYYMMDD
输入文件（全量）：
/home/mds/file/input/all/$XXX/$YYYYMMDD
输出文件（增量）：
/home/mds/file/output/add/$XXX/$YYYYMMDD
输出文件（全量）：
/home/mds/file/output/all/$XXX/$YYYYMMDD
数据字典存放路径为：
/home/mds/file/input/$XXX/dictionary/$YYYYMMDD
MDS生成的RJ文件和日志文件存放目录为：
RJ文件：
/home/mds/file/check/$XXX/$YYYYMMDD
日志文件：
/home/mds/file/log/
说明：
$XXX:
系统英文简称（详细请参见附表一系统中英文对照）
$YYYYMMDD：
指8位的日期。
RJ的数据分两种方式，如下：
方式一：
从数据表抽取数据进行规则验证时产生了RJ文件，这类文件命名规则为TableName_T.vf。
方式二：
从文件中读取数据，在进行入库或处理过程中产生了RJ的文件，这类文件的命名规则为FileName_F.vf。
2.3MDS数据存储期限规则
由于MDS的NAS文件存储空间是有限的，为了正常的运转和稳定的运行，MDS的文件不会无限期的保存，具体的保存期限和规则如下：
1、MDS保存各源系统的数据周期为三个月。
2、保留目标系统数据为10天。
3、MDS获取过来的源系统文件原样保留7天、7天之后以压缩方式保存。
4、MDS生成的目标系统原样保留为7天、7天之后以压缩方式保存。
5、超过规定期限的数据MDS系统将进行自动清理。
2.4目标系统与MDS交互
2.4.1FTP文件获取方式
数据库获取方式是MDS根据目标系统的需要生成文件存放到MDS的NAS共享服务器的直接定目录下，为目标系统提供FTP访问用户，由目标系统进行数据获取。
2.4.2数据库加载方式
MDS跟据目标系统的要求，通过目标系统提供的数据库名称、用户名以及密码连接到目标系统的数据库，把相应的数据插入到目标系统和MDS约定好的库表中。
2.5MDS文件目录的权限控制
由于目标系统需要从MDS的NAS共享存储上获取数据文件，那么需要根据目标用户指定相应的访问权限。
各目标系统对于MDS的NAS共享存储指定目录只有读的权限，非开放目录不能够进行访问。
目标系统名
目标系统英文名
用户名
权限
目录
客户信息
ECIF
ecifuser
只读
/home/mds/file/output/add/ecif
2.6MDS的NAS共享
对于有两台加工节点的机器，支持多机并行的方式。
为了实现并行，则需要进行相应的共享设置。
ØETL主控节点的执行代码所在的文件系统/home/mds/bodi/bin需要通过共享给ETL加工节点；
Ø由于并行，两台机器都必须要同时看到所要加工的数据，因此需要将数据所在文件系统通过共享的方式提供给对方。
例如：
/home/mds/file/input/add/GL/
Ø由于并行，ETL_Server处理完的结果，形成的落地文件，需要各加工节点都能看到并使用。
Ø方便备份及清理，输出的文件统一存放在一起。
为提供处理的效率，IO的读写速度建议使用NAS。
3获取接口说明
MDS在此定义说明源系统与目标系统采用统一的文件格式和规范的命名提供给MDS，以便于对数据的更方便的管理。
源系统的数据文件生成后，必须要生成文件列表清单和文件的数据字典，即源系统生成的文件至少有三个：
文件列表清单、文件数据字典、数据文件。
3.1数据文件格式说明
3.1.1数据文件名命名规则
数据文件名命名规则如下：
大写（源系统/目标系统）英文名_接口文件名.txt
例：
LM_TRANS.txt
3.1.2数据文件格式
文件分隔符：
竖线分隔符’|’;
字段长度：
变长（不定长）;
数据文件例子（LM_TRANS.txt）;
12345|1001411287|00001|0101|建立对公客户信息|0|120||0|A
12342|1031411247|00002|0102|建立上下级客户|0|0|0|0|B
|1001412387|20004|0103|修改对公客户信息|0|0||0|A
56478|1224511287|23451|0104|删除对公客户信息||0|0|5|A
如本日此文件无记录，则置文件内容为空，大小为0（byte）即可。
3.2数据字典文件格式说明
3.2.1数据字典文件名命名规则
数据字典文件名命名规则如下：
大写（源系统/目标系统）英文名_DATA_STRUCT.txt
例：
LM_DATA_STRUCT.txt
3.2.2数据字典文件格式
文件分隔符：
’|’;
字段长度：
变长（不定长）;
字段详细说明：
字段序号
字段说明
备注
1
表名
本次源系统传输的表的名字
2
字段顺序
此表的字段顺序
3
字段名字
英文名
4
字段类型
此字段的字段类型
5
主键
是否是主键，主键的值为‘PK’
6
是否可为空
Y/N
数据字典文件例子（LM_data_struct.txt）:
LM_ACCT_INFO|1|ACCT_NUM|VARCHAR（50）|PK|N
LM_ACCT_INFO|2|ACCT_TYPE|VARCHAR
（2）|PK|N
LM_ACCT_INFO|3|CURRENCY_CD|VARCHAR（10）||Y
LM_ACCT_INFO|4|VALUE_AMT|DECEMAL（12,5）||Y
LM_TRANS_INFO|1|ACCT_NUM|VARCHAR（50）|PK|N
LM_TRANS_INFO|2|TX_CD|VARCHAR
（2）||Y
LM_TRANS_INFO|3|NAME|VARCHAR（50）||Y
LM_ORG_NUM|1|ORG_NUM|VARCHAR（20）|PK|N
LM_ORG_NUM|2|ORG_NAME|VARCHAR（50）||Y
数据字典在测试之初传送过来，系统上线后，如果源系统数据字典有变更，必须在前三个工作日通知MDS也就是MDS在接到数据字典变更后的3个工作日加入正常的数据处理。
3.3文件列表清单格式说明
3.3.1文件列表清单命名规则
文件列表清单命名规则为：
大写（源系统/目标系统）英文名_filelist.txt
例：
DM_filelist.txt
3.3.2文件列表清单格式
文件分隔符：
’|’;
字段长度：
变长（不定长）;
字段详细说明：
字段序号
字段说明
备注
1
本次传输表的序号
本次源系统传输的表个数按顺序排列
2
本次传输表的表名
传输表的名字
3
本次传输表的字节大小
单位：
字节（byte）
4
本次传输表的记录数
此表所包含的记录总条数
文件列表清单例子（DM_filelist.txt）:
1|DM_TRAN.txt|1232113|6002
2|DM_ACCT_INFO.txt|22234333|30002
3|DM_ORG_CD.txt|3333|129
4节假日文件生成规范
在节假日期间，MDS所需要的数据文件源系统必须照常生成；如果没业务或数据，则按照约定的文件名称可生成空文件，MDS回到相应的约定目录下进行获取，文件列表也必须按照以上规范进行生成，数据字典也必须要进行生成。
5源系统需要提供信息
5.1文件方式
如果源系统给MDS提供的是数据文件，那么由MDS采用FTP的方式去进行获取，这样减轻了各源系统向MDS传输数据的负担，也利于我们MDS对数据的统一管理和维护，那么就需要各源系统提供文件存放的主机地址、FTP用户名、FTP密码、以及文件存放在源主机的路径。
由于大部分的源系统提供的是文件的方式，为了统一和规范管理，用户名统一采用：
mdsftpus密码统一采用mdspwd端口号采用默认的21端口，由于获取的文件量可能会比较大，所以不要在FTP配置文件中对FTP的传输进行限速设置。
（注意：
如果生产环境就绪，相关信息也请提供给MDS，需要提前做主机间的通讯申请和端口开放）
5.2库表方式
如果源系统给MDS提供的是数据库表的方式，那么由MDS到源系统库中去抽取数据，这样就需要源系统提供给MDS数据库类型（OracleDB2、SqlServer、Informix、Teradata等）、数据库主机地址、实例名称、数据库名、链接用户名、密码以及端口号，连接得用户名统一采用mdsuser密码统一采用123456。
（如果生产环境就绪，相关信息也请提供给MDS，需要提前做主机间的通讯申请和端口开放）。
6附件
6.1附表一：
升级会员 