DataService操作手册.docx

上传人:b****3 文档编号:12641472 上传时间:2023-04-21 格式:DOCX 页数:15 大小:125.32KB
下载 相关 举报
DataService操作手册.docx_第1页
第1页 / 共15页
DataService操作手册.docx_第2页
第2页 / 共15页
DataService操作手册.docx_第3页
第3页 / 共15页
DataService操作手册.docx_第4页
第4页 / 共15页
DataService操作手册.docx_第5页
第5页 / 共15页
点击查看更多>>
下载资源
资源描述

DataService操作手册.docx

《DataService操作手册.docx》由会员分享,可在线阅读,更多相关《DataService操作手册.docx(15页珍藏版)》请在冰豆网上搜索。

DataService操作手册.docx

DataService操作手册

DataServices培训总结■操作手册

一、DS简介2

二、DS数据加载方式2

三、DS进行数据抽取模型开发的基本过程3

四、DS创建数据源系统和目标系统的数据存储3

1、Oracle数据库作为数据源系统3

2、ECC作为数据源系统4

3、HANA数据库作为目标系统5

五、全量加载过程5

1、创建Project禾口Job5

2、导入源表的元数据到资源库6

3、创建DataFlow6

4、设置源表和目标表7

5、手工执行Job7

六、基于表比较的增量加载8

1、在Job下定义工作流8

2、在工作流中定义数据流8

3、加入Table_Comparison控件9

4、设置Table_Comparison控件9

七、基于时间戳的增量加载10

1、在Job下定义工作流10

2、定义Script控件10

3、定义处理新增数据的数据流和处理更新数据的数据流11

八、DS中常用控件介绍13

1、KeP_Generation13

2、Case13

3、Merge14

4、Validation15

5、设置过滤器和断点15

九、定义Job定期执行16

1、登录DataServicesManagementConsole16

2、定义BatchJobSchedules17

十、其他注意事项18

一、DS简介

SAPBusinessObjectsDataServices是通过SAPHANA认证的ETL工具。

采用数据批量处理的方式,定期执行后台作业,将数据从多个业务系统中抽取出来,并进行必要的处理(转换,合并,过滤,清洗),然后再加载到HANA数据库中。

DS的组件之间的关系:

MdjrvazsgH^riiwnl

UCJN.OI.

Oesl

Hlepoallciry

OiicTioriairi^s甘O^rwclorliafl

dlBitile

Server

DHltiStsrviueH:

nervltce

ManagementConso:

管理控制台是网页版DS管理工具,可以进行一些系统配置和定义Job执行

Designer:

Designer是一个具有易于使用的图形用户界面的开发工具。

它允许开发人员定义包括

数据映射,转换和控制逻辑的数据管理应用程序,创建包含工作流(作业执行定义)和数据

流(数据转换定义)的应用程序

RepositorP

应用程序设计器使用的本地资源库用来存储DataServices对象(如项目,作业,工作流,

和数据流)的定义和源和目标的元数据

Jobserve:

作业服务器启动数据移动的从多个不同种类的源集成数据的引擎,执行复杂的数据转换,

并管理从ERP系统和其他源的抽取和事务

DS数据加载方式

全量加载

增量上载

a)基于表比较

作业在执行时读取数据源和目标中的全部数据,在服务器的内存中进行比较,计算数据

差异

b)时间戳增量

需要在数据源中添加时间戳字段,一般为创建时间和最后修改时间,在抽取作业中定义

对两个时间戳字段进行对比,符合条件的创建时间条目进行插入,符合条件的修改时间条目

进行更新

c)利用数据库CDC(changeddatacapture)

首先需要开启数据库的CDC服务,为数据库实例启用CDC功能,为源表启用CDC功能。

在这种模式下,DS的增量更新不再直接访问源表,而是在与源表相关的变更记录表中读取增量

三、DS进行数据抽取模型开发的基本过程

为数据源创建数据存储

导入源表的元数据到资源库

为SAPHANA目标系统创建数据存储

新建DS项目和批量作业

新建DS数据流:

定义源表和目标表,定义变量、编辑QuerP和Map_CDC_Operation

执行批量作业

Source

Data

HANA

四、DS创建数据源系统和目标系统的数据存储

1、Oracle数据库作为数据源系统

登录DataServicesDesigner,在本地对象库的数据存储页签中单击鼠标右键,选择新建菜单

pLaejallLlbraSry]血>€

&twy.R*p®_SATDST1ST

DaLit—ja’iajr.|[1)・・匚¥匚p电ion]

D■!

.■鼻

ECQSOO

ECT_P■丸•折t^r<

HAD.DS

HAD_tZLJLHAHA_R电tit■

M54_DATASTOMWtjK^D■軋t«ir«

1-iok.&»-Irf-■■J't--I►JTia门0at”i[_回I-■■■ti

创建数据存储“EAMTEST,在弹出的对话框中输入EAM数据库的连接信息

2、ECC作为数据源系统

同样在创建DataStore时,输入ECC的连接信息

3、HANA数据库作为目标系统

在创建DataStore时,输入HANA数据库的连接信息

 

 

五、全量加载过程

1、创建Project和Job

General

PwchaseOrier

P11VaKaAEt

在本地对象库的project页签中单击鼠标右键,选择新建菜单,创建项目“ERP_DS。

双击该

项目,在"ProjectArea”,可以在该项目下创建Job

2、导入源表的元数据到资源库

在本地对象库的数据存储页签中,选择源系统的数据存储,单击鼠标邮件,选择“ImportBPName”,输入需要导入到资源库的表名称。

导入成功后,在数据存储的table目

录下可以看到导入的表

LocalObjectLibra>ry

lepoisitory:

Repo^SJkFDSTEST

NOTEXTAVjMLABLEFDRTADiLEDDO7T

Fur口卜t乩伍aReei~tian

FurchaweKrgxiiwitionAccount

NDTEXTftmLABLEFOBTA£LEEEFE

WOTEXTAVAILABLEFORTtBLE

MDTEXTAVAILABLEFOETA3LZ

3、创建DataFlow

单击"General”Job,在右边空白区域单击鼠标邮件,选择"AddNew”-“DataFlow

4、设置源表和目标表

单击创建的DataFlow,将需要导入到HANA数据库中的源表拖入到DataFlow区域中,将

DataFlow区域右侧的工具条中的模版表拖入DataFlow区域创建模版表

Quotenames

输入模版表名称、HANA目标系统的数据存储、HANA数据库存放DS抽取数据表的用户名。

连接源表和目标表

T151T(E^5Q0.)

T161T(HAD_B3,ERPD...

B>|-—>

——2J

双击模版表,设置“Options”中的“UseNVARCHARforVARCHA”

TsrDjiiliijjts.|EiilkLa.MirDp和闭s:

|Ttie|Pt*-!

*a3lC|F*EL*L*id

0XI-Hff«riTfc1|1UUU

L<

1.eEi»7h.£iisbl-ebtfirp二口上d讣绻;IT

])■ifendr-cr-si?

lalsl*F7

eICoiLurriLStflrs

3

TpIAp-^>1j.Cakle

■」

Aatocorrectload

In

ntrgs«r可

V&tApplisalla

withvalue

ifetAp-pJiE-sliJe

Ignorerfll>jT

IfniApjilieaile

E

Tr*n!

£aeti«n卫■mlr*toIL

IzkclniaintrknE-Lction.

Jd

'Jrsb.2adtjdeicrlex

BuiAp-pllE-3i^.E

B

■■Sc^ll

Uc*HfYMTlttF.fisr梆肝昭逵彳“宅町严严胡Ifhi■'砒

III

5、手工执行Job

选择Job,单击鼠标右键,选择"EGecute”

Pt创“IArrd9X

I一卜「IiLW-_ns

0enti-al

Fijireha.E&Urde-r

Fnru^-^KaA

执行成功之后,在HANA数据库中的ERPDSUSE下可以看到“T161T”,可以查看数据表的内容。

执行过程信息和结果可以在监控器中查看。

-sd

Iri.

time主arp

Meis-ige

•参

IBilUE-

3"©0

IhiOE:

j&lOB

】"口已]BiaD谢ORibioejfiioe]时叫]47C4

1!

fJft4

347S4

]4?

O43时酹]47C4

J帀JI輛]斗盲B斗】"口己

bn-R-B&BDDBn-

2日

JOE

D*T*?

LOW□AT斗LOWDftt/VLO**DATJ^LOWELU>'LOAP>EO:

Li>iM:

>D.2LEDATArlCWJZ-E-

£*UL*:

JJZfJJW:

57:

ZV7QL4/]^3fliHT7s3■&?

0L眄门抄2^957PE

丹1址」】商盘“m-JdL±./]Z^229:

£7:

34.JXILa/]Z/J!

S锻皿冲妙盐仙日旧叫a0t«/12/22^lE?

l33苛诒冲2/经专刊55?

QL4/]2/22^l!

I7:

>4mL£/]Z^2Z■?

S7:

3-T•14/j2/2Z3加5创個話啣57料mH百门自煜2qE~73=7PLGhglZ!

宁E;2»1L4/]X^£34IS7O3!

?

OL£/3Z^22P:

ST:

3-TSO14応军全刽R1盘>

RFi4l30LS/]^2?

*aF7"-|i|ZtlL5/3Z/JZ0:

=7:

4I.

thaIhtlri■iiMru-ti■-iL"i£ha_【cn.H|iQO

>haataHincuratc^dEa>^ILJ-iIcdem£L

冋3呻話口wb莓|.%0-品:

1=工JlibG。

-.雷〜」!

】?

"i范ifr«r^jblw•■日加a.j

ul斗2,7-OMO-

Q^reritdractcr*oflob■MeiSii5e_ciSc_ifbcD_acflB_p3JMWfcSeoB

~s

31arb^-gmbanjtdb■■「■/■i3hoiBh■:

5fl^D5TE5T^crl<:

3SDO.

Mb>ofriJ-ikd<£1114L]3^9ZJIC1DB>■limH^aidfa>^unarrJ^Ardn

Rb工・.巴氏1:

>SSl.-Bltff-di

Pia»4lIs■diAt«ffciw.

b^rttkalrriigitrianflcac^FFca・Th-・hinr・r^E*Z^5l33j>bafc^an^BQdahstwri,fljngmak・q■士<3LiTF-E>

flow・tn右]i_RjLl»Is蓟也传cl

C3>:

h4>轧•曲乱S«■希tetmEl曲md-sfr-sri-M

cnualto>3?

S>F片■FbOCbT*t™-a^-liabcForcoJiwii^rt-.alrmwrwnryt?

d:

aPIdwr$lo-ki曲di艸^lair-FULL*u«Miaineeedp*

ntAPgtalh■斗"T*巴LTA』typ・^CiJutti-j・lrcr・h、cornrrft:

■h・]□□口口>■』m_>Je3ccmkI:

d

W5-='I>Z'■*i

Mb»H4M^liJT^RJlLXIfCiOmcMtdMC4MhjlV

Pi-oressfoe・pqss于atefla»*istorwplfd□niavl:

■吐i>■cmTiEd«tKdhuechhaFiJiv-.

|T3ElQJ

六、基于表比较的增量加载

1、在Job下定义工作流

EKEOTab1eCempax穿

OQo

2、在工作流中定义数据流

EKKO_TsbleC(jiiLpaxe

Otfo

在数据流中定义源表和模版表,执行Job,执行成功之后,在目标系统数据存储的

TemplateTable目录下可以看到创建的模版表

LocalOEuertlibrary

1ejj93i.1«>ry:

R亡jp口CATUCTEST

Da.t.a.3t*ore

o,[+}!

■■"■■■■■ubiiisi■■■>■jiiimminuiamm

EBKKCHMHJISIEF]

TOOl(XADJS.EBP.r,1

TDO1WCHOD5.ER...1

TOOGACH/LD.DS,ER.,1

TQZ4(KAD.IS.EET..B1

1024E(HLD.DS,ER..・・1

T1&1TOttll^DS.ER-■2

1.cn

FiiErehsLseRaqii!

5iti031.Acconikt百

WOTEXTAVAILABLEFORTABUTOOl

Flwts/Eraiiches

si5Inicmol<0t

FwrchasinrOroups

HOTEXTAVAILABLEFORTABUTD24E

TttXtsforr~ux'Qhji±ingDocwitEit『灯•石

3、加入Table_Comparison控件

选择模版表,单击鼠标邮件,选择"ImportTable”模版表会更新为Tables目录下的数据表。

通过将转换-数据集成中的“Table_Comparison”控件拖入到数据流中的方式添力口

EKKO(ECQSOO.)

Tat>le_Co]tpaxiscn.

EKKO(HAP_DS.EEPDS.…

柳||〕

——SJ

“Table_Comparison"控件

将源表连接"Table_Comparison"控件,“Table_Comparison"控件连接目标表。

 

4、设置Table_Comparison控件

双击"Table_Comparison"控件,设置相关参数:

比较的目标表、表的主键,需要比较的字段。

当需要比较的字段为空时,会比较所有字段。

建议按照需要填写需要比较的字段,可以

加快处理速度。

保存后执行Job。

Guivvirat专dkv*c*[qnGt「

Iuo劭屯dixvnd^pliua七蠹Ltav's

LDaloct

Com'purison.math<*d.:

焙Row^by-raw

吝聒i蜀ul

MurIli

厂Bctectalli~aw=

拧LsgtrYfiill1ar£e%tceiicr«Lev

广¥囂*7ro^iulson厂氐"ud.

工处口5,»曰护eBdueai.髭

NhHTlT

I£EU?

直血b_l已ziame

站.£J?

LEilSUSl£K.EKKU

在工作流中定义Script控件,读取数据抽取后最新的创建时间和更改时间,定义一个处理新

增数据的数据流和一个处理更新数据的数据流

七、基于时间戳的增量加载

1、在Job下定义工作流

ED^_TIIE5T^W

OO

2、定义Script控件

在Script控件中需要使用变量存放读取的最新的创建时间和最新的更改时间。

选择Job,在工具栏选择"Variables”按钮,创建全局变量

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 初中教育 > 英语

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1