整理数据归档的基本原则和流程.docx
《整理数据归档的基本原则和流程.docx》由会员分享,可在线阅读,更多相关《整理数据归档的基本原则和流程.docx(18页珍藏版)》请在冰豆网上搜索。
整理数据归档的基本原则和流程
数据归档的基本原则和流程(译自BC600部分)
一.数据归档基本原则
内容:
数据归档意味着什么
数据归档的原因
SAPArchiveLink(在内部系统中的文件存储)和ADK(归档文件和主数据)的区别
数据归档项目步骤
建立一个项目组
单元结束后,你将可以:
定义数据归档
列出数据归档的原因
决定何时执行数据归档
决定SAP数据归档的配置
列出数据归档中什么是不可以做的
描述数据归档和文件存储的异同
列出一个数据归档项目的周期
建立一个项目小组
1)什么是数据归档
数据归档指从SAP系统使用归档程序移走应用数据并将它们存储在一个存档文件(至少一个文件)。
归档程序也是归档对象的一部分。
SAP系统中业务对象的内容被分布在相互交叉的数个数据库表中。
归档对象联合了几个表,这些表逻辑上被业务对象连接。
(例如一个销售订单连接了表VBAKVBUKVBPA等)。
这就保证了一个业务对象的所有信息被写到一个归档文件并且从数据库中被删除。
这个应用为检索归档数据提供报告。
也可以写客户特定报告和使用归档信息系统(ArchiveInformationSystem—SAPAS)检索存档。
2)什么是存档开发功能包(ArchiveDevelopmentKit–ADK)
它是SAP系统中数据归档的函数图书馆
它是开发数据归档解决方案的工具集
SAP使用它创建在SAP模块中的SAP标准表的归档解决方案
ADK被释放给客户,用作客户特定存档数据报告解决方案和客户特定Y和Z开头的自定义表的归档解决方案
不要使用ADK开发程序从标准表中删除或者重载数据(数据库整合性)
3)数据归档的原因A
提高响应时间或者确保良好的响应时间
降低数据库管理的符合
当安装一个新版本时减少停机时间
减少内存消耗
数据库越大,关于恢复和备份的数据库管理的负荷越大。
系统或数据库升级因为更大的数据库而花费更长的时间。
对终端用户的独立记录来说,巨大的系统负荷导致增长的报表和读取数据耗时。
数据归档的原因B
商务和法定的需求:
国家特定的数据保留需求;按照审计要求数据必须可以被读取;保持数据可被再次使用的需求
当删除应用数据时,必须考虑以下需求:
法定需求:
数据必须以随时都易取得的方式存储。
例如,税务当局也许想要取得这个数据。
这些需求遵从相关国家的法律。
和你需要对其负责的审计一起讨论你想要使用的归档计划是很有用的。
你的归档流程需要被正式核准。
业务需求:
只有完结了的业务流程的数据才可以被归档。
归档项目有个很重要且必不可少的部分:
从数据库归档一个特定对象时,先检查其他必须归档的对象是否已经预先归档。
(这意味着业务对象归档有相应的先后顺序)。
如果你想归档主数据,就必须设置删除标记。
在其他的业务对象中,这个主数据则不能再被使用了。
4)客户项目经验:
A为什么不能拖延数据归档:
1.归档程序需要更多的资源。
2.万一出现严重错误,需要更长的恢复时间。
3.维护窗口会变得不足。
4.安装新软件需要更长的停机时间。
5.更长的系统相应时间减少职员的生产效率。
B目标:
几天之后一些归档对象就可以被使用了。
客户案例:
最初的形势和目标
外部环境:
290GB数据库大小和15GB数据库增长/每月
目标:
降低数据库增长率,从而减少硬件花费和保持系统表现的稳定性,它包括响应时间和系统管理还有支持包和升级项目的更快的表现性。
归档:
19个归档对象,覆盖范围有FI\CO\MM\SD\HR
结果:
大于200GB被归档
5)数据归档什么是不可以做的
A重组Reorganization:
重组的概念来自R/2,当数据从数据库中被移走然后重载来优化数据在硬盘中的物理分布。
做为这个流程的一部分,数据不再被需要,可以被归档和删除。
B备份/恢复:
备份可以保护数据库在发生错误时数据不被丢失。
目标是恢复在错误发生前的原始状态的数据库。
备份通常通过某个特定的流程以规则的时间间隔发生。
恢复是重载存储的数据。
C删除“测试数据“:
只有完结了的业务流程的数据可以被归档。
测试数据通常都没有这个状态。
D使用SAPArchiveLink存储文档:
被扫描的将到达文档,或者即将输出的文档或者SAP系统生成的打印列表使用SAPArchiveLink被存储在外部存档文件。
数据库重组和数据库备份和数据归档是无关的。
SAP推荐它们在规则的时间间隔下发生。
在内部存储系统存储文件和文件夹:
A典型的业务场景:
文档进入系统(incomingdocument),创建或者影响流程。
系统创建输出文档(outgoingdocuments)或者触发业务流程或对象或者流程(打印清单)的报告。
业务对象被连接到存储的原始文档。
目的是通过业务对象(R/3文档)显示存储在系统外部的文档:
例如,FI的发票可以通过SAPArchiveLink连接到被归档的外部原始凭证。
B文档类型和文档类代表在外部光学存档的数据。
例如:
FIIINVOICE(incominginvoicewithoutverification),类是FAX
SDOORDER(orderacknowledgment),类是PDF
GENPRILIST(printlist),类是ALF
ARCHIVE(ADKarchivefile),类是REO
C使用ADK可以使存储在存档文件的打印清单而不需要读取存档数据。
D输入输出文档和打印清单使用SAP组件SAPArchiveLink被默认存储。
直到4.6B版本,ADK文档通过SAPArchiveLink也被传输到外部存储系统。
4.6C版本时,CMS(内容管理服务ContentManagementService)的API组件将ADK文档传输到外部系统。
你仍将可以使用外部归档系统来进行长期的ADK文件存储。
6)ADK和SAPArchiveLink/SAPCMS之间的合作
ADK可以读写ADK归档文档
SAPArchiveLink或者SAPCMS可以监视和控制ADK在内部媒介比如光存档创建的归档文档。
ADK可以在文件系统中存取归档数据,也可以使用SAPArchiveLink或者SAPCMS存取储存在光文档的数据。
事实:
对于SAPArchiveLink和SAPCMS来说,ADK是一个用来准备存储在外部文档系统的数据的SAP应用程序。
对于ADK来说,SAPArchiveLink和SAPCMS几个最终存储ADK归档文件的手段之一。
7)数据存档在SAP中的地位
A希望数据能够避免滞留在SAP系统中
B一旦开始使用SAP系统,就应该计划数据归档。
数据归档在维护SAP系统的性能表现的水平中扮演了重要角色。
C审计和税务检查通过后,数据归档应越早进行越好。
D数据归档需要用户部门和信息技术部门的高度合作:
在跨部门的基础上,计划一个归档项目。
为了在防止数据创建上获取更多信息,参看“数据阻止清单”。
这在SAPNET上用数据归档可以获得。
系统管理员的目标是使数据库越小越好,这也就是说,删除尽可能多的数据对象。
用户部门的目标是在线读取尽可能多的文档,用来分析、列表、报告。
数据归档流程需要权衡两个目标,采取一个折中的办法同时满足两方面的需求。
无论开始的早还是晚,都需要实现这个折中方案。
长期目标是尝试保持数据容量恒定并且有一个主动的数据归档策略而不是反应性的。
你应该和负责审计的审计员一个工作,决定哪些数据出于审计目的是不必要的。
8)归档项目的周期
建立项目小组——>分析——>设计和构想——>测试——>执行和上线
A分析:
搜集数据库表的大小和增长率信息。
第二步是识别这些表对应的归档对象。
接着,检查这些数据对象是否允许被归档以及归档对象被归档后的使用需求。
B设计:
埋藏在分析周期出现的需求,统一归档概念,建立一个明确的归档计划。
C测试:
测试周期需要检查选择和停留时间。
还需要检查归档对象的相关性。
测试周期结束后,用户部门需要花时间更正无法归档的文档。
D执行和上线:
这一期间,不再被需要的归档对象按照之前的执行计划从数据库中移走。
E警告:
在分析周期之前就应该开始将数据归档所影响的成员纳入项目组并且识别他们的任务。
项目组成员必须理解内部业务流程,同时项目组应该拥有足够的资源。
9)建立项目组的基本原则
A成员必须了解公司业务流程
B专家必须有足够的资源
C职责必须清晰
建立项目小组A
以下成员可以参加数据归档项目组:
IT部数据库管理员和SAP系统管理员;数据归档所影响的应用组件的负责人和用户部门;内控和审计;外部成员:
外部审计、外部顾问。
数据归档被理解和应用为一个部门间内部活动。
依据组织大小决定项目组尽可能包括所有相关的部门的代表。
归档期间,简单地从数据库移走相关对象是远远不够的。
更重要的是深刻理解业务环境,知道数据对象的归档次序。
由于一些应用对象在交叉应用流程链里被使用,独立的应用负责人应该参与到归档项目中。
建立项目小组B
项目管理:
项目管理的主要任务有
A协调、监控、坚持执行计划
B对SAPDataArchiving有个清晰的理解
C包括广义归档概念的归档,例如光归档(opticalarchiving)
D确保一个同意的和同类的归档方案
必须有至少一个做为主要联系人的项目协调人。
如果是个国际项目,每个国家必须有至少一个协调人,同时有一个总协调人。
项目协调人也扮演主持人的角色。
建立项目小组C
IT部门通常对以下任务负责:
A数据库分析
B定制ArchiveLink
C架构和连接归档文档
D主要定制归档和SAP系统配置的设置。
(例如batchserver\transports\notes)
E基础设施准备(流程、磁盘空间等)
F提供编程资源(自定义表、显示程序等)
G备份策略,如果需要,重组数据库
经验显示,在一个中央位置创建所有的归档文档是有意义的。
和受影响的用户部门协作沟通归档时间和归档结果是很重要的。
不要低估写用户特定报告的时间!
建立项目小组D
应用负责人:
用户部门的代表
必须对模块和流程有很好的理解
必须理解整个归档数据的业务内容
识别数据对象可能的相关性和评估归档的数量结构
执行客户定制的特定应用
为了对运行应用负责,对业务流程提出以下问题:
有哪些流程?
哪些被修改了?
需要附加的检查么?
有附加的相关性么?
如果你无法找出应用负责人,那么用户部门必须找一个人做这些事。
建立项目小组E
用户部门:
从相关用户部门的观点来看,以下问题必须回答:
哪些数据可以被归档;什么时候这些数据被归档;这些数据怎样被展示(打印请当或者微软办公软件等);可以接受的存取等待时间;其他组织会使用这个被归档的数据么?
每个归档项目的核心问题都是“其他部门要怎样使用这些数据”你不能低估它的复杂性。
建立项目小组F
审计和内控部门:
审计和内控部门的任务是从法律角度识别归档数据需求。
重视特定国家的规则和规章。
还必须检查内部审计是否需要增加一些新需求。
内部修订时还要检查归档项目的一部份:
步骤描述。
关于跨国公司,对于数据滞留会有不同的特定国家的规则和规章。
务必考虑和遵从这些规则。
步骤描述是指数据归档的主要步骤、处理故障的步骤、归档文档需要再次被显示的步骤。
SAP推荐内部审计和税务当局负责人证实和核准公司的归档策略。
二.数据归档流程
内容:
数据归档流程
服务分布
影响数据归档周期的因素
数据归档涉及的组件
ADK进行数据归档的特征
单元目标:
本单元结束后,你将理解:
归档流程的步骤
影响归档周期的因素
数据归档的关键点
业务场景:
公司管理层决定执行SAP数据归档
项目组已组建好,包括系统管理员、用户部门(SD\MM\FI)职员和内部审计。
项目组理出数据归档的步骤
1) 归档流程
数据归档流程分为两个阶段:
创建存档文档——归档程序将R/3数据库的归档数据写到归档文档。
删除数据——删除程序先从归档文档中读取数据,再从数据库删除它。
第三个阶段是将归档文档移至第三方存储介质。
直到4.6C版本,这一步在写完归档文档和删除了数据库中的归档数据后被执行。
4.6C版本,ADK文档可以在删除数据前将归档文档传输到外部存储系统。
通常而言,前两个阶段完成并不足够,归档文档还需要被安全存储和管理,以便日后需要的时候读取。
归档步骤1:
归档数据
开始归档活动前,可以选择是否运行预处理程序。
预处理程序可以,例如标记PP\PM\CO删除标记和提供可存档信息(SD)。
在第一步中,归档程序创建一个归档文档。
将被归档的数据从数据库中后台读取并且写入归档文档。
这个过程持续到以下结果发生:
A归档完成:
所有选择数据被读取和写入。
B归档还未完成,但是归档文档内容已满。
C归档还未完成,但是归档文档包含客户定制的特定对象数量。
只有来自完结了的业务流程的数据和所选财年的数据可以被归档。
主数据只有在被标记了删除标记后才能被归档。
一些归档对象在一个特殊流程程序设置了删除标记,例如CO_ORDER。
归档步骤2:
第三方存储介质
A 4.6C版本的外部存储系统是由SAPCMS分派地址的
B HSM系统
C 装有的ADK文件系统
对于归档文档在第三方介质上的存储和管理有许多解决方案。
你可以在归档管理中决定归档文档现在放在什么位置。
连接到分级存储管理系统(HMS):
一个HSM系统模拟一个无限大的文件系统。
归档文档在HSM系统中,数据归档被存储时立即创建一个归档文档。
在客户定制时,足以为归档对象指定HSM文件系统的路径,也就是归档文档的目标路径。
笔记:
直到4.6B版本,都是SAPArchiveLink控制SAP系统和外部存储系统的连接。
如果你想将内部存储系统中的归档文档使用SAPArchiveLink来最终存储,则归档文档只有在数据库彻底被删除后才能传输到外部系统。
4.6C版本的存储在删除前,依赖SAPCSM在一个外部存储系统控制一个ADK存储。
手动管理:
如果你不想将归档文档存储在一个外部存储系统或者HSM系统,IT部通过在磁带或者本地制作的CD管理文档,因此它们没有对SAPR/3系统的接口。
确保你为所选择的第三方存储介质遵循了恰当的备份策略。
几年后,也许将这些CD和WORM上的存储内容再次拷贝到新的CD和WORM上。
归档步骤3:
删除数据
变式一:
归档和删除任务同时运行
删除工作在归档文档关闭是自动开始。
前提是归档对象在技术定制选择了“自动开始”。
每个归档文档都有一个删除过程。
有三种方式安排删除程序:
变式一的开始删除程序:
关闭归档文档后,ADK打开一个新文件,继续开始归档过程。
删除程序则同时开始。
它从关闭了的归档文档读取数据,然后删除数据库中的数据记录。
这一场景,归档和删除程序同时进行。
变式一的客户定制:
归档对象的配置中的设置删除程序中必须选择“自动开始“。
变式二:
手动开始删除任务
归档任务完成后,管理员开始使用数据归档事务手动执行删除任务。
前提是,归档对象的技术定制选择了“没安排“。
变式二的开始删除程序:
所有的归档文档关闭后,管理员开始手动开始删除程序。
归档任务一旦完成就关闭。
删除运行程序,每个归档文档都有一个删除流程。
变式二的客户定制:
归档对象的配置中的设置删除程序中必须选择“没安排“同时”自动开始”没有被选择。
变式三:
自动开始删除任务
归档任务完成后,删除任务自动开始。
前提是“结束后开始“标记在事务AOBJ中的归档对象定义中被标记。
变式三的开始删除程序:
所有的归档文档关闭后,删除程序按照计划自动开始。
归档任务一旦完成就关闭。
每个归档文档都有一个删除过程。
变式三的客户定制:
归档对象的配置中的设置删除程序中必须选择“自动开始”。
在事务AOBJ中对归档对象的“结束后开始”标记进行选定。
2) 归档和删除工作的服务
4.5B版本以及之前的情况:
前台:
管理——应用服务器:
删除——数据库服务器:
归档
SARA以外的计划删除任务SAPNOTE205585
4.6C版本的新开发:
A可以使用外部任务计划器计划任务
B在R/3系统,你可以用SE38和SM36计划任务
C任务可以在事件控制的基础上被计划
D归档任务结束时触发“SAP_ARCHIVING_WRITE_FINISHED“事件
E同一任务下的删除任务完成后触发“SAP_ARCHIVING_DELETE_FINISHED“事件
任务计划通过归档管理展示(SARA)
笔记:
无论是否写入程序被执行还是被计划,用户或者任务计划程序必须检查变量的选择。
还需要手动检查是否数据可以被突出的删除任务归档多次。
归档运行的数量写入和删除任务后触发事件的事件参数。
接下来的流程可以开始,例如文件备份和外部工具。
在一个事件控制的基础上,删除任务可以安排成自动开始。
触发删除任务的事件在归档对象的技术设置中指定。
设置:
通过事件删除任务。
可能的服务配置1
如果数据库服务器有足够多的充裕资源,一个拥有后台任务的R/3实例可以在其中进行配置。
这样在归档任务期间减少了网络负荷,但是怎家了数据库服务器的负荷。
可能的服务配置2
应用服务器只有在后台处理时才被配置。
归档文档写入一个文件系统本地地安装应用服务。
这种配置的好处是不会增加做为核心资源的数据库服务器的负荷。
这种配置的不利之处是需要通过本地局域网络将归档数据从数据库服务器移动到应用服务器。
对于删除和读程序,你必须确保应用服务器是唯一的后台服务或者本地文件系统已经被导出并且所有的其他应用服务器有权使用它。
3) 影响归档周期的因素:
A使用的硬件
B检查确保业务流程完结
C在一个归档运行中所有要归档的数据总量
D归档次序
E数据库大小
F归档时的系统负荷
G可以读取归档文档(NFS或者本地)
笔记:
由于这些因素的影响,很难概括归档期间的参数值。
在计划任务之前,你可以使用CCMS任务计划器去决定是否其他任务需要大量原本你想用来计划归档的系统资源。
数据库备份在这里有特别重要的意义。
例子:
FI文档100000/3小时/80MB SD文档100000/10小时/25MB
归档任务0.3-1min/MB 删除任务0.5-1.8min/MB
4) ADK概览
所有的归档程序基于ADK
ADK使程序接口实现以下应用:
读、写和includingarchivingclasses
ADK还包括:
处理归档文档;控制和设置归档运行参数;所有必要的定义的中心仓库;管理归档文档。
ADK保证了比特顺序和代码页转换的可解释性和可读性。
如果早期版本的数据对象发生变更,ADK自动执行临时结构转换。
ADK通过ADK方法调用被包含在归档程序中。
ADK以标准格式存储数据。
ADK写入管理数据到数据库以确保数据的可存取性。
笔记:
只有通过ADK才能存取归档数据。
在R/3系统外或者不适用ADK方法,想要存取归档数据都是不可能的。
5) 归档类
归档类下面是有业务关联的对象。
因此,不同的应用相应的表被描述。
它有多种用处。
归档类封装了数据归档的写入、删除和读取数据。
二、安全预评价例如:
FI和SD的文档归档架构中,归档变更文档表的函数模块被调用,变更文档所属的R/3业务对象也被一起存储到归档文档。
(2)规划实施中所采取的预防或者减轻不良环境影响的对策和措施有效性的分析和评估;系统收集变更文档,被一个归档类组织在一起。
归档类CHANGEDOCU归档不只是从CDHDR,还有下级表CDPOS。
归档类数据只能被该归档类的函数模块存取。
2.环境敏感区的界定这些函数模块被相关的应用程序开发,专门调整适应归档类数据。
为了导入归档对象CHANGEDOCU参见SAPNOTE40255。
归档变更文档不考虑响应的业务对象。
记住,从此你就不能从业务对象中存取这个数据了。
(四)建设项目环境影响评价的内容
(3)公众对规划实施所产生的环境影响的意见;6) 使用ADK进行数据归档的特征
A检查数据可归档性
B使两阶段流程可靠
1.建设项目环境影响评价分类管理的原则规定C在线归档
D自动临时转换旧归档文档
E数据压缩
F使用ADK为归档数据分配通道
(3)评价单元划分应考虑安全预评价的特点,以自然条件、基本工艺条件、危险、有害因素分布及状况便于实施评价为原则进行。
G使用ADK分析归档数据
H连接外部存储介质
I像开发工具一样释放ADK
将早期版本的归档文档自动转换的主要好处是:
当归档数据被读取时,系统由于硬件和软件的变更,自动发出转换需求。
(3)建设项目对环境可能造成影响的分析、预测和评估。
ADK自动考虑数据库结构的变更(例如字段类型、字段长度、和新字段)。
这种自适应是临时的,这意味着,只有在读取归档数据时才会发生。
归档文档中的数据没有永久的变更。
所以当一个硬件或者软件变更被执行,不需要转换归档。
2.环境影响评价工程师职业资格制度归档期间,数据自动压缩。
如果数据归档存储到簇表,没有附加的压缩。
ADK使用单独的文档读取归档数据。
应用模块可以使用这个接口,这个接口提供从标准显示事务存取归档文件的通道。
更多的,归档数据可以被使用SAPAS(ArchiveInformationSystem)做的报告读取。
ADK减轻了SAPArchiveLink或者SAPCMS连接到外部归档系统和传输数据到HSM系统的困难。
2.规划环境影响报告书的审查内容ADK可以被用来为客户特定表创建归档函数。
ADK也可以被用来创建客户特定报告程序。