管理信息系统该关注非结构化数据处理了.docx

管理信息系统该关注非结构化数据处理了.docx

《管理信息系统该关注非结构化数据处理了.docx》由会员分享，可在线阅读，更多相关《管理信息系统该关注非结构化数据处理了.docx（5页珍藏版）》请在冰豆网上搜索。

管理信息系统该关注非结构化数据处理了

管理信息系统该关注非结构化数据处理了

传统的各类管理信息系统基于方便数据加工和保存的需要，基本都是将实际行政和交易过程中产生的，大量必须以原始样式表示的非结构化数据，转换成结构化数据进行处理，同时仍将相关的纸质文档作为法律依据进行归档保存。

随着电子政务和电子商务的深入发展，在行政和交易过程中涉及的表单、凭证等各类纸质文书迫切需要进行无纸化改造。

这个改造过程从实际应用上涉及法律和制度的认定、完善和充实，从技术上关键要在相关的管理信息系统中全面采用以非结构化数据的形式，获取和存储所涉及的原始信息。

一、相关概念

通过网上的搜索，我们对以下概念加以确认。

（一）结构化和非结构化数据。

通常我们按照数据存储形式的不同，将信息系统中的数据分为：

结构化数据。

能够用统一的结构加以表示的数据，称之为结构化数据。

通常是指可以用二维表结构来逻辑表达实现的数据，如目前管理信息系统中最常使用的关系型数据库就属于结构化数据。

非结构化数据。

通常是相对于结构化数据而言，不方便用二维表结构来表现的数据,包括以WORD、PDF、EXCEL和JPG等格式组成的各类办公文档、报表凭证，以及图像和音频/视频等数据文件均为非结构化数据。

也有将介于界定严格的结构化数据（如关系型数据库的数据）和完全无结构的数据（如声音、图像文件等）之间的数据形式称之为半结构化数据，这类数据有HTML页面、XML、XBRL等。

（二）版式排版和流式排版。

版式即版面格式，具体指的是开本、版心（包括书眉及页码）和周围空白的尺寸，正文的字体、字号、排版形（横排或竖排，通栏或分栏等），字数、排列地位（包括占行和行距），还有目录和标题、注释、表格、图名、图注、标点符号、书眉、页码以及版面装饰等项的排法。

对于文档类（文书、凭证、报表）的非结构化数据，根据排版形式的不同，通常将其分为版式排版文档和流式排版文档：

版式排版的文档，其版面是固定的，无论在任何终端下阅读，都是以原始编辑的版式显示，不会因为窗口或者页面改变而重新排版。

版式排版最典型的代表是PDF文档，由于公文和凭证与个人用户的电子书不同，它们需要原封不动地传达与“纸制品”时代一模一样的效果，要能作为长久的法律依据，现在国际公文领域，PDF几乎是唯一的选择，已经成为行业的事实标准。

而流式排版可以针对不同终端，对版面或者窗口进行自适应调整，阅读者看到的内容没有变，但排版信息却失去了。

流式排版的文档格式有很多，譬如人们最常使用的文本文件（TXT），Word的doc格式，以及iPad上的ePub书籍都是流式文档。

采用流式排版的书籍，在不同终端上的页数和版面截然不同，但这类文档适用性很强，可以在各类终端上使用。

（三）要式行为和要式文书。

从广义上来讲，文书是机关、团体、企事业单位以及个人在社会活动中，为了某种需要，按照一定的体式和要求形成的书面文字材料。

依照法律规定，必须采取一定形式或履行一定程序才能成立的行为称之为要式行为，要是行为所规定，且必须采用的文书称之为要式文书。

如：

票据行为就是法定要式行为，票据就是一种要式凭证（文书）。

由于票据行为是法律上的一种要式行为，票据和票据行为的生效，必须以票据上记载的事项为依据。

同样要式行为还包括要式行政行为、要式法律行为、要式民事行为等；要式文书还包括要式合同、要式证券等。

二、认识转变

传统上，为确定行政、民事、商事关系当事人应承担的权利义务，法律上通常要求当事人以对有关文书的签署为凭。

行政和交易无纸化以后，则将会转变为要求当事人以对有关数据电文进行数字签章为凭。

针对国际贸易无纸化的《贸易法委员会电子商务示范法》和《贸易法委员会电子签名示范法》（以下简称“示范法”）提出：

如果符合以下两个条件，则数据电文便满足法律对以正本提交或保存信息的要求：

一个条件是，在有关信息的最后文本首次编制完成时，对该信息与数据电文或其他信息的一致性有可靠的确信；另一个条件是，在需提交该信息的情况下，该信息能够被展示给信息接受者。

数据电文的证据效力是一个非常重要的问题。

“示范法”对此又提出：

如果法律要求某些文件、记录或信息应当作为法律依据保存，那么，只要满足以下三个条件，通过保存数据电文便可满足法律要求的证据效力：

一是该数据电文中所载信息是可以取得的，因而可为嗣后所用；二是该数据电文是以其编制或收发的格式保存的，或者，该数据电文是以可被用来准确地显示所编制或收发的信息的格式保存的；三是该信息之保存可以使数据电文的来源和归处，以及其收发日期和时间得以确定。

针对行政和交易文书的无纸化，我国的《中华人民共和国电子签名法》也在第三条做出规定：

“当事人约定使用电子签名、数据电文的文书，不得仅因为其采用电子签名、数据电文的形式而否定其法律效力。

”；在第四条明确了“能够有形地表现所载内容，并可以随时调取查用的数据电文，视为符合法律、法规要求的书面形式。

”。

继而，国家密码管理局通过《电子政务电子认证服务管理办法》为各级政务部门开展社会管理、公共服务等政务活动提供的电子认证服务进行了规范，并确定了相关监督管理工作和管理部门。

综上所述，对于电子政务和电子商务的无纸化过程，其前提是相应的管理信息系统，在受理和形成将要作为法律上的要式文书时，至少必须采用版式排版的非结构化数据文件（以下简称“版式文书”）进行保存，做到能够有形地表现所载内容，并可以随时调取查用；而绝不能采用目前最常使用的，以关系型数据库的结构化数据记录进行保存。

首先，版式文书能够在首次编制完成时进行数字签章，形成对其与所承载信息一致性有可靠的确信，实现不可抵赖性；其次，它能够以其编制或收发的格式加以保存，实现记录性和原始性；其三，由于它是以数据文件形式保存的，可以方便地在需要时展示给信息接收者（不像结构化数据的记录需要进行编码显示），并且能够做到不绑定特定的软硬件。

实现电子政务和电子商务的无纸化是社会发展的必然，其带给行政和交易的高效性，以及对信息检索和再利用的便捷性毋庸置疑。

但在对传统纸质文书的替代性上始终存在争议，具体法律和制度的模糊，以及标准的缺失已成为文书无纸化的制度性障碍。

为此，目前都是“两条腿”走路，既要将纸质信息加以电子化采集利用，又无法摆脱海量纸质文书实物管理的累赘，严重制约了政务信息化和交易信息化的发展，极大地影响了推行的意义。

任何制度都是先实践后完善的，法律及规章总是要靠实践不断推进，为此，当务之急必须要尽快探索和实现相关的技术手段和应用环境，通过持续地应用实践，经历发现问题、解决问题、优化改进的持续发展路径，最终对相关法律和制度的变革，起到积极的推动作用。

三、技术应用

（一）版式文书的采集工具。

一是要解决版式文书的生成和发布。

以“所见即所得”的方式编制文书的版式，定义该文书各数据项的属性和算法，以及对应的XML表示，最终形成该文书的空白文件进行发布；二是要解决离线和在线方式的填写。

用户可以在下载空白的版式文书之后，利用该工具进行离线填写（对于特定的版式文书，如发票，只能被特定的用户填写，且必须保证唯一性），或者将该工具嵌入相关管理信息系统的录入界面，根据需要，既可以利用该工具填写文书，达到简化信息采集编码的目的，又可以采用传统模式填写结构化文书，再用该工具对编制好的结构化文书进行标准化的版式封装；三是要解决填写后的计算。

利用生成时定义的算法，对需要加以验证和计算的数据项，进行相关的逻辑校验和数据加工；四是要解决版式文书形成后的封装。

必须能够解决多次封装的问题，即首先是对编制好的空白版式文书（即发布前）的封装，继而对每一次填写后的结果加以封装，最终形成一份固化（不能被再次修改，或者经非法修改会产生明显的提示反映）的版式数据文件，该文件既可以通过工具以只读的方式，解析出以XML格式表示信息供机器处理，又能以通用的标准（如PDF）由各类终端显示（不能绑定硬件和软件）供文书需要者阅读。

（二）电子签章。

互联网上有人定义：

“数字签名，是法律认可的对数据电文内容进行不可抵赖性封装的一种技术。

电子签章是数字签名的一种表现形式，其利用图像处理技术，将数字签名操作转化为与纸质文件盖章操作相同的可视效果，同时，利用数字签名技术保障电子信息的完整性和真实性，以及签名人的不可否认性。

”加盖电子签章的版式文书最能符合《中华人民共和国电子签名法》第四条所述：

“能够有形地表现所载内容，并可以随时调取查用的数据电文，视为符合法律、法规要求的书面形式。

”的要求。

前提是要能够确保：

一是空白版式文书应该由发布当事人进行数字签名或电子签章；二是在版式文书最终封装时必须包含由每个相关当事人确认的数字签名或电子签章，且每个当事人只对与其相关的内容负责；三是所使用的数字签章和电子签名必须遵循通用的标准，确保可以由版式文书统一封装，且不能绑定软硬件和运营商。

（三）管理信息系统的非结构化数据处理能力。

传统的行政和交易类的管理信息系统，很少考虑数据文件法律意义上的封装和归档管理，所以其所形成和管理的数据，几乎都是不能作为法律依据和档案使用的结构化数据。

传统的应用由于非结构化数据处理技术的不成熟，大都采用结构化数据进行采集和处理，在展现时再拼装成实际样式，并成为了应用系统开发的习惯。

随着非结构化数据加工处理技术的完善和成熟，其不仅具有简化人机交互逻辑的编程（交易和展现均无需再对样式编码）、应用间数据结构的解耦、保证数据交换完整性等开发特点；而且具备更好地反映事务的完整流程、本身携带原始样式、具备较强的防抵赖性等反映原始记录的先天优势。

行政和交易无纸化以后，必然要增加传统管理信息系统的非结构化数据的处理能力。

这里的非结构化数据不仅包括利用信息化手段获取和产生的，各类涉及各相关当事人的表证单书，以及记录相关流程各环节痕迹的电子文档；而且还包括尚未能利用信息化手段直接获取，再进行数字化分析利用的纸质资料和反映现实场景原状的扫描文件、录音、录像等多媒体文档。

需要增加的处理能力包括：

一是版式文书的形成和存储。

管理信息系统用户办理日常业务的人机交互过程一旦办结（特别是行政管理的交易过程，往往涉及多个环节，多个岗位，如起草、受理、审批、认定、报告、通知等），除了形成传统的结构化数据以外，还必须形成与该过程相关的所有版式文书；二是提升非结构数据的处理性能。

一旦大规模地实现行政和交易的无纸化，如何实现大批量版式文书所包含信息的结构化过程，将是一个技术上的关键。

目前的技术，对非结构化数据的计算加工效率还是远远无法与结构化数据相比的，只能先将其转换为结构化数据才能进一步开展分析利用。

而将XML数据转换成为结构化数据的ETL过程耗时又是结构化数据间ETL过程耗时的几十倍；三是对版式文书的阅读展现和解析利用。

要实现无纸化，必须要确保电子数据这种载体所承载的信息，在具有不可抵赖性地反映原始记录的前提下，既要能够被在需要时作为依据调阅，又要能够对其所承载的各种信息，通过统计分析手段，进行针对各种不同需求的增值利用。

为此，相关的管理信息系统必须扩展对非结构数据的展现和利用功能。

（四）电子档案管理。

现行的管理信息系统中的档案管理存在诸多问题：

首先是纸质资料不能有效共享，查阅不方便，调阅频度低，管理效益不高；其次是电子信息与应用系统紧耦合，没有实现电子信息凭证化，对应用系统的依赖性极强；其三是档案种类繁多，管理各有侧重，处理流程各不相同，难以实现所有档案在同一平台上管理。

理想的电子档案管理工作目标应该是：

实现纸质资料的信息化管理和实现电子信息的档案化管理。

通常电子档案（或者其生命周期）应该从交易开始，通常它们是在交易类应用的人机交互过程和管理决策的加工结果（简称生产过程）中生成的，即建档；在档案系统中管理，即归档；又会在生产过程中使用，即调阅。

可见电子档案管理既是交易类应用的一部分，又具有自己的独立性和应用间共享的部分。

为了确保档案的原始性，交易类应用必须从源头实现电子文档的凭证化（行政和交易的结果形成版式文书），并且对凭证化的电子文档，在适当的时点进行归档操作后，与相应的电子化纸质资料（扫描或摄像）一并形成档案，继而由档案系统进行管理。

已经归档的历史数据，在交易类应用中应该根据需要定期卸载，从而提升交易类应用的处理能力。

交易类应用在日常工作中使用到的历史数据，应该根据其在交易类应用中的保存期限，确定是引用仍保留在交易类应用的历史数据，还是通过档案的调阅导入档案系统历史数据。

为实现理想的电子档案管理目标，技术上需要：

一是电子档案的获取。

分为2个渠道：

一个是“捕获”，即电子信息的凭证化过程。

通过上述的无纸化进程，在生产过程的各环节中，全面收集已办结的相关版式文书；另一个是“采集”，即实体档案的电子化过程。

通过扫描、拍照、摄像等技术手段，将实体档案复制一份“电子载体的副本”；二是电子档案的形成。

将获取环节生成的每一“件”档案，按照一定的规则组合打包，并附注“件”的目录，加载标准化的电子档案基本属性信息，使电子的“件”和纸质的“件”相关联，从而形成档案管理的基本单位“卷”；三是电子档案的管理。

至少包括4个管理功能：

卷宗管理：

对有全宗编号的所有“卷”信息进行登记管理；库房管理：

对档案出入库、迁移及档案架等信息的管理；借阅管理：

对实体档案的借阅和电子档案的查阅，以及借阅和查阅的权限进行管理；销毁管理：

包括档案期满后的电子档案信息从档案数据库卸载管理和纸质档案期满后的销毁管理；四是电子档案的应用。

生产过程的业务处理中为了形成电子档案，相关管理信息系统一方面要能够将所受理的电子信息生成版式文件，实现电子信息的档案化，另一方面要能够将所涉及的实体档案转换为电子数据文件，实现实体档案的信息化，从而推动档案管理的全面信息化进程；在行政和交易过程中使用带有数字签名的版式文书，确保了电子数据文件的原始性和不可抵赖性，实现档案载体的凭证化；通过将流程结束后有价值的凭证及所涉及的实体，以标准化的属性统一封装，并采用规范的处理过程和统一的操作功能进行归档，实现各类档案管理的一体化。