基于XML的EXCEL数据采集技术.docx
《基于XML的EXCEL数据采集技术.docx》由会员分享，可在线阅读，更多相关《基于XML的EXCEL数据采集技术.docx（37页珍藏版）》请在冰豆网上搜索。
基于XML的EXCEL数据采集技术
摘要
基于XML的灵活性以及与平台无关的特点，本课题设计了一个通用的录入程序。
针对不同的Excel表采用不同的XML文档进行描述，将从最基层采集来的数据录入到数据采集表中，然后通过采集处理程序根据不同处理规则将采集表中的数据加载到现场数据库中。
录入界面的设计规则，完全可以根据用户的需求来设计，灵活性和可操作性非常强。
本系统主要实现了数据录入、数据维护和数据加载等功能。
数据录入主要是将现场采集的数据录入到Excel表格中。
数据维护是指对Excel表格中的数据进行修改、插入、删除等操作。
数据加载是指将现场数据通过XML映射文件加载到现场数据库中。
该方案具有通用性，可以较大程度地提高信息采集的效率，同时较好地降低了数据采集系统的维护成本。
关键词：
XML；Delphi；Excel；DBF数据库
Abstract
BasedontheflexibilityofXMLaswellasthecharacteristicofirrespectivetoplatform,thissubjectdesignedagenericinputprocess.WiththedifferentExcelforms,itdescribeswithdifferentXMLforms,putdatawhichcollectedfromthemostgrass-rootsintodatacollectionforms.Thenthroughacquisitionandprocessingproceduresloadsthedatafromcollectionformsintothesitedatabaseaccordingtodifferentrules.Therulesofinputtinginterfacecantotallydesignedbyusersdemand.Soits’flexibilityandmaneuverabilityareverystrong.
ThisSystemhasrealizedfunctionssuchasdatarecordenter,dataupkeepanddataloadingmainly.ThedatarecordenterismainlyputsitecollectiondataintoExceltable.Dataupkeepistorevise,insertanddeletethedatainExceltable.DataloadingreferstoloadsitedataintothesitedatabasethroughtheXMLmappingdocument.
Thisprogramhasgeneralavailability.Itimprovesinformationcollectionmoreefficiently,atthesametime,reducesthecostsofthedatacollectionsystemupkeep.
Keywords:
XML；Delphi；Excel；DBFDatabase
前言
随着信息技术的发展，信息集成与应用需求的产生和变化越来越快，用户需要具有可个性化定制能力的平台软件。
在油田方面，信息技术通过企业信息门户的推广，已能满足用户的个性化要求，但数据描述、数据存储仍使用多年前制定的数据库结构，不能适应油田信息发展的需求。
现在油田开发进入了中后阶段，特别是油田可持续发展理论提出之后，作为具体实践，企业的生产管理正逐步实现精细化深入化，与之相关的，油田开发中的各种科学决策将更加依托于以数据分析为主要手段的信息技术平台，即所谓信息支持决策，这也是企业信息化建设的本质工作。
在企业整个的基础信息群集中，本文重点要讨论的是其中的现场信息采集技术。
目前来说，这种现场信息在企业应用中应该是一个既不可或缺又相对独立的部分。
说它不可或缺，是因为油田开发的精细化发展正在对这部分信息产生越来越多的需求，包括目前已经应用的（例如:
机采井示功图采集、动液面采集、电机参数采集、电流曲线采集、水井分层流量采集、分层压力采集等等）和应用到各种现场数据采集的其他技术，可以说越来越多的此类现场信息将会是企业信息平台和数据资产的一个重要组成部分；说它相对独立，是由于目前这部分信息的处理和使用，并没有纳入到一个标准化的数据管理体系中，众多数据采集设备的众多生产厂家，他们各自定义的数据承载与处理机制，各种格式的文件式数据载体，缺乏一个统一的规范。
本文提出一种基于XML的数据采集技术，即通过XML将数据导入到数据库中。
本文按照解决方案的模块来组织章节，整篇论文共分为五章。
第一章主要分为本课题的简介、相近课题的研究特点和优缺点分析以及本课题的研究意义。
第二章系统分析，首先论述了系统的需求分析，然后画出系统的数据流图，最后分析了系统的实现过程。
第三章系统设计，包括数据库设计、系统功能模块的设计和系统流程图的设计。
第四章系统的实现，包括系统的开发技术、开发工具介绍、系统功能模块的实现、数据加载过程。
第五章主要介绍系统测试。
目录
第1章概述1
1.1课题简介1
1.2相近研究课题的特点及优缺点分析1
1.3本课题的研究意义2
第2章系统分析4
2.1需求分析4
2.2数据流图4
2.3系统实现过程分析6
第3章系统设计7
3.1数据库设计7
3.2功能模块图9
3.3系统流程图11
第4章系统实现12
4.1开发技术简介12
4.2开发工具简介16
4.3系统模块的实现18
第5章系统测试24
结论25
参考文献26
致谢27
附录28
第1章概述
1.1课题简介
石油开采工作的核心，就是充分利用已有的钻井、录井、测井、测试和分析化验等各类资料，反复进行分析研究，得出正确的认识和结论，为系统开发决策提供依据。
这种对各类数据反反复复地进行采集、查找、统计、分析处理、对比研究的过程占据了大量的宝贵时间，而且随着油田勘探工作的不断深入，资料数量呈直线上升。
为了从资料采集中解放出来，需要建立数据采集的数据库，为今后油田数据库的应用打下了坚实的基础。
综合油田数据库源数据集成的特点，采用XML对目标数据进行描述和转换是一种比较合适的方式。
XML是W3C发布的一种可扩展标记语言，用于描述和组织WEB环境下的数据。
而与XML配合使用的XSLT则专门用来描述XML与其它文档之间的转换。
XML以其简洁的数据组织结构、强大的数据描述能力和可扩展的特性，成为WEB环境下表示各种数据的事实标准。
现在几乎所有的系统环境、软件开发环境和数据库产品都支持XML。
POSC组织发布了系列基于XML的数据交换标准，对XML的研究和应用受到广泛关注。
XML的开放性、可扩展性及XSLT对数据格式转换功能，正是集成油田复杂数据源所需要的特点。
本次毕业设计主要是基于XML的数据采集技术的研究，该应用系统的设计原则是：
整个系统的设计在现有基础信息数据库的通用、成熟技术的基础上进行：
整个系统保持了一个完整简洁、清晰的逻辑结构，系统中数据文档的传递、交换和存储具有统一的数据交换标准，系统的各个部分保持了足够的开放性和可扩充性。
应用软件在统一的环境下开发，以保证软件的稳定性，同时应用界面应保持一直的风格，便于应用人员尽快掌握使用。
1.2相近研究课题的特点及优缺点分析
随着信息资源在国民经济中发挥着越来越重要的作用，信息的分析和挖掘已成为各个行业领域进行决策的重要依据,而信息的质量和及时性是决定决策支持系统能否有效地发挥作用的关键。
因而为了保障信息能够及时准确地反映在各个领域的中心数据库中，数据采集的方法显得尤为重要。
通过对各个不同领域，特别是相关政府部门结构设置的研究,认为行业中心数据库中的数据来源基本上是来自于下属各个分支机构。
我国不同领域的信息构成基本都是以下的模式：
下级的数据逐层汇总，最后存储于中心数据库中,因而如何把分散的信息加以汇总，即采用的数据采集方式，是建立中心数据库的关键步骤。
有效的数据采集方式应具备以下特点：
（1）满足决策支持系统对于数据的需要；
（2）符合下级数据源的填报习惯，最大限度地减少下级部门的工作量；（3）能有效地对数据进行校验，保障数据的质量；（4）满足采集标准不断变化的需要；（5）传输量较小，减轻网络负载。
现有的数据采集多采用如下两种方式进行：
（1）建立互联网采集平台
下级机构可以通过互联网连接到总部网站上，并登录到信息采集平台进行数据报送。
填录好的数据提交后经系统验证无误后将会被提交到数据库中，总部内部则可以在该数据的基础上进行各项操作，从而支持日常办公、统计报表和决策支持的需要。
优势：
该类上报模式具有适应性强、易于修改维护、对用户培训工作量小和数据更新速度快等特点，其数据规范要求可直接在网上定义，是现阶段比较流行的上报方式。
缺陷：
浏览器功能相对较弱，无法完成复杂操作,网络安全性有隐患。
（2）通过文件进行数据导入
数据采集的另一种方式是通过将用户上报的数据文件，利用上级部门定制的采集软件，将其中数据导入数据库中。
下级数据源将所要上报的数据做成上级部门要求的数据文件，该文件可以为Excel、MDB或其他常用格式，但其数据规范应由上级部门统一给出。
为了规范数据标准上级部门应统一下发上报软件或数据模板。
优势：
该类方法具有较好的数据安全性，而且由于下发客户端，因而可实现复杂的验证功能，可将该类系统与机构自身的办公系统结合。
缺陷：
采集标准的更新需要修改每个客户端，工作量很大，需要人工参与，及时性准确性难以保证。
1.3本课题的研究意义
数据采集技术是一种新兴技术，首先设计的是计算机系统。
因为计算机是数据采集技术的物质基础，是否能成功开发数据采集系统采集数据信息的关键，要统筹全局，合理配置，以保证数据采集系统的各项功能得以实现。
生产管理人员在组织生产、管理生产的工作中，为了得到可靠的生产信息，首先要从信息收集做起。
由于生产工艺的连续性，且生产过程复杂、工艺参数变化大、分布广泛，所以依靠传统方式管理、收集全厂生产动态实时数据信息就变得比较困难了。
应用计算机进行数据采集，可以解决生产中的生产动态实时数据的收集与处理，且数据准确、效率非常高。
计算机应用技术解决了生产控制中实时数据信息的收集，解放了生产力、提高了生产效率，为生产管理人员精细管理、提高生产装置运转率，使生产装置安全、稳定、长周期、满负荷生产提供了可靠的科学依据。
将计算机应用技术引入到油田生产管理中，对主要的工艺参数、关键设备实行连续实时状态监测，为生产管理人员的决策，及时掌握生产动态提供了全面的生产信息，使高层决策者有可能及时掌握企业生产动态中的全貌。
其数据采集系统提供的信息不仅准确，而且速度很快，是高层决策人员获得生产信息的主要途径。
总之，经过运行实践，已经证明数据采集技术对优化生产、稳定生产装置、节能降耗、提高经营决策、提高生产装置运转效率等方面显示除了巨大的优越性，解决了一些生产中的实际问题，初步表明了数据采集技术在油田生产管理中的重要作用。
第2章系统分析
2.1需求分析
需求分析是整个设计工作的基础，是设计应用程序的起点，需求分析的结果是否准确反映了用户的实际要求，将直接影响到后面各个阶段的设计。
做好需求分析是系统设计取得成功的重要前提，需求分析的任务是通过详细调查现实世界要处理的对象，充分了解原系统工作概况，明确用户的各种需求，然后在此基础上确定新系统的功能。
需求分析的重点是调查、搜集和分析用户在数据管理中的信息要求、处理要求、安全性要求与完整性要求。
需求分析的任务是系统必须完成的工作，也就是对目标系统提出完整、准确、清晰、具体的要求。
在经过多方了解和调查后，基本清楚了数据采集系统的功能需求。
本次毕业设计主要是针对目前油田现场数据采集效率不高的问题，提出一种基于XML的数据采集技术。
油田的勘探开发是一个复杂的综合性系统，从大局上分，它由决策层、管理层和执行层组成，从工作类型上分，有钻井、录井、测井等。
录井工作的价值在于把分散的多井信息集合起来以解决勘探的大局问题，现场信息的采集，不但提高了信息传递的及时性和准确度，同时，也规范了录井信息的传递内容，有了标准化和统一性，避免了一些重复性工作，达到了提高工作实效的目的。
目前油田已经开发的数据库的内容基本上包括了现场录井的所有数据信息，现场采集的录井数据可以及时处理成DBF关系数据库，接入内部勘探开发数据库，形成档案资料。
在分析了录井专业数据库和油田其他专业数据库数据采集特点的基础上，设计了基于XML的数据采集技术。
数据库管理人员可以通过该系统平台将现场数据录入到Excel表格中，定期将采集的数据加载到数据库中，供应用使用。
在加载过程中可以对数据进行整理，以满足应用需求。
以下是数据采集系统所必需具备的功能：
数据录入功能：
将现场采集的数据录入到Excel表格中。
数据维护功能：
指对Excel表格中的数据进行修改、插入、删除等操作。
数据加载功能：
指将现场数据通过XML加载到现场数据库中。
2.2数据流图
通过对系统进行详细具体的分析之后，并且明确系统的总体要求以及系统要实现的基本功能。
但是要想使用户及有关的系统开发人员更能形象的了解这个系统的功能及其简单处理过程，需要一个良好的来描述系统的逻辑结构，让用户及其它人员形象的了解系统要完成的基本功能。
数据流图是一个很好的工具，它是描绘物理系统的传统工具，它也是描绘系统的逻辑模型，同时，数据流图只是描绘信息在系统中流动和处理的情况。
即使不是计算机专业的人员也容易理解。
它是对系统的一次大大的压缩和简化，只考虑其中最主要的框架而不涉及具体的物理元素；只描述数据在系统各部分之间的流动和数据处理过程而不涉及系统功能的具体实现。
出于数据流图是逻辑系统的图形，它只是描述系统必须完成的基本逻辑功能，它完全不考虑如何具体的实现这些功能，因此它是软件设计的很好的出发点[5]。
经过分析，画出了本系统的数据流图，如图2.1所示。
图2.1数据流图
数据流图辅助物理系统的设计时，以图中不同的处理定时要求为指南，能够在数据流图上画出许多自动化边界每组自动化边界可能意味着一个不同的物理系统，因此可以根据系统的逻辑模型考虑系统的物理实现。
2.3系统实现过程分析
对油田开发数据库中的多个数据表而言，大多数表的录入方式除了约束机制不一样以外，其余的设计机理都是一致的。
因此，基于XML的灵活性及与平台无关的特点，本课题设计了一个通用的录入程序，针对不同的表采用不同的XML文档进行描述，将从最基层采集来的数据加入到采集表中，然后通过采集处理程序根据不同处理规则将采集表中的数据加入到标准数据表中的处理程序也是一组以XML文档为基础的通用处理程序。
录入界面的设计规则，完全可以根据用户的需求来设计，灵活性和可操作性非常强。
实现功能模块时，采用先模块化后集成化的方式。
即对系统各个功能模块分别独立设计和调试，在创建完系统主窗体后，再将各个功能模块通过连续编译将系统集成到一起，最后进行系统整体设计调试。
在访问数据库时，采用通用数据模块存放访问数据库需要的对象。
该模块在各个功能模块中被直接调用，避免对数据库的反复连接，并可减少代码编写，从而提高了系统开发效率。
由于采用了框架结构，使得该系统的可扩展性极强，并且为和油田的其他应用系统的结合打下了良好的基础，也为实现系统的长远目标作了准备。
另外在各个基本框架应用模块中，开发使用的是面向对象的技术，采用基于抽象的应用模式对象开发各个模块，在细节中又应用XML标记技术，使得在模块级别上的可扩展性也变得非常强大。
第3章系统设计
系统设计的任务是在系统分析的基础上，按照逻辑模型的要求，科学合理地进行系统的总体设计和详细设计（即具体的物理设计），为下一阶段实施提供必要的技术资料。
另外，系统设计中还应尽量满足以下要求：
（1）系统性。
系统是作为同意的一个整体而存在的，因此整个系统的代码要统一，设计规范要标准，传递语言要尽量一致，并使一次输入得到多次利用。
（2）灵活性。
系统应灵活，对环境的变化有很强的适应性。
这就要求提高各部分的独立性，尽量减少各子系统之间的数据依赖性。
这样，既便于修改，又容易增加新内容。
此外，设计方案中应尽量避免不必要的复杂性，以便缩短处理流程，减少出库费用。
（3）可靠性。
这是指系统受外界干扰时的抵御能力和恢复能力。
（4）经济性。
在满足以上要求的基础上，尽量经济。
详细设计阶段的任务不是具体地编写程序，而是要设计出程序的“蓝图”。
详细设计的目标不仅仅是逻辑上正确地实现每个模块的功能，更重要的是设计出的处理过程应该尽可能简明易懂。
详细设计的根本目标是确定应该怎样具体地实现所要求的系统，也就是说经过这个阶段的设计工作，应该得出对目标系统的精确描述，从而在编码阶段可以把这个描述直接译成用程序设计语言书写的程序。
总体设计阶段内容包括划分子系统、代码设计、设计规范制定、系统流程图设计、功能模块图设计等。
3.1数据库设计
在需求分析阶段已经完成该系统的所有的数据分析。
根据该阶段所建立的概念模型，已经得出几个关系描述，该阶段的主要工作就是把前一阶段的成果转化为具体的数据库。
数据库设计应满足下列原则：
一致性原则：
对信息进行统一、系统的分析与设计、协调好各数据源，做到“数出一门”、“算法统一”、“度量一直”。
保证系统数据的一致性和有效性。
完整性原则：
数据库的完整性是指数据的正确性和相容性。
要防止合法用户使用数据库时向数据库加入不规范的数据。
对输入到数据库中的数据要有审核和约束机制。
安全性原则：
数据库的安全性是指保护数据，防止非法用户使用数据库或合法用户非法使用数据库造成数据泄露好、更改或破坏。
可伸缩性原则：
数据库结构的设计应充分考虑发展的需要、移植的需要，具有良好的扩展性、伸缩性和适度冗余。
规范化数据库的设计：
应遵循规范化理论，规范化程度过低，可能会存在插入、删除异常、修改复杂、数据冗余等问题，解决的方法就是对关系模式进行分解或和并（规范化），转换成高级范式。
一般把数据库的设计分为数据库的逻辑设计和数据库的物理设计两个步骤。
数据库的逻辑设计，根据需求分析阶段给出的系统的概念模型就可以进行数据库的逻辑设计。
数据库的逻辑设计即把得到的满足第三范式的关系转化为特定的数据库管理系统下的数据表[1]。
数据库的物理设计，在完成数据库的逻辑设计后，即可进行数据库的物理设计。
基于以上数据库的逻辑设计，考虑程序设计的简易性，同时考虑作为毕业设计的题目及时间，本系统的数据库决定采用DBF数据库，并在其下创建3个数据表，其结构分别见表3-1（Yxzs表）、表3-2（Nymdfx表）、表3-3（Ljzltjb表）。
表3-1Yxzs表
字段名称
类型
字段宽度
Jh
字符型
16
Qsjs
数值型
7
Zzjs
数值型
7
Cw
字符型
16
Zssxjs
数值型
7
Zsxxjs
数值型
7
Yxzs
备注型
4
Tbr
字符型
20
Shr
字符型
20
表3-2Nymdfx表
字段名称
类型
字段宽度
Jh
字符型
16
Cw
字符型
20
Js
数值型
8
Yxmc
字符型
30
L1
数值型
5
L2
数值型
5
Md
数值型
5
Clr
字符型
8
表3-3Ljzltjb表
字段名称
类型
字段宽度
Jh
字符型
16
Zllx
字符型
10
Djsdl
数值型
8
Djsd2
数值型
8
Jg
数值型
7
Sl
数值型
8
Bz
备注型
4
3.2功能模块图
模块化就是把程序划分成若干个模块，每个模块完成一个子功能，把这些模块合起来组成一个整体，可以完成指定的功能，来满足问题的要求。
采用模块化原理可以使软件结构清晰，不仅容易设计也容易阅读和理解。
因为程序错误通常局限在有关的模块及它们之间的接口中，所以模块化使软件容易调试和测试，因而有助于提高软件的可靠性。
因为变动往往只涉及少数几个模块，所以模块化能提高软件的可修改性。
采用模块化应尽量做到模块独立，即希望设计这样的结构，使得每个模块完成一个相对独立的特定子功能，并且和其它模块之间的关系尽量简单。
模块独立是设计的关键，而设计又是决定软件质量的关键环节[5]。
人们在开发计算机软件的长期实践中积累了丰富的经验，总结这些经验得出了一些启发式规则，主要包括以下几个方面：
（1）改进软件结构提高模块独立性；
（2）模块规模应该适中；
（3）深度，宽度，扇出和扇入都应适当；
（4）模块的作用域应该在控制域之内；
（5）力争降低模块接口的复杂程度；
（6）设计单入口单出口的模块；
（7）模块功能应该可以预测。
为了符合以上要求以及根据需求分析阶段得到的数据流图，采用软件工程的概念和原理，在保证系统基本功能要求的前提下，结合系统的业务流程确定了系统必须具备的所有功能，由此给出了数据采集技术的功能模块图，如图3.1所示。
图3.1系统功能模块图
该功能模块图详尽地描述了整个系统的各个模块以及各个模块所具有的不同功能。
主窗体模块：
包括了数据录入和数据维护两个功能。
数据录入模块：
创建新井，选择需要编辑的井号，将现场数据录入到Excel表格中。
数据维护模块：
将录好的现场数据通过XML加载到现场数据库中。
3.3系统流程图
系统流程图又叫事务流程图，是描绘物理系统的传统工具。
系统流程图是在计算机事务处理应用进行系统分析时常用的一种描述方法（另一个是数据流图），它描述了计算机事务处理中从数据输入开始到获得输出为止，各个处理工序的逻辑过程。
它的基本思想是用图形符号以黑盒子形式描绘系统里面的每个部件（程序，文件，数据库，表格，人工过程等等）。
系统流程图表达的是信息在系统各部件之间流动的情况，而不是对信息进行加工处理的控制过程。
本系统流程图如图3.2所示：
图3.2系统流程图
该流程图表示了从建立Excel表格、XML映射Excel表格中的数据，现场采集数据录入到Excel表格中，到将录好的数据加载到现场数据库这个过程。
第4章系统实现
4.1开发技术简介
4.1.1XML概述
XML即可扩展标记语言（ExtensibleMarkupLanguage）。
标记是指计算机所能理解的信息符号，通过此种标记，计算机之间可以处理包含各种信息的文章等。
如何定义这些标记，这就是语言的可扩展性。
XML是一种类似于HTML的标记语言；XML是用来描述数据的；XML的标记不是在XML中预定义的，你必须定义自己的标记；XML使用文档类型定义（DTD）或者模式（Schema）来描述数据；XML使用DTD或者Schema后就是自描述的语言。
但是这里有几个容易混淆的概念要提醒大家：
1）XML并不是标记语言。
它只是用来创造标记语言（比如HTML）的元语言。
只要知道一点：
XML和HTML是不一样的，它的用途比HTML广泛得多，其他将在后面介绍；
升级会员 