数据采集自动化处理及数据挖掘.docx

1、数据采集自动化处理及数据挖掘HUNAN UNIVERSITY毕业设计（论文）设计（论文）题目: 数据采集自动化处理与数据挖掘 学生姓名: 武 祥 斌 学生学号: 326 专业班级: 软件工程2004级开发2班 指导老师： 李 玮 系主任(院长)： 林亚平 2008年5月26日数据采集自动化处理与数据挖掘摘要目前，随着社会经济的发展，金融市场变的异常庞大和复杂，而基金作为一种金融衍生产品，在金融市场中占有一席之地。随着基金产业的不断发展，各种类型的基金进入金融市场，作为一种理财产品，就是要为大众服务，帮助大家理财，然而当投资者面对大量的基金产品，不知应该怎样选择，所以我们的目标就是帮助普通的投资

2、者和金融机构做出判断，指引他们选择适合自己的基金。 为了达到上面的目的，我们就需要大量的数据来做支撑，所以采集这些基金产品的数据是十分重要的，每天有来自世界各地的金融机构为我们提供这些数据，而我们的目的就是要采集这些数据，保持数据的完整性和正确性就是我们这套系统的主要功能。我们采用程序的方式来实现这样的数据采集，并且不需要人工干预，本套系统采用了c#语言，以及三层结构本身的一些设计上特点做了较为详细的分析，以及大量采用了XML技术, 三层架构的设计实现了一套功能相对完备并具有良好用户界面和可扩展性的系统。在本中也对本文中的创新点进行阐述，同时展望了采集数据的自动化和数据挖掘的发展方向以及前景。

3、关键词：基金，XML，数据挖掘Automation of Data Collection and Data MiningABSTRACTAuthor: Wu xiang binTutor:Li WeiAt present, as the social and economic development, financial markets become unusually large and complex, and the fund as a financial derivative products, financial markets in a place. With the contin

4、uous development of the industry, various types of funds into the financial markets, financial products as a means for the public services, financial management help people, but when investors face a lot of fund products, they do not know what to choose, Our goal is to help ordinary investors and fi

5、nancial institutions to make a judgement, the guidelines they choose to suit their own funds. To achieve the above objectives, we need to do a lot of data support, the collection of data products of these funds is very important, every day from all over the world financial institutions to provide us

6、 with these data, and our goal is to acquisition of these data, and maintain data integrity and accuracy of this system is our main function. We adopt a program approach to achieve such a data collection, and does not require manual intervention, this set of systems used c # language, and the three-

7、tier structure itself to do some design features a more detailed analysis, and a large number of XML technology, The three-tier system designed to achieve a relatively complete set of features and has a good user interface and scalability of the system. In this paper also on the point on innovation,

8、 and the prospect of automated data collection and data mining direction for the development and prospects.Key words: fund, XML, data mining.1绪论1.1 本课题的简介数据采集自动化处理其实就是一个系统，此系统主要任务就是自动化的采集数据。对各种基金数据进行整理，分类，最后得到我们可以识别的标准格式的文件类型的数据文件。图1.1 系统整体数据流图图1-1是整个系统的结构图，通过结构图可以很清楚的看到整个系统的大致的结构和所完成的一些功能有一个初步的了解。1

9、.2 本课题的目的和意义随着社会不断的进步和发展，人们的生活变的越来越充裕，手中的钱也越来越多，因此人们选择了理财产品，而不在是存在银行中，但是众多的金融衍生产品使投资者眼花缭乱。共同基金这种新兴投资方式的出现，是市场经济特别是证券高度发达的必然结果。面对各类证券数量的迅速扩张和投资风险的不断加大，个人投资者对共同基金的倚赖性逐渐增加。这是因为：共同基金将众多小额的资金汇集起来，积少成多，能从规模经济中获益。随着我国经济商品化，货币化进程的发展和我国社会市场经济体制的确立，逐步发展和完善的证券市场将在其中发挥越来越重要的作用。因此，可以预料，共同基金在我国产生和发展也将是为期不远的现实。而我们

10、的这个题目的目的就是在于帮助分析人员提供大量的基金数据，使分析人员不用关心数据，我们会提供给他们正确和完整的数据，而这些数据的来源就是世界上各个金融机构提供给我们的文件中包括的数据，我们采用自动化的数据采集，保证了快速和准确的把数据收集起来，然而再美国境内，美国的机构提供的都是格式统一的文件，这样我们很容易把数据转化为我们内部可以识别的格式文件，在美国之外，也就是欧洲和亚洲等各个机构提供的文件格式不同，比如excel,pdf,txt等各种各样的格式，我们需要应对各种的方式来处理文件，最终得到统一的格式，为金融分析人员提供第一手的数据。这个系统的意义还在与能够减少人工的参与，大量减少人工的工作量

11、，再最以前都是人工的读文件取数据并且录入数据，采用现在的信息化处理数据能够减少公司的开支并且得到最准确和及时的数据，这是金融分析最重要的一点。2技术背景2.1Web服务的概念Definition: A Web service is a software system designed to support interoperable machine-to-machine interaction over a network. It has an interface described in a machine-processable format (specifically WSDL). Ot

12、her systems interact with the Web service in a manner prescribed by its description using SOAP messages, typically conveyed using HTTP with an XML serialization in conjunction with other Web-related standards.Web服务是一个软件系统，是被开发用来支持可同时操作的，跨越网络的机器对机器之间的交互。它包含一个以机器可处理格式描述的接口(特指WSDL)。其他系统同Web服务交互以一种本身的描述

13、中规定的方式，使用SOAP消息，代表性在同Web相关的标准的联结中使用一个XML连续，利用HTTP传达(消息)。 WEB服务的优势谈到.NET，.NET是微软为Web服务提供的一个平台。微软做.NET的目的是，希望在PC和Internet之后，为用户提供更高层次的服务。也就是说，PC上做的事，有了Internet，可以做到100倍，而Web服务来到后，也许能做10000倍。 Web服务最终的目的可分为用户、开发商和企业用户。从用户看，Web服务将用户的需求分成几个部分，逐步完成。比如说，买一束花在今天的互联网上也能做到。但你需要去搜索卖花，搜索到的也许并不是你所最想要的；你还需要输入信用卡号和

14、地址，而且所有的数据也不能重复使用。而在Web服务中，你只需告诉计算机：我要买束花就行了；因为你的很多数据已经存在Web服务中。 从开发者角度看，Web服务的目的是让人们开发的程序都能相互结合起来，比如说，卖花与付款两个服务模块，在开发时并没有任何协议，是独立开发的，但把它们放在一起，也能运行。对于商业用户来说，不但可以提高效率，降低IT预算，软件可以重用，而且，能够做的事情更多。 .NET是一个很长的过程，最终目的是任何时候任何一个程序都可以与另一个程序兼容。Web服务的优势就像滚雪球那样，滚到一定程度，效果就出来了。足够多的Web服务出现后，成长的速度会非常快。 2.3XMLXML定义：X

15、ML是可扩展标志语言(eXtensible Markup Language)的简称。像HTML一样，XML是从所有标志语言的元语一标准通用标志语言SGML(Standard Generalized Markup Language)那里派生出来的。设计之初，XML的目标之一是取代HTML为新出现的复杂的Web应用提供标准的Internet语言。然而，由于XML在可扩展性、可移植性和结构性等方面的突出优点，它的应用范围早己突破了HTML所达到的范围。尽管严格地讲，XML只是一种数据标志说明语言，但它已经开始渐渐地把一系列相关的技术包含进来了，像DOM,XSL,XLL,XML命名空间。XML是一种元

16、标记语言，所谓“元标记”就是开发者可以根据自己的需要定义自己的标记。比如开发者可以定义如下标记，任何满足XML命名规则的名称都可以标记，这就为不同的应用程序打开了大门。HTML是一种预定义标记语言，它只认识诸如等已经定义的标记，对于用户自己定义的标记是不认识的。XML可以通过DTD(Document Type Definition，文档类型定义)和XML schema对其结构进行定义和验证。)CML技术支持DOM(Document Object Model，文档对象模型)和SAX( Simple Application for XMLXML简单应用程序)两种编程接口技术，还能使用XPath语言对数据内容进行查询。XML技术支持XSLT(eXtensible Stylesheet Language Tr