毕业设计WEB音乐搜索软件的设计与实现论文.docx

1、毕 业 设 计( 论 文)Web 音乐搜索软件的设计与实现论文作者姓名： 申请学位专业： 申请学位类别：指导教师姓名（职称：论文提交日期：Web 音乐搜索软件的设计与实现摘要当前，面对浩瀚的网络资源，搜索引擎为所有网上冲浪的用户提供了一个入口，毫不夸张的说，所有的用户都可以借助于搜索引擎到达自己想去的网上任何一个地方。因此它也成为除了电子邮件以外人们使用最多的网上服务。随着 Internet 的快速发展，海量信息和人们获取所需信息能力之间的矛盾日益明显， 在信息海洋里查找信息，如同大海捞针一样,搜索引擎恰好解决了这一难题。Web 音乐搜索软件是采用 Java 语言开发的简易的互联网音乐搜索引擎

2、，它是集网络爬虫(采用 java 内置的多线程及 Socket 技术)和基于 B/S 结构的 Web 查询(Struts 框架)为一体的搜索软件。该系统能完成对互联网的音乐信息的采集、分析、分类、保存和查询等功能；经过测试与分析，说明本系统运行稳定、可靠，具有一定的实用价值。关键字：音乐；搜索软件；网络爬虫；Socket 技术；Struts 框架；多线程Design and Implementation of Web Music Search SoftwareAbstractAt present, in the vast network resource, search engine for

3、all Internet surfing users provides the one entrance. No exaggeration to say that all users can be reached any one place on the Internet by the aid of search engines. So it has become the most using online services for people except E-mail. However, with the rapid development of the Internet, the co

4、ntradictions between massive information and obtaining the capacity of required information is obvious day by day. Searching for information in vast network resources is like looking for needles in a haystack, but search engine just solves this problem.The software is about web music search. It uses

5、 java to develop a simple Internet music search engine, and also gathers the net-reptile (intra-builder java multi-thread and socket technology) and web search based on B/S construction (struts framework) as a whole search software. It can achieve the collection, analysis, classification, storage an

6、d search of Internet music information. Through the test and analysis, it shows this system is stable, reliable, and has some practical values.Key words: Music; Search Software; Crawl; Socket Technology; Struts Structure; Multi-thread目录论文总页数：21 页1 引 言11.1 课题背景11.2 国内外研究现状11.3 本课题研究的意义21.4 本文的主要工作22

7、Web 音乐搜索软件的需求分析22.1 搜集信息22.2 整理信息22.3 接受查询33 Web 音乐搜索软件的设计33.1 系统总体流程33.2 系统部件介绍44 Web 音乐搜索软件的具体实现54.1 数据设计54.2 网络爬虫设计54.2.1 遍历算法64.2.2 模拟浏览器84.2.3 正则表达式94.2.4 数据分析124.3 采用 java 多线程技术134.4 web 查询端144.4.1 Struts 框架144.4.2 Struts 包内容144.4.3 Struts 体系结构155 运行测试与分析175.1 软件试运行175.2 软件分析19结论19参考文献19致谢20声明

8、2111 引 言1.1 课题背景面对浩瀚的网络资源，搜索引擎为所有网上冲浪的用户提供了一个入口， 毫不夸张的说，所有的用户都可以从搜索出发到达自己想去的网上任何一个地方。因此它也成为除了电子邮件以外最多人使用的网上服务。随着因特网的迅猛发展、WEB 信息的增加，用户要在信息海洋里查找信息， 就如同大海捞针一样，搜索引擎恰好解决了这一难题（它可以为用户提供信息 检索服务）。但是随着 Internet 的发展，搜索引擎也面临着海量信息和人们获取所需信息能力的矛盾。因此，信息的高效搜索显得格外重要。1.2 国内外研究现状搜索引擎技术伴随着 WWW 的发展是引人注目的。搜索引擎大约经历了三代的更新发展

9、：第一代搜索引擎出现于 1994 年。这类搜索引擎一般都索引少于1，000，000 个网页，极少重新搜集网页并去刷新索引。而且其检索速度非常慢，一般都要等待 10 秒甚至更长的时间。在实现技术上也基本沿用较为成熟的IR（Information Retrieval）、网络、数据库等技术，相当于利用一些已有技术实现的一个 WWW 上的应用。在 1994 年 3 月到 4 月，网络爬虫 World Web Worm(WWWW)平均每天承受大约 1500 次查询。大约在 1996 年出现的第二代搜索引擎系统大多采用分布式方案（多个微型计算机协同工作）来提高数据规模、响应速度和用户数量，它们一般都保持一

10、个大约 50，000，000 网页的索引数据库，每天能够响应 10，000，000 次用户检索请求。1997 年 11 月，当时最先进的几个搜索引擎号称能建立从2，000，000 到 100，000，000 的网页索引。Altavista 搜索引擎声称他们每天大概要承受 20，000，000 次查询。2000 年搜索引擎 2000 年大会上，按照 Google 公司总裁 Larry Page 的演讲，Google 正在用 3,000 台运行 Linux 系统的个人电脑在搜集 Web 上的网页，而且以每天 30 台的速度向这个微机集群里添加电脑，以保持与网络的发展相同步。每台微机运行多个爬虫程序

11、搜集网页的峰值速度是每秒 100 个网页，平均速度是每秒 48.5 个网页，一天可以搜集超过 4，000，000 网页。搜索引擎一词在国内外因特网领域被广泛使用，然而他的含义却不尽相同。在美国搜索引擎通常指的是基于因特网的搜索引擎，他们通过网络机器人程序 收集上千万到几亿个网页，并且每一个词都被搜索引擎索引，也就是我们说的第 1 页 共 21 页全文检索。著名的因特网搜索引擎包括 First Search、Google、HotBot 等。在中国，搜索引擎通常指基于网站目录的搜索服务或是特定网站的搜索服务，本人这里研究的是基于因特网的搜索技术。1.3 本课题研究的意义搜索引擎自动从英特网搜集信息

12、，经过一定整理以后，提供给用户进行查询的系统。英特网上的信息浩瀚万千，而且毫无秩序，所有的信息像汪洋上的一个个“小岛”，网页链接是这些“小岛”之间纵横交错的桥梁，而搜索引擎，则为你绘制一幅一目了然的信息地图，供你随时查阅。搜索技术的意义在此。1.4 本文的主要工作搜索引擎是根据用户的查询请求，查找信息返回给用户。为了保证用户查找信息的精度和新鲜度，搜索引擎需要建立并维护一个庞大的索引数据库。一般的搜索引擎由网络爬虫程序、数据分析,查询数据等部分组成。本文的各章分配是这样安排的：第一章介绍系统的开发背景；第二章介绍系统的需求分析；第三章介绍系统的总体结构；第四章介绍系统的详细设计； 第五章测试与

13、运行本系统；最后是全文的总结。2 Web 音乐搜索软件的需求分析随着因特网的迅猛发展、WEB 信息的增加，用户要在信息海洋里查找信息， 就像大海捞针一样，搜索引擎恰好解决了这一难题（它可以为用户提供信息检 索服务）。但是随着 Internet 的发展，搜索引擎也面临着海量信息和人们获取所需信息能力的矛盾。一个好的搜索引擎不再仅凭借数据库大小、更新频率、检索速度、对多语言的支持这几个基本特性来衡量，如何从庞大的资料库中精确地找到正确的资料，被公认为是下一代搜索技术的竞争要点，智能化、个性化特色的新型引擎成为未来搜索引擎的发展趋势。搜索引擎需要实现互联网信息的快速查询,要实现以下功能。2.1 搜集

14、信息搜索引擎的信息搜集基本都是自动的。搜索引擎利用称为网络蜘蛛(spider) 的自动搜索机器人程序来连上每一个网页上的超连结。机器人程序根据网页链 到其它网页中的超链接，就像日常生活中所说的“一传十，十传百”一样， 从少数几个网页开始，连到数据库上所有到其他网页的链接。理论上，若网页 上有适当的超链接器人便可以遍历绝大部分网页。2.2 整理信息搜索引擎整理信息的过程称为“建立索引”。搜索引擎不仅要保存搜集起来2的信息，还要将它们按照一定的规则进行编排。这样，搜索引擎根本不用重新翻查它所有保存的信息而迅速找到所要的资料。想象一下，如果信息是不按任何规则地随意堆放在搜索引擎的数据库中，那么它每次

15、找资料都得把整个资料库完全翻查一遍，如此一来再快的计算机系统也没有用。2.3 接受查询用户向搜索引擎发出查询，搜索引擎接受查询并向用户返回资料。搜索引 擎每时每刻都要接到来自大量用户的几乎是同时发出的查询，它按照每个用户 的要求检查自己的索引，在极短时间内找到用户需要的资料，并返回给用户。 目前，搜索引擎返回主要是以网页链接的形式提供的，这些通过这些链接，用 户便能到达含有自己所需资料的网页。通常搜索引擎会在这些链接下提供一小 段来自这些网页的摘要信息，以帮助用户判断此网页是否含有自己需要的内容。3 Web 音乐搜索软件的设计根据上一章需求分析的情况，结合本软件所要需实现的功能，进行设计。本章主要介绍该软件的设计流程及步骤。3.1 系统总体流程图 3.1 系统结构图 3.1 是本系统结构图，该系统分两大模块：数据获取模块和用户查询模块所示首先通过网络爬虫从 Internet 上获取信息(模拟浏览器和遍历算法)保存在第 3 页 共 21 页爬虫(crawl)的缓存中进行分析如果存在音乐连接得出音乐的名字和 url，然后调用 javabean 进行把得到的数据写入数据库，客户端过浏览器访问 TOM