网络爬虫需求分析.docx

上传人:b****5 文档编号:29235655 上传时间:2023-07-21 格式:DOCX 页数:9 大小:269.16KB
下载 相关 举报
网络爬虫需求分析.docx_第1页
第1页 / 共9页
网络爬虫需求分析.docx_第2页
第2页 / 共9页
网络爬虫需求分析.docx_第3页
第3页 / 共9页
网络爬虫需求分析.docx_第4页
第4页 / 共9页
网络爬虫需求分析.docx_第5页
第5页 / 共9页
点击查看更多>>
下载资源
资源描述

网络爬虫需求分析.docx

《网络爬虫需求分析.docx》由会员分享,可在线阅读,更多相关《网络爬虫需求分析.docx(9页珍藏版)》请在冰豆网上搜索。

网络爬虫需求分析.docx

网络爬虫需求分析

 

网络爬虫需求分析

 

 

1。

引言

1.1编写目的

为开发人员、维护人员、客户之间提供共同的协议而创立基础,对该软件功能的实现作使命描述。

本说明书的预期读者为客户、业务或需求分析人员、测试人员、用户文档编写者、项目管理人员。

1.2背景

软件系统的名称:

网络爬虫

1.3定义

网络爬虫搜索引擎WebURL信息互联网

1.4参考资料

《网络爬虫软件的研究与开发》中图分类号:

TP319《软件导刊》2011年5月第10卷第5期

《软件需求》----(美)KarlE.Wiegers著 陆丽娜王忠民王志敏等译

2。

任务概述

2.1目标

系统流程图

1.客户端向服务器发送自己设定好的请求。

2.通过http将Web服务器上协议站点的网页代码提取出来。

3.根据一定的正则表达式提取出客户端所需要的信息。

4。

采用深度优先搜索从网页中某个链接出发,访问该链接的网页,并通过递归算法实现依次向下访问。

5。

采用广度优先搜索从网页中某个链接出发,访问该链接网页上的所有链接,访问完成后,再通过递归算法实现下一层的访问。

2.2用户的特点

使用本软件面向不同领域、不同背景的广大群众,可以根据自己制定的搜索主题来使用本软件。

2.3假定和约束

1。

有CPU133、16兆内存配置的计算机就可运行本系统。

2。

在管理方针、并行操作、安全与保密方面无约束。

2。

4假设与依据

  本软件在开发的过程中,分为技术实现与软件工程两大部分,两部分都有侧重点,若技术支持出现故障或疑难问题无法解决、程序开发出现偏差,会延误工程进度,影响工程的按期完工.若软件工程陈述出现问题,部分描述含混不清,则会影响系统的完整性与可继承性。

在管理方面,如管理者没有预见性,对出向的问题无法采用可行的解决手段,都会影响开发模块之间的互动,从而影响工程的顺利开展,导致工程无法按期完工。

3.需求规定

3。

1对功能的规定

3.1。

1使用库

3.1.1.1规格说明

  3.1.1.2引言

  显示所调用的数据库。

  3。

1.1.3输入

  指定的库文件名。

  3.1.1.4加工

  调用指定的数据库.

  3。

1.1.5输出

  显示所指定的数据库的库结构.

3.2对性能的规定

3。

2。

1精度

1.用户在设置爱好时进行精度提示,提交给服务器后进行精短校验.

2.在进行向数据库文件提取数据时,要求数据记录定位准确,在往数据库文件数组中添加数时,要求输入数准确。

3。

2.2时间特性要求

a.响应时间应在人的感觉和视觉事件范围内

b.更新处理时间:

随着本系统的版本升级,系统将相应的进行更新

c.数据的转换和传送时间:

1~2秒

3。

2。

3灵活性

当需求发生某些变化时,本系统操作方式、数据结构、运行环境基本不会发生变化,变化只是将对应的数据库文件内的记录改变,或将过滤条件改变即可。

3。

2.4安全性

 本软件大量的参数及文本内容全部放于汉语编程数据库中,所以参数不容易被错改、破坏,万一参数受到破坏也不会影响源程序。

3.2.5可维护性

本软件利用数据库进行编程,系统结构由程序基本确定,大量的参数及文本内容全部放于汉语编程中.修改、更新数据只要在数据库进行修改添加,而不需要对系统结构进行修改,这样系统维护性、升级都十分方便.

3。

3输入输出要求

用户应该输入一个合法的初始URL作为初始入口。

3。

4数据管理能力要求

本系统采用sqlserver数据库对资源进行存储,其自带的空间自增长有效的解决了数据管理的问题.

3.5故障处理要求

当客户端多数用户同时使用,可能造成服务器负载过重,于是启用了多线程方法,同时限定最大线程数,防止服务器崩溃.

4。

运行环境规定

4.1设备

本软件不需要特定的硬件或硬件接口进行支撑.486以上具备有java的运行环境jdk的PC机均可运行此软件.运行时需要联机。

4。

2支持软件

本系统采用java语言制作,支持win7/XP/Linux等操作系统,由java虚拟机编译,测试软件为MyEclipse;

4。

3接口

客户端浏览器是搜索引擎和用户之间的接口.其首先获取用户搜索条件并加以分析,然后访问索引数据库进行匹配后获得检索结果,然后根据设定的相关度进行降幂排序处理后返回给用户。

输出、输入的相对时间将由pc机本身处理速度来决定。

对程序的维护,需进行必要的备份.

4.4控制

本软件通过客户端浏览器,用户设置自己的爱好,并通过http传给服务器,服务器接受信号执行响应操作。

5.数据流图

第一层

第二层

第三层

6.IPO图

7。

数据字典

1.搜索方法=搜索策略+抓取类型.

搜索策略=“广度优先”|“深度优先”|“最好优先"

抓取类型=音频|视频|图片

2.网页信息=主题+内容+链接地址

3。

搜索配置=搜索方法+URL

4。

下载网页=站内爬取+外链爬取

5.验证URL有效性=存在性+价值性

8。

小说明

加工编号:

1.1

加工名:

设置搜索方法

输入流:

自定义搜索方法表

输出流:

完整的搜索方法表

加工逻辑:

将自定义搜索方法表及系统默认选项参数加工成完整的搜索方法表

有关信息:

当有选择输入时执行此加工,否则按默认执行

加工编号:

1.2

加工名:

对URL检查

输入流:

搜索方法中的初始URL

输出流:

正确的搜索配置

加工逻辑:

通过检查URL的存在性和价值性来判断该URL是否可行

加工编号:

2.1

加工名:

下载网页

输入流:

URL

输出流:

网页

加工逻辑:

根据完整的搜索方法表以初始URL或未搜索的URL入口在互联网上下载网页

有关信息:

URL应保证有效性

加工编号2.2

加工名:

除去相同的网页

输入流:

网页

输出流:

从互联网上下载的网页

加工逻辑:

通过相似度计算来除去相似网页

 

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 总结汇报 > 其它

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1