网络爬虫需求分析.docx
《网络爬虫需求分析.docx》由会员分享，可在线阅读，更多相关《网络爬虫需求分析.docx（11页珍藏版）》请在冰豆网上搜索。
网络爬虫需求分析
网络爬虫需求分析
1.引言2
1.1编写目的2
1.2背景2
1.3定义3
1.4参考资料3
2.任务概述3
2.1目标3
2.2用户的特点4
2.3假定和约束4
2.4假设与依据4
3.需求规定4
3.1对功能的规定4
3.1.1使用库4
3.2对性能的规定5
3.2.1精度5
3.2.2时间特性要求5
3.2.3灵活性5
3.2.4安全性6
3.2.5可维护性6
3.3输入输出要求6
3.4数据管理能力要求6
3.5故障处理要求6
4.运行环境规定6
4.1设备6
4.2支持软件6
4.3接口6
4.4控制7
5.数据流图7
1.1
9
错误！
未定义书签。
错误！
未定义书签。
错误！
未定义书签。
9
PO图8
7.数据字典
（1）数据流词条的描述
（2）数据元素词条的描述
（3）数据文件词条的描述
8.小说明
1.引言
1.1编写目的
为开发人员、维护人员、客户之间提供共同的协议而创立基础，对该软件功能的实现作使命描述。
本说明书的预期读者为客户、业务或需求分析人员、测试人员、用户文档编写者、项目管理人员。
1.2背景
软件系统的名称：
网络爬虫
1.3定义
网络爬虫搜索引擎WebURL信息互联网
1.4参考资料
《网络爬虫软件的研究与开发》中图分类号：
TP319《软件导刊》2011年5月第10卷第5期
《软件需求》----（美）KarlE.Wiegers著陆丽娜王忠民王志敏等译
2.任务概述
2.1目标
系统流程图
1.客户端向服务器发送自己设定好的请求。
2.通过http将Web服务器上协议站点的网页代码提取出来。
3.根据一定的正则表达式提取出客户端所需要的信息。
4.采用深度优先搜索从网页中某个链接出发，访问该链接的网页，并通过递归算法实现依次向下访
问。
5.采用广度优先搜索从网页中某个链接出发，访问该链接网页上的所有链接，访问完成后，再通过
递归算法实现下一层的访问。
2.2用户的特点
使用本软件面向不同领域、不同背景的广大群众，可以根据自己制定的搜索主题来使用本软件。
2.3假定和约束
1.有CPU13316兆内存配置的计算机就可运行本系统。
2.在管理方针、并行操作、安全与保密方面无约束。
2.4假设与依据
本软件在开发的过程中，分为技术实现与软件工程两大部分，两部分都有侧重点，若技术支持
出现故障或疑难问题无法解决、程序开发出现偏差，会延误工程进度，影响工程的按期完工。
若软件工程陈述出现问题，部分描述含混不清，则会影响系统的完整性与可继承性。
在管理方面，如管理者没有预见性，对出向的问题无法采用可行的解决手段，都会影响开发模块之间的互动，从而影响工程的顺利开展，导致工程无法按期完工。
3.需求规定
3.1对功能的规定
3.1.1使用库
3.1.1.1规格说明
1:
库文件名
IP,调用指定库
I
|0：
显示所调用的数据库的库结构
3.1.1.2引言
显示所调用的数据库。
3.1.1.3输入
指定的库文件名。
3.1.1.4力口工
调用指定的数据库。
3.1.1.5输出
显示所指定的数据库的库结构。
3.2对性能的规定
3.2.1精度
1.用户在设置爱好时进行精度提示，提交给服务器后进行精短校验。
2.在进行向数据库文件提取数据时，要求数据记录定位准确，在往数据库文件数组中添加数时，要求输入数准确。
3.2.2时间特性要求
a.响应时间应在人的感觉和视觉事件范围内
b.更新处理时间：
随着本系统的版本升级，系统将相应的进行更新
c.数据的转换和彳^送时间：
1~2秒
3.2.3灵活性
当需求发生某些变化时，本系统操作方式、数据结构、运行环境基本不会发生变化，变化只是将对应的数据库文件内的记录改变，或将过滤条件改变即可
3.2.4安全性
本软件大量的参数及文本内容全部放于汉语编程数据库中，所以参数不容易被错改、破坏，万一参数受到破坏也不会影响源程序。
3.2.5可维护性
本软件利用数据库进行编程，系统结构由程序基本确定，大量的参数及文本内容全部放于汉语编程中。
修改、更新数据只要在数据库进行修改添加，而不需要对系统结构进行修改，这样系统维护性、升级都十分方便。
3.3输入输由要求
用户应该输入一个合法的初始URL作为初始入口。
3.4数据管理能力要求
本系统采用sqlserver数据库对资源进行存储，其自带的空间自增长有效的解决了数据管理的问
题。
3.5故障处理要求
当客户端多数用户同时使用，可能造成服务器负载过重，于是启用了多线程方法，同时限定最大线
程数，防止服务器崩溃。
4.运行环境规定
4.1设备
本软件不需要特定的硬件或硬件接口进行支撑。
486以上具备有java的运行环境jdk的PC机
均可运行此软件。
运行时需要联机。
4.2支持软件
本系统采用java语言制作，支持win7/XP/Linux等操作系统，由java虚拟机编译，测试软件为My
Eclipse;
4.3接口
客户端浏览器是搜索引擎和用户之间的接口。
其首先获取用户搜索条件并加以分析，然后访问索引
数据库进行匹配后获得检索结果，然后根据设定的相关度进行降哥排序处理后返回给用户。
输出、输入的相对时间将由pc机本身处理速度来决定。
对程序的维护，需进行必要的备份。
4.4控制
本软件通过客户端浏览器，用户设置自己的爱好，并通过
响应操作。
5.数据流图
Il1网络爬虫t
学生一。
）一
http传给服务器，服务器接受信号执行
.学4
学生——
二搜/
网页信息
1网页
第一层
一1、/1\
2
*方法K件搜索配置爬取网页/网页信息子生
网页
第二层
学生
1.1
件验证搜索方.
1.2
搜索方法.日有效性正确搜索方法,
+验证UR函»
效性搜索配置n
2.2
一J检查网页重下载网页T复性
网页
网页信息
网页
学生
第三层
6.IPO图
7.数据字典
1.搜索方法=搜索策略+抓取类型。
搜索策略="广度优先”।“深度优先”।“最好优先”抓取类型=音频।视频।图片
2.网页信息=主题+内容+链接地址
3.搜索配置=搜索方法+URL
4.下载网页=站内爬取+外链爬取
5.验证URL有效性=存在性+价值性
8.小说明
加工编号：
i.i
加工名：
设置搜索方法
输入流：
自定义搜索方法表
输出流：
完整的搜索方法表
加工逻辑：
将自定义搜索方法表及系统默认选项参数加工
成完整的搜索方法表
有关信息：
当有选择输入时执行此加工，否则按默认执行
加工编号：
1.2
加工名：
对URL检查
输入流：
搜索方法中的初始URL
输出流：
正确的搜索配置
加工逻辑：
通过检查URL的存在性和价值性来判断
该URL是否可行
加工编P
:
2.1
加工名：
卜裁网页
输入流：
URL
输出流：
网贝
加工逻辑
:
根据完整的搜索方法表以初始URL或未
搜索的URL入口在互联网上卜载网贝
后关信息
:
URL应保证有效性
加工编号2.2
加工名：
除去相同的网页
输入流：
网页
输出流：
从互联网上下载的网页加工逻辑：
通过相似度计算来除去相似网页
升级会员 