网络爬虫需求分析报告.docx

1、网络爬虫需求分析报告网络爬虫需求分析1.引言 31.1编写目的 31.2背景 31.3定义 41.4参考资料 42.任务概述 42.1目标 42.2用户的特点 52.3假定和 约束 52.4假设与依据 53.需求 规 定 63.1对功能的 规定 63.1.1使用 库 63.2 对性能的 规定 63.2.1精度 63.2.2时间 特性要求 73.2.3灵活性 73.2.4安全性 73.2.5可维护性 73.3输入输出要求 73.4数据管理能力要求 73.5故障处理要求 74.运行 环 境规定 84.1 设备 84.2支持软件 84.3接口 84.4控制 85.数据流 图 96.10116.IPO

2、 图7. 数据字典(3) 数据文件 词 条的描述 118.小说明1.引言1.1编 写目的为开发人员、维护人员、客户之间提供共同的 协议而创立基础，对该软 件功能的 实现作使命描述。 本说明书的预期读者为客户、业务或需求分析人 员、测试 人员、用户文档编写者、项目管理人 员。1.2背景软件系 统的名称：网 络爬虫1.3定义网络爬虫搜索引擎Web URL信息互联网1.4参考资料网络爬虫软件的研究与开发中图分类号：TP319 软件导刊2011年5月 第10卷第5期软件需求一 （美）Karl E.Wiegers 著 陆丽娜 王忠民 王志敏 等译2.任务概述2.1目标系统流程图1.客户端向服 务器发送自

3、己 设定好的 请 求。2.通过 http 将 Web 服务器上 协议站点的网 页代码提取出来。3.根据一定的正 则 表达式提取出客 户 端所需要的信息。4.采用深度 优先搜索从网 页中某个 链接出发,访问该链 接的网 页,并通过递归算法实现依次向下 访 问。5.采用广度 优先搜索从网 页中某个链接出发,访问该链 接网页上的所有 链接,访问完成后 ,再通过递 归算法 实现 下一层的访问。2.2用 户 的特点使用本 软件面向不同 领域、不同背景的广大群众，可以根据自己制定的搜索主 题 来使用本 软件。2.3假定和 约 束1. 有 CPU133 、16 兆内存配置的 计 算机就可运行本系 统。2.

4、在管理方 针 、并行操作、安全与保密方面无 约束。2.4假 设 与依据本 软 件在开 发的过 程中，分 为技术实现 与软件工程两大部分，两部分都有 侧重点，若技 术支持 出现故障或疑 难问题 无法解决、程序开 发出现偏差，会延 误工程 进度，影响工程的按期完工。若 软件工 程陈述出现问题，部分描述含混不清， 则会影响系 统的完整性与可 继承性。在管理方面，如管理者没有 预见 性， 对出向的 问题无法采用可行的解决手段，都会影响开 发模块之间的互动，从而影响工程的 顺 利开展， 导 致工程无法按期完工。3.需求规定3.1对功能的规定3.1.1使用库3.1.1.1 规格说明3.1.1.2 引言显示

5、所调用的数据库。3.1.1.3输入指定的库文件名。3.1.1.4力口工调用指定的数据库。3.1.1.5输出显示所指定的数据 库的库结构。3.2对性能的规定3.2.1精度1.用户在设置爱好时进行精度提示，提交 给服务器后进行精短校验。2.在进行向数据库文件提取数据时，要求数据记录定位准确，在往数据 库文件数组中添加数时，要 求输入数准确。3.2.2时间 特性要求a 响 应时间应 在人的感 觉和视觉事件范 围内b .更新处理时间：随着本系 统的版本升 级，系统将相应的进行更新c 数据的 转换 和传 送时间 ： 12 秒3.2.3灵活性当需求发生某些变化时，本系统操作方式、数据结构、运行环境基本不会

6、 发生变化，变 化只是将对应的数据库文件内的 记录改变，或将过滤条件改变即可。3.2.4安全性本软件大量的参数及文本内容全部放于 汉语编 程数据 库中，所以参数不容易被 错改、破 坏，万一参数受到破坏也不会影响源程序。3.2.5可维护 性本软件利用数据 库进行编程，系 统结构由程序基本确定，大量的参数及文本内容全部 放于汉语编程中。修改、更新数据只要在数据 库进行修改添加，而不需要 对系统结构进行修 改，这样系统维护性、升级都十分方便。3.3输 入 输出要求用 户应该输 入一个合法的初始 URL 作为初始入口。3.4数据管理能力要求本系统采用 sql server 数据库对资 源进行存储，其自

7、 带的空间自增长有效的解决了数据管理的 问 题。3.5故障 处 理要求当客 户端多数用 户同时使用，可能造成服 务器负载过 重，于是启用了多 线程方法，同 时限定最大 线程数，防止服 务器崩 溃。4.运行 环境规 定4.1设备本 软 件不需要特定的硬件或硬件接口 进行支撑。486 以上具 备有 java 的运行 环 境 jdk 的 PC 机 均可运行此 软件。运行时需要 联机。4.2支持 软件本系 统采用 java 语言制作，支持 win7/XP/Linux 等操作系 统，由 java 虚拟机编译，测试软 件为My Eclipse;4.3接口客户端浏览器是搜索引擎和用 户之间的接口。其首先 获

8、取用 户搜索条件并加以分析，然后 访问索引 数据库进行匹配后 获得检索结果，然后根据 设定的相关度 进行降幂排序处理后返回 给用户。输出、输入 的相对时间将由 pc 机本身处理速度来决定。 对程序的 维护，需进行必要的 备份。4.4控制本软件通过客户端浏览器，用户设置自己的爱好，并通过 http 传给服务器，服务器接受信号 执行 响应 操作。5.数据流图网页第一层学生搜索方法 2验证有效搜索配置爬取网页网页信息x.- / /心、网页第二层学生搜索方法1.1.验证搜索方法有效性正确搜索方法1.2验证URL有 卜效性 搜索配置/2.1下载网页2.2 检查网页重 許 网页 复性 网页信息I | 学生

9、网页第三层6.IP0 图7.数据字典i.搜索方法=搜索策略+抓取类型。搜索策略=“广度优先” “深度优先” “最好优先” 抓取类型=音频|视频|图片2.网页信息=主题+内容+链接地址3.搜索配置=搜索方法+ URL4.下载网页=站内爬取+外链爬取5.验证URL有效性=存在性+价值性8.小说明加工编号：i.i加工名：设置搜索方法输入流：自定义搜索方法表输出流：完整的搜索方法表加工逻辑：将自定义搜索方法表及系统默认选项参数加工 成完整的搜索方法表有关信息：当有选择输入时执行此加工， 否则按默认执行加工编号：1.2加工名：对URL检查 输入流：搜索方法中的初始 URL输出流：正确的搜索配置加工逻辑：通过检查 URL的存在性和价值性来判断 该URL是否可行加工编号：2.1加工名：下载网页输入流：URL输出流：网页加工逻辑：根据完整的搜索方法表以初始 URL或未搜索的URL入口在互联网上下载网页有关信息：URL应保证有效性加工编号2.2加工名：除去相同的网页输入流：网页输出流：从互联网上下载的网页 加工逻辑：通过相似度计算来除去相 似网页