网络爬虫技术的概述及研究报告.docx
《网络爬虫技术的概述及研究报告.docx》由会员分享，可在线阅读，更多相关《网络爬虫技术的概述及研究报告.docx（8页珍藏版）》请在冰豆网上搜索。
网络爬虫技术的概述及研究报告
网络爬虫技术的概述与研究
摘要
网络爬虫，又被称为网页蜘蛛，网络机器人，随着网络的迅速开展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。
搜索引擎（SearchEngine），例如传统的通用搜索引擎AltaVista，Yahoo!
和Google等，作为一个辅助人们检索信息的工具成为用户访问web的入口和指南。
但是，这些通用性搜索引擎也存在着一定的局限性。
为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。
聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。
本文将对网络爬虫技术及其原理进展简单的介绍，并且给出实例。
关键词
网络爬虫聚焦爬虫网页抓取搜索策略URL
一、网络爬虫的简介
1、URL
在介绍网络爬虫之前，先引入URL的相关知识。
URL是URI的一个子集。
它是UniformResourceLocator的缩写，译为“统一资源定位符〞。
通俗地说，URL是Internet上描述信息资源的字符串，主要用在各种WWW客户程序和效劳器程序上，特别是著名的Mosaic。
采用URL可以用一种统一的格式来描述各种信息资源，包括文件、效劳器的地址和目录等。
URL的格式由三局部组成：
·第一局部是协议（或称为效劳方式）。
·第二局部是存有该资源的主机IP地址（有时也包括端口号）。
·第三局部是主机资源的具体地址，如目录和文件名等。
第一局部和第二局部用“:
//〞符号隔开，第二局部和第三局部用“/〞符号隔开。
第一局部和第二局部是不可缺少的，第三局部有时可以省略。
用URL表示文件时，效劳器方式用file表示，后面要有主机IP地址、文件的存取路径（即目录）和文件名等信息。
有时可以省略目录和文件名，但“/〞符号不能省略。
例如file:
//ftp.yoyodyne./pub/files/foobar.txt
爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进展进一步的处理。
2、传统爬虫与聚焦爬虫
网络爬虫是一个自动提取网页的程序，它为搜索引擎从web上下载网页，是搜索引擎的重要组成。
传统爬虫从一个或假设干初始网页的URL开场，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停顿条件。
搜索引擎是基于传统爬虫技术建立的，但其存在着一定的局限性，例如：
（1）不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。
（2）通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎效劳器资源与无限的网络数据资源之间的矛盾将进一步加深。
（3）万维网数据形式的丰富和网络技术的不断开展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定构造的数据无能为力，不能很好地发现和获取。
（4）通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。
为了解决以上问题，定向抓取网页的聚焦爬虫应运而生。
聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保存有用的链接并将其放入等待抓取URL的队列。
然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到到达系统的某一条件时停顿。
二、网络爬虫的工作原理
在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三局部组成。
控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。
解析器的主要工作是下载网页，进展页面的处理，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的根本工作是由解析器完成。
资源库是用来存放下载到的网页资源，一般都采用大型的数据库存储，如Oracle数据库，并对其建立索引。
相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：
（1）对抓取目标的描述或定义；
（2）对网页或数据的分析与过滤；
（3）对URL的搜索策略。
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的根底。
而网页分析算法和候选URL排序算法是决定搜索引擎所提供的效劳形式和爬虫网页抓取行为的关键所在。
这两个局部的算法又是严密相关的。
1、抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。
根据种子样本获取方式可分为：
〔1〕预先给定的初始抓取种子样本；
〔2〕预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!
分类构造等；
〔3〕通过用户行为确定的抓取目标样例，分为：
a）用户浏览过程中显示标注的抓取样本；
b）通过用户日志挖掘得到访问模式及相关样本。
其中，网页特征可以是网页的内容特征，也可以是网页的链接构造特征，等等。
2、网页搜索策略
网页的抓取策略可以分为深度优先、广度优先和最正确优先三种。
深度优先在很多情况下会导致爬虫的陷入（trapped）问题，目前常见的是广度优先和最正确优先方法。
1〕广度优先搜索策略
广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进展下一层次的搜索。
该算法的设计和实现相对简单。
在目前为覆盖尽可能多的网页，一般使用广度优先搜索方法。
也有很多研究将广度优先搜索策略应用于聚焦爬虫中。
其根本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。
另外一种方法是将广度优先搜索与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。
这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。
2〕最正确优先搜索策略
最正确优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进展抓取。
它只访问经过网页分析算法预测为“有用〞的网页。
存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最正确优先策略是一种局部最优搜索算法。
因此需要将最正确优先结合具体的应用进展改良，以跳出局部最优点。
将在第4节中结合网页分析算法作具体的讨论。
研究说明，这样的闭环调整可以将无关网页数量降低30%~90%。
3〕深度优先搜索策略
深度优先搜索策略从起始网页开场，选择一个URL进入，分析这个网页中的URL，选择一个再进入。
如此一个链接一个链接地抓取下去，直到处理完一条路线之后再处理下一条路线。
深度优先策略设计较为简单。
然而门户网站提供的链接往往最具价值，PageRank也很高，但每深入一层，网页价值和PageRank都会相应地有所下降。
这暗示了重要网页通常距离种子较近，而过度深入抓取到的网页却价值很低。
同时，这种策略抓取深度直接影响着抓取命中率以及抓取效率，对抓取深度是该种策略的关键。
相对于其他两种策略而言。
此种策略很少被使用。
3、网页分析算法
网页分析算法可以归纳为基于网络拓扑、基于网页内容和基于用户访问行为三种类型。
1〕基于网络拓扑的分析算法
基于网页之间的链接，通过的网页或数据，来对与其有直接或间接链接关系的对象〔可以是网页或网站等〕作出评价的算法。
又分为网页粒度、网站粒度和网页块粒度这三种。
a、网页（Webpage）粒度的分析算法
PageRank和HITS算法是最常见的链接分析算法，两者都是通过对网页间链接度的递归和标准化计算，得到每个网页的重要度评价。
PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。
针对这个问题，HITS算法提出了两个关键的概念：
权威型网页〔authority〕和中心型网页〔hub〕。
基于链接的抓取的问题是相关页面主题团之间的隧道现象，即很多在抓取路径上偏离主题的网页也指向目标网页，局部评价策略中断了在当前路径上的抓取行为。
文献[21]提出了一种基于反向链接〔BackLink〕的分层式上下文模型〔ContextModel〕，用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心Layer0为目标网页，将网页依据指向目标网页的物理跳数进展层次划分，从外层网页指向内层网页的链接称为反向链接。
b、网站粒度的分析算法
网站粒度的资源发现和管理策略也比网页粒度的更简单有效。
网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级（SiteRank）的计算。
SiteRank的计算方法与PageRank类似，但是需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重。
网站划分情况分为按域名划分和按IP地址划分两种。
文献[18]讨论了在分布式情况下，通过对同一个域名下不同主机、效劳器的IP地址进展站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。
同时，根据不同文件在各个站点上的分布情况，构造文档图，结合SiteRank分布式计算得到DocRank。
文献[18]证明，利用分布式的SiteRank计算，不仅大大降低了单机站点的算法代价，而且克制了单独站点对整个网络覆盖率有限的缺点。
附带的一个优点是，常见PageRank造假难以对SiteRank进展欺骗。
c、网页块粒度的分析算法
在一个页面中，往往含有多个指向其他页面的链接，这些链接中只有一局部是指向主题相关网页的，或根据网页的链接锚文本说明其具有较高重要性。
但是，在PageRank和HITS算法中，没有对这些链接作区分，因此常常给网页分析带来广告等噪声链接的干扰。
在网页块级别（Blocklevel）进展链接分析的算法的根本思想是通过VIPS网页分割算法将网页分为不同的网页块（pageblock），然后对这些网页块建立pagetoblock和blocktopage的链接矩阵，分别记为Z和X。
于是，在pagetopage图上的网页块级别的PageRank为Wp=X×Z；在blocktoblock图上的BlockRank为Wb=Z×X。
已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和准确率都比传统的对应算法要好。
2〕基于网页内容的网页分析算法
基于网页内容的分析算法指的是利用网页内容〔文本、数据等资源〕特征进展的网页评价。
网页的内容从原来的以超文本为主，开展到后来动态页面〔或称为HiddenWeb〕数据为主，后者的数据量约为直接可见页面数据〔PIW，PubliclyIndexableWeb〕的400~500倍。
另一方面，多媒体数据、WebService等各种网络资源形式也日益丰富。
因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，开展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合应用。
本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：
第一种针对以文本和超链接为主的无构造或结构很简单的网页；第二种针对从构造化的数据源〔如RDBMS〕动态生成的页面，其数据不能直接批量访问；第三种针对的数据界于第一和第二类数据之间，具有较好的构造，显示遵循一定模式或风格，且可以直接访问。
三、小结
1、网络爬虫平安性问题
网络爬虫会占用网络带宽并增加Web效劳器的处理开销，恶意用户甚至会利用爬虫程序对效劳器发动Dos攻击。
恶意用户还可能通过网络爬虫抓取各种敏感资料，主要表现在以下几个方面：
1〕搜索目录列表：
互联网中的许多Web效劳器在客户端请求站点中某个没有默认页面的目录时，会返回一个目录列表。
该目录列表通常包括一个描述当前目录的标题，可供用户点击的目录和文件链接，及一个脚注。
因而通过抓取目录列表，恶意用户往往可获取大量有用的资料，包括站点的目录构造、敏感文件以及Web效劳器配置信息等等。
2〕搜索测试页面、联机手册与样本程序：
大多数Web效劳器软件附带了测试页面、联机手册与样本程序。
这些文件往往会泄漏大量的系统信息，成为恶意用户剖析Web效劳器的工具,而且这些文件的存在也往往暗示网站的平安管理有问题，网站中存在潜在的平安漏洞。
3〕搜索管理员登录页面：
许多网络产品提供了基于Web的管理接口，允许管理员在互联网中对其进展远程管理与控制。
如果管理员疏于防范，没有修改网络产品默认的管理员名及密码，一旦其管理员登录页面被恶意用户搜索到，网络平安将面临极大威胁。
4）搜索互联网用户的姓名、、通信地址等个人信息，以便于实施社交攻击。
5）搜集群发垃圾邮件所需的邮件地址。
6）查找一个站点中的各种敏感文件，包括各种程序使用的配置文件、日志文件、密码文件、数据库文件等等。
7）搜索Web站点中存在缺陷的程序。
8）获取互联网用户的信用卡密码,银行帐号等机密信息等等。
因此，采取适当的措施限制网络爬虫的访问权限，对于保持网站的正常运行、保护用户的隐私是极其重要的。
2、网络爬虫的最新开展
传统的网络爬虫技术主要应用于抓取静态Web网页，随着AJAX/Web2.0的流行，如何抓取AJAX等动态页面成了搜索引擎急需解决的问题，因为AJAX颠覆了传统的纯HTTP请求/响应协议机制，如果搜索引擎依旧采用“爬〞的机制，是无法抓取到AJAX页面的有效数据的。
AJAX采用了JavaScript驱动的异步请求/响应机制，以往的爬虫们缺乏JavaScript语义上的理解，根本上无法模拟触发JavaScript的异步调用并解析返回的异步回调逻辑和内容。
另外，在AJAX的应用中，JavaScript会对DOM构造进展大量变动，甚至页面所有内容都通过JavaScript直接从效劳器端读取并动态绘制出来。
这对习惯了DOM构造相对不变的静态页面简直是无法理解的。
由此可以看出，以往的爬虫是基于协议驱动的，而对于AJAX这样的技术，所需要的爬虫引擎必须是基于事件驱动的。
3、一些开源爬虫
DataparkSearch是一个在GNUGPL许可下发布的爬虫搜索引擎。
GNUWget是一个在GPL许可下，使用C语言编写的命令行式的爬虫。
它主要用于网络效劳器和FTP效劳器的镜像。
Heritrix是一个互联网档案馆级的爬虫，设计的目标为对大型网络的大局部内容的定期存档快照，是使用java编写的。
HTTrack用网络爬虫创立λ网络站点镜像，以便离线观看。
它使用C语言编写，在GPL许可下发行。
ICDLCrawler是一个用C++编写，跨平台的网络爬虫。
它仅仅使用空闲的CPU资源，在ICDL标准上抓取整个站点。
JSpider是一个在GPL许可下发行的，高度可配置的，可定制的网络爬虫引擎。
Nutch是一个使用java编写，在Apache许可下发行的爬虫。
它可以用来连接Lucene的全文检索套件；
升级会员 