网络爬虫heritrixWord文档格式.docx
《网络爬虫heritrixWord文档格式.docx》由会员分享，可在线阅读，更多相关《网络爬虫heritrixWord文档格式.docx（15页珍藏版）》请在冰豆网上搜索。
为管理员密码。
如：
monitorRole
controlRoleadmin
e、打开“运行”，
将cmd定位到E:
\heritrix\bin下，执行"
heritrix--admin=admin:
admin"
命令，即可启动heritrix。
f、Heritrix默认端口是8080，需要保证系统端口没有冲突，然后可以访问
http:
//127.0.0.1:
8080或http:
//localhost:
8080/
使用
heritrix
提供的WUI，即Web管理端。
并使用"
admin/admin"
登录。
可能会出现的异常：
在Dos下可能是这样显示：
JMXpasswordfileismissingorpermissionnotsetcorrectly.
原因是heritrix启动时找不到heritrix的.Jar包，即heritrix-1.14.4.jar。
你就要看你的E:
/Heritrix下有没有这个包，没有就加上，基本上是有的。
有的话，就看你的环境变量中是不是设置了HERITRIX_HOME环境变量，如果有，把它删除就解决了。
1.2在Eclipse中配置Heritrix
a、新建空的java项目（注意不是WEB项目），命名为heritrix；
b、把heritrix-1.14.4-src\src\java\目录下的org、st和com文件夹拷贝到heritrix/src目录下；
c、把heritrix-1.14.4-src下的wbapps文件夹拷贝到heritrix目录下；
d、右击heritrix项目，点击properties，通过JavaBuildPath,将heritrix-1.14.4-src下的lib目录下的所有包导入进来；
e、解压缩heritrix-1.14.4目录下的heritrix-1.14.4.jar文件，把解压后的所有文件和文件夹（除org、st、com文件夹和heritrix.properties文件外）拷贝到heritrix目录下；
f、将heritrix-1.14.4目录下的conf文件夹拷贝到heritrix目录下；
并将heritrix目录下的profiles文件夹移入conf文件夹中；
g、打开eclipse下的heritrix/conf/heritrix.properties文件，找到"
heritrix.cmdline.admin="
修改为“heritrix.cmdline.admin=admin:
admin”；
h、Conf/jmxremote.password.template拷贝到heritrix目录下。
改名为：
jmxremote.password，最后再行改成：
monitorRole
admin
controlRole
i、找到org.archive.crawler包，运行Heritrix.java中的main函数。
成功提示信息为：
09:
14:
07.406EVENT
StartingJetty/4.2.23
07.656EVENT
StartedWebApplicationContext[/,HeritrixConsole]
07.750EVENT
StartedSocketListeneron127.0.0.1:
8082
Started
org.mortbay.jetty.Server@179c285
Heritrixversion:
1.14.4
1、在Heritrix.java中出现FileURLConnection红叉；
解决办法：
将compiler属性中的Errors/warring中的Forbidden....选为warrning即可。
2、出现的异常：
......thread-10org.archive.util.ArchiveUtils.<
linit>
（）TLDlist....
将\heritrix-1.14.4-src\heritrix-1.14.4\src\resources\org\archive\util下的文本文档拷贝到heritrix中的org\archive\util下；
3、在eclipse中可以启动heritrix，但在jobs->
modules.jsp页面中没有添加（“Add”）按扭，且再现以下异常。
致使错误：
“无法编译样式表”
严重
thread-12org.archive'
crawler.framework.WriterPodProcessor.io.arc.......
将heritrix项目中的modulse的上一级目录文件添加到eclipse的classpath中。
（或者将modulse文件夹移到src文件夹中）
2、创建和终止一个新的抓取任务
2.1创建一个新任务
Heritrix成功运行后，输入账号密码登录，然后需要创建一个新的抓取任务，步骤如下：
a、进入Heritrix控制台页面后，选择Jobs选项卡，有四种选择方式，只试用了第4种方式，点击Withdefaults。
b、设置作业的名字，填写描述（随意填入字符），将种子设置为要抓取的网站主页，如：
用户在使用时，也可以同时输入多个种子，每个URL地址单独写在一行上。
c、单击Modules，定制为此次任务设置各个处理模块，其中需要配置的共有7项。
试用时大部分采用默认，主要修改
SelectWriters项默认的是Arc方式点击旁边的Remove删除，在下拉框中选择：
org.archive.crawler.writer.MirrorWriterProcessor，并单击Add按钮。
d、单击Settings，这里只需要修改两个地方：
（1）user-agent:
改为Mozilla/5.0（compatible;
heritrix/1.14.3+http:
//116.56.142.15）
//116.56.142.15可以更换为任意的一个完整的url。
（2）from:
改为test@
test@可更换为任意的Email地址，不需要设置真实的，只需是格式正确的邮件地址就可以了。
e、单击Submitjob提交作业会回到Job页面，显示了“Jobcreated”，这表示刚才所设置的抓取任务已经被成功的建立。
同时，在下面的“PendingJobs”一栏，可以清楚的看到刚刚被创建的Job，它的状态目前为“Pending”。
f、单击Console，回到控制台页面，可以看到刚刚创建的任务。
g、单击Start即可开始抓取作业，刷新一下，即可看到运行状态。
h、Heritrix运行以后，可以在Heritrix项目文件夹下看到jobs文件夹，打开之后可以看到qq-20100920091730687，再进去有个mirror文件夹即可看到抓取的内容。
2.2终止抓取或终止Heritrix的运行
当用户进行某个抓取任务时，有两种方法会让任务停止下来。
1）正常终止
：
是任务的自然结束，其条件为所有队列中的URI都已经被处理过了。
此时，任务将自然终止。
在“Jobs”面版上会看到任务已经完成，被加入到“Completedjobs”列表中。
2）强行终止
有时候对任务的控制不够，结果抓取了太多不相关的信息，进而造成URL队列无限制膨胀，无法终止。
在这种情况下，就需要强行将任务终止。
在Console面版上有一排链接，最后一个“Terminate”链接，就是用来终止当前运行的任务。
单击“Terminate”链接后，当前在运行的抓取任务就会立即终止，并同样将任务放置到“Jobs”面版上的“Completedjobs”列表中，只不过在“status”上，它会显示“Finished-Endedbyoperator”这样的提示。
如果用户希望关闭Heritrix，并终止所有正在运行的任务，也可以单击Console面版上的“ShutdownHeritrixsoftware”的链接，此时，Heritrix会弹出一个警告，告诉你如果关闭Heritrix，则当前一切正在运行的任务都将被终止。
如果选择“I’msure,shutitdown”，则Heritrix的WebUI将会终止，虚拟机进程结束。
3、Heritrix的架构
Heritrix采用了模块化的设计，它由一些核心类和可插件模块构成。
核心类可以配置，但不能被覆盖，插件模块可以被由第三方模块取代。
Heritrix自己的包有48个，还有它导入的第三方包也有30多个。
3.1heritrix的体系结构图：
3.2架构分析
1）CrawlController（中央控制器）
中央控制器是一次抓取任务中的核心组件。
它将决定整个抓取任务的开始和结束。
CrawlController位于org.archive.crawler.framework中。
在CrawlController类中，定义了以下几个组件：
CrawlOrder：
它是整个抓取工作的起点，因为一个抓取工作必须要有一个Order对象，它保存了对该次抓取任务中order.xml的属性配置。
CrawlScope：
这是决定当前的抓取范围的一个组件。
ProcessorChainList：
它表示了处理器链
Frontier：
一次抓取任务需要设定一个Frontier，以此来不断为其每个线程提供URI。
ToePool：
这是一个线程池，它管理了所有该抓取任务所创建的子线程。
ServerCache：
这是一个缓存，它保存了所有在当前任务中，抓取过的Host名称和Server名称。
以上组件应该是一次正常的抓取过程中所必需的几项，它们各自的任务很独立，分工明确，但在后台中，它们之间却有着千丝万缕的联系，彼此互相做为构造函数或初始化的参数传入。
CrawlController有一个不带参数的构造函数，可以直接通过它的构造函数来构造一个CrawlController的实例。
在构造一个实例并进行抓取任务时，有几个步骤需要完成：
（1）首先构造一个XMLSettingsHandler对象，将order.xml内的属性信息装入。
（2）调用CrawlController的构造函数，构造一个CrawlController的实例。
（3）调用CrawlController的intialize（SettingsHandler）方法，初始化CrawlController实例。
其中，传入的参数是在第一步是构造的XMLSettingsHandler实例。
（4）当上述3步完成后，CrawlController就已经具备运行的条件，可以开始运行了。
此时，只需调用它的requestCrawlStart（）方法，就可以启运线程池和Frontier，然后就可以开始不断的抓取网页了。
在CrawlController的initialize（）方法中，Heritrix主要做了以下几件事：
（1）从XMLSettingsHandler中取出Order。
（2）检查了用户设定的UserAgent等信息，看是否符合格式。
（3）设定了开始抓取后保存文件信息的目录结构。
（4）初始化了日志信息的记录工具。
（5）初始化了使用BerkleyDB的一些工具。
（6）初始化了Scope、Frontier以及ProcessorChain。
（7）最后实例化了线程池。
在正常情况下，以上顺序不能够被随意变动，因为后一项功能的初始化很有可能需要前几项功能初始化的结果。
例如线程池的初始化，必须要在先有了Frontier的实例的基础上来进行。
最终启动抓取工作的是requestCrawlStart（）方法
publicvoidrequestCrawlStart（）{
//初始化处理器链
runProcessorInitialTasks（）;
//设置一下抓取状态的改变，以便能够激发一些Listeners
//来处理相应的事件
sendCrawlStateChangeEvent（STARTED,CrawlJob.STATUS_PENDING）;
StringjobState;
state=RUNNING;
jobState=CrawlJob.STATUS_RUNNING;
sendCrawlStateChangeEvent（this.state,jobState）;
//Aproperexitwillchangethisvalue.
this.sExit=CrawlJob.STATUS_FINISHED_ABNORMAL;
//开始日志线程
ThreadstatLogger=newThread（statistics）;
statLogger.setName（"
StatLogger"
）;
statLogger.start（）;
//启运Frontier，抓取工作开始
frontier.start（）;
}
启动抓取工作的核心就是要启动Frontier（通过调用其start（）方法），以便能够开始向线程池中的工作线程提供URI，供它们抓取。
2）Frontier链接制造工厂
在Heritrix中，它表示一种为线程提供链接的工具。
它通过一些特定的算法来决定哪个链接将接下来被送入处理器链中，负责访问的均衡处理，避免对某一web服务器造成太大的压力。
同时，它本身也负责一定的日志和状态报告功能。
它保存着crawl的状态：
（1）发现的URI（URIshavebeendiscovered）
（2）正在被处理的URI（URIsarebeingprocessed（fetched））
（3）已经处理的URI（URIshavebeenprocessed）
在Frontier代码中，使用了两个ArrayList来保存链接。
其中，第一个pendingURIs保存的是等待处理的链接，第二个prerequisites中保存的也是链接，只不过它里面的每个链接的优先级都要高于pendingURIs里的链接。
通常，在prerequisites中保存的都是如DNS之类的链接，只有当这些链接被首先解析后，其后续的链接才能够被解析。
除了这两个ArrayList外，Frontier还有一个名称为alreadyIncluded的HashMap。
它用于记录那些已经被处理过的链接。
每当调用Frontier的schedule（）方法来加入一个新的链接时，Frontier总要先检查这个正要加入到队列中的链接是不是已经被处理过了。
很显然，在分析网页的时候，会出现大量相同的链接，如果没有这种检查，很有可能造成抓取任务永远无法完成的情况。
同时，在schedule（）方法中还加入了一些逻辑，用于判断当前要进入队列的链接是否属于需要优先处理的，如果是，则置入prerequisites队列中，否则，就简单的加入pendingURIs中即可。
Frontier中还有两个关键的方法，next（）和finished（），这两个方法都是要交由抓取的线程来完成的。
Next（）方法的主要功能是：
从等待队列中取出一个链接并返回，然后抓取线程会在它自己的run（）方法中完成对这个链接的处理。
而finished（）方法则是在线程完成对链接的抓取和后续的一切动作后（如将链接传递经过处理器链）要执行的。
它把整个处理过程中解析出的新的链接加入队列中，并且在处理完当前链接后，将之加入alreadyIncluded这个HashMap中去。
3）TeoThread（处理线程）
想要更有效更快速的抓取网页内容，则必须采用多线程。
Heritrix中提供了一个标准的线程池ToePool，它用于管理所有的抓取线程。
每一个URI被一个ToeThread处理。
ToePool和ToeThread都位于org.archive.crawler.framework包中。
ToePool的初始化，是在CrawlController的initialize（）方法中完成的。
它调用了父类java.lang.ThreadGroup的构造函数，同时，将注入的CrawlController赋给类变量，从而建立了一个线程池实例。
线程池本身在创建的时候，并没有任何活动的线程实例，只有当它的setSize方法被调用时，才有可能创建新线程；
如果当setSize方法被调用多次而传入不同的参数时，线程池会根据参数里所设定的值的大小，来决定池中所管理线程数量的增减。
当线程被启动后，所执行的是其run（）方法中的片段。
该方法显示了工作线程是如何从Frontier中取得下一个待处理的链接，然后对链接进行处理，并调用Frontier的finished方法来收尾、释放链接，最后清理缓存、终止单步工作等。
另外，其中还有一些日志操作，主要是为了记录每次抓取的各种状态。
其中，通过processCrawlUri（）方法，真正调用处理链来对链接进行处理的代码。
4）Processor（处理器）
许多Processor组成一个处理链（processorchains）中,每一个处理链对URI进行一系列的处理。
下图为处理器的整个结构图
aPre-fetchprocessingchain（预处理链）
主要根据robot协议，DNS以及下载范围控制信息判断当前URI是否应当处理。
bFetchprocessingchain（抓取处理链）
从远程服务器获取数据
cExtractorprocessingchain（抽取处理链）
从网页中抽取新的URI
dWrite/indexprocessingchain（写处理链）
负责把数据写入本地磁盘
ePost-processingchain（后置处理链）
由CrawlStateUpdater，LinksScoper，FrontierScheduler构成。
为了很好的表示整个处理器链的逻辑结构，以及它们之间的链式调用关系，Heritrix设计了几个API来表示这种逻辑结构。
org.archive.crawler.framework.Processor
org.archive.crawler.framework.ProcessorChain
org.archive.crawler.framework.ProcessorChainList
1．Processor类
该类代表着单个的处理器，所有的处理器都是它的子类。
在Processor类中有一个process（）方法，它被标识为final类型的，也就是说，它不可以被它的子类所覆盖。
方法的含义很简单。
即首先检查是否允许这个处理器处理该链接，如果允许，则检查当前处理器所自带的过滤器是否能够接受这个链接。
当过滤器的检查也通过后，则调用innerProcess（curi）方法来处理，如果过滤器的检查没有通过，就使用innerRejectProcess（curi）方法处理。
其中innerProcess（curi）和innerRejectProcess（curi）方法都是protected类型的，且本身没有实现任何内容。
很明显它们是留在子类中，实现具体的处理逻辑。
不过大部分的子类都不会重写innerRejectProcess（curi）方法了，这是因为反正一个链接已经被当前处理器拒绝处理了，就不用再有什么逻辑了，直接跳到下一个处理器继续处理就行了。
2．ProcessorChain类
该类表示一个队列，里面包括了同种类型的几个Processor。
例如，可以将一组的Extractor加入到同一个ProcessorChain中去。
在一个ProcessorChain中，有3个private类型的类变量：
privatefinalMapTypeprocessorMap;
privateProcessorChainnextChain;
privateProcessorfirstProcessor;
其中，processorMap中存放的是当前这个ProcessorChain中所有的Processor。
nextChain的类型是ProcessorChain，它表示指向下一个处理器链的指针。
而firstProcessor则是指向当前队列中的第一个处理器的指针。
3．ProcessorChainList
从名称上看，它保存了Heritrix一次抓取任务中所设定的所有处理器链，将之做为一个列表。
正常情况下，一个ProcessorChainList中，应该包括有5个Pro
升级会员 