selenium 爬虫利器.docx
《selenium 爬虫利器.docx》由会员分享，可在线阅读，更多相关《selenium 爬虫利器.docx（13页珍藏版）》请在冰豆网上搜索。
selenium爬虫利器
Python爬虫利器五之Selenium的用法
前言
在上一节我们学习了PhantomJS的基本用法，归根结底它是一个没有界面的浏览器，而且运行的是JavaScript脚本，然而这就能写爬虫了吗？
这又和Python有什么关系？
说好的Python爬虫呢？
库都学完了你给我看这个？
客官别急，接下来我们介绍的这个工具，统统解决掉你的疑惑。
简介
Selenium是什么？
一句话，自动化测试工具。
它支持各种浏览器，包括Chrome，Safari，Firefox等主流界面式浏览器，如果你在这些浏览器里面安装一个Selenium的插件，那么便可以方便地实现Web界面的测试。
换句话说叫Selenium支持这些浏览器驱动。
话说回来，PhantomJS不也是一个浏览器吗，那么Selenium支持不？
答案是肯定的，这样二者便可以实现无缝对接了。
然后又有什么好消息呢？
Selenium支持多种语言开发，比如Java，C，Ruby等等，有Python吗？
那是必须的！
哦这可真是天大的好消息啊。
嗯，所以呢？
安装一下Python的Selenium库，再安装好PhantomJS，不就可以实现Python＋Selenium＋PhantomJS的无缝对接了嘛！
PhantomJS用来渲染解析JS，Selenium用来驱动以及与Python的对接，Python进行后期的处理，完美的三剑客！
有人问，为什么不直接用浏览器而用一个没界面的PhantomJS呢？
答案是：
效率高！
Selenium有两个版本，目前最新版本是2.53.1（2016/3/22）
Selenium2，又名WebDriver，它的主要新功能是集成了Selenium1.0以及WebDriver（WebDriver曾经是Selenium的竞争对手）。
也就是说Selenium2是Selenium和WebDriver两个项目的合并，即Selenium2兼容Selenium，它既支持SeleniumAPI也支持WebDriverAPI。
更多详情可以查看Webdriver的简介。
Webdriver
嗯，通过以上描述，我们应该对Selenium有了大概对认识，接下来就让我们开始进入动态爬取的新世界吧。
本文参考内容来自
Selenium官网 SeleniumPython文档
安装
首先安装Selenium
1
pip install selenium
或者下载源码
下载源码
然后解压后运行下面的命令进行安装
1
python setup.py install
安装好了之后我们便开始探索抓取方法了。
快速开始
初步体验
我们先来一个小例子感受一下Selenium，这里我们用Chrome浏览器来测试，方便查看效果，到真正爬取的时候换回PhantomJS即可。
1
2
3
4
from selenium import webdriver
browser = webdriver.Chrome（）
browser.get（'
运行这段代码，会自动打开浏览器，然后访问XX。
如果程序执行错误，浏览器没有打开，那么应该是没有装Chrome浏览器或者Chrome驱动没有配置在环境变量里。
下载驱动，然后将驱动文件路径配置在环境变量即可。
浏览器驱动下载
比如我的是MacOS，就把下载好的文件放在/usr/bin目录下就可以了。
模拟提交
下面的代码实现了模拟提交提交搜索的功能，首先等页面加载完成，然后输入到搜索框文本，点击提交。
1
2
3
4
5
6
7
8
9
10
from selenium import webdriver
from mon.keys import Keys
driver = webdriver.Chrome（）
driver.get（"http:
//www.python.org"）
assert "Python" in driver.title
elem = driver.find_element_by_name（"q"）
elem.send_keys（"pycon"）
elem.send_keys（Keys.RETURN）
print driver.page_source
同样是在Chrome里面测试，感受一下。
Thedriver.getmethodwillnavigatetoapagegivenbytheURL.WebDriverwillwaituntilthepagehasfullyloaded（thatis,the“onload”eventhasfired）beforereturningcontroltoyourtestorscript.It’sworthnotingthatifyourpageusesalotofAJAXonloadthenWebDrivermaynotknowwhenithascompletelyloaded.
其中driver.get方法会打开请求的URL，WebDriver会等待页面完全加载完成之后才会返回，即程序会等待页面的所有内容加载完成，JS渲染完毕之后才继续往下执行。
注意：
如果这里用到了特别多的Ajax的话，程序可能不知道是否已经完全加载完毕。
WebDriveroffersanumberofwaystofindelementsusingoneofthefind_element_by_*methods.Forexample,theinputtextelementcanbelocatedbyitsnameattributeusingfind_element_by_namemethod
WebDriver提供了许多寻找网页元素的方法，譬如find_element_by_*的方法。
例如一个输入框可以通过 find_element_by_name方法寻找name属性来确定。
Nextwearesendingkeys,thisissimilartoenteringkeysusingyourkeyboard.SpecialkeyscanbesendusingKeysclassimportedfrommon.keys
然后我们输入来文本然后模拟点击了回车，就像我们敲击键盘一样。
我们可以利用Keys这个类来模拟键盘输入。
最后最重要的一点
获取网页渲染后的源代码。
输出 page_source 属性即可。
这样，我们就可以做到网页的动态爬取了。
测试用例
有了以上特性，我们当然可以用来写测试样例了。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import unittest
from selenium import webdriver
from mon.keys import Keys
class PythonOrgSearch（unittest.TestCase）:
def setUp（self）:
self.driver = webdriver.Chrome（）
def test_search_in_python_org（self）:
driver = self.driver
driver.get（"http:
//www.python.org"）
self.assertIn（"Python", driver.title）
elem = driver.find_element_by_name（"q"）
elem.send_keys（"pycon"）
elem.send_keys（Keys.RETURN）
assert "Noresultsfound." not in driver.page_source
def tearDown（self）:
self.driver.close（）
if __name__ == "__main__":
unittest.main（）
运行程序，同样的功能，我们将其封装为测试标准类的形式。
Thetestcaseclassisinheritedfromunittest.TestCase.InheritingfromTestCaseclassisthewaytotellunittestmodulethatthisisatestcase.ThesetUpispartofinitialization,thismethodwillgetcalledbeforeeverytestfunctionwhichyouaregoingtowriteinthistestcaseclass.Thetestcasemethodshouldalwaysstartwithcharacterstest. ThetearDownmethodwillgetcalledaftereverytestmethod.Thisisaplacetodoallcleanupactions. Youcanalsocallquitmethodinsteadofclose.Thequitwillexittheentirebrowser,whereasclosewillcloseatab,butifitistheonlytabopened,bydefaultmostbrowserwillexitentirely.
测试用例是继承了unittest.TestCase类，继承这个类表明这是一个测试类。
setUp方法是初始化的方法，这个方法会在每个测试类中自动调用。
每一个测试方法命名都有规范，必须以test开头，会自动执行。
最后的tearDown方法会在每一个测试方法结束之后调用。
这相当于最后的析构方法。
在这个方法里写的是close方法，你还可以写quit方法。
不过close方法相当于关闭了这个TAB选项卡，然而quit是退出了整个浏览器。
当你只开启了一个TAB选项卡的时候，关闭的时候也会将整个浏览器关闭。
页面操作
页面交互
仅仅抓取页面没有多大卵用，我们真正要做的是做到和页面交互，比如点击，输入等等。
那么前提就是要找到页面中的元素。
WebDriver提供了各种方法来寻找元素。
例如下面有一个表单输入框。
1
我们可以这样获取它
1
2
3
4
element = driver.find_element_by_id（"passwd-id"）
element = driver.find_element_by_name（"passwd"）
element = driver.find_elements_by_tag_name（"input"）
element = driver.find_element_by_xpath（"//input[@id='passwd-id']"）
你还可以通过它的文本链接来获取，但是要小心，文本必须完全匹配才可以，所以这并不是一个很好的匹配方式。
而且你在用xpath的时候还需要注意的是，如果有多个元素匹配了xpath，它只会返回第一个匹配的元素。
如果没有找到，那么会抛出 NoSuchElementException的异常。
获取了元素之后，下一步当然就是向文本输入内容了，可以利用下面的方法
1
element.send_keys（"sometext"）
同样你还可以利用Keys这个类来模拟点击某个按键。
1
element.send_keys（"andsome", Keys.ARROW_DOWN）
你可以对任何获取到到元素使用send_keys方法，就像你在GMail里面点击发送键一样。
不过这样会导致的结果就是输入的文本不会自动清除。
所以输入的文本都会在原来的基础上继续输入。
你可以用下面的方法来清除输入文本的内容。
1
element.clear（）
这样输入的文本会被清除。
填充表单
我们已经知道了怎样向文本框中输入文字，但是其它的表单元素呢？
例如下拉选项卡的的处理可以如下
1
2
3
4
5
element = driver.find_element_by_xpath（"//select[@name='name']"）
all_options = element.find_elements_by_tag_name（"option"）
for option in all_options:
print（"Valueis:
%s" % option.get_attribute（"value"））
option.click（）
首先获取了第一个select元素，也就是下拉选项卡。
然后轮流设置了select选项卡中的每一个option选项。
你可以看到，这并不是一个非常有效的方法。
其实WebDriver中提供了一个叫Select的方法，可以帮助我们完成这些事情。
1
2
3
4
5
from selenium.webdriver.support.ui import Select
select = Select（driver.find_element_by_name（'name'））
select.select_by_index（index）
select.select_by_visible_text（"text"）
select.select_by_value（value）
如你所见，它可以根据索引来选择，可以根据值来选择，可以根据文字来选择。
是十分方便的。
全部取消选择怎么办呢？
很简单
1
2
select = Select（driver.find_element_by_id（'id'））
select.deselect_all（）
这样便可以取消所有的选择。
另外我们还可以通过下面的方法获取所有的已选选项。
1
2
select = Select（driver.find_element_by_xpath（"xpath"））
all_selected_options = select.all_selected_options
获取所有可选选项是
1
options = select.options
如果你把表单都填好了，最后肯定要提交表单对吧。
怎吗提交呢？
很简单
1
driver.find_element_by_id（"submit"）.click（）
这样就相当于模拟点击了submit按钮，做到表单提交。
当然你也可以单独提交某个元素
1
element.submit（）
方法，WebDriver会在表单中寻找它所在的表单，如果发现这个元素并没有被表单所包围，那么程序会抛出 NoSuchElementException的异常。
元素拖拽
要完成元素的拖拽，首先你需要指定被拖动的元素和拖动目标元素，然后利用ActionChains类来实现。
1
2
3
4
5
6
element = driver.find_element_by_name（"source"）
target = driver.find_element_by_name（"target"）
from selenium.webdriver import ActionChains
action_chains = ActionChains（driver）
action_chains.drag_and_drop（element, target）.perform（）
这样就实现了元素从source拖动到target的操作。
页面切换
一个浏览器肯定会有很多窗口，所以我们肯定要有方法来实现窗口的切换。
切换窗口的方法如下
1
driver.switch_to_window（"windowName"）
另外你可以使用window_handles方法来获取每个窗口的操作对象。
例如
1
2
for handle in driver.window_handles:
driver.switch_to_window（handle）
另外切换frame的方法如下
1
driver.switch_to_frame（"frameName.0.child"）
这样焦点会切换到一个name为child的frame上。
弹窗处理
当你出发了某个事件之后，页面出现了弹窗提示，那么你怎样来处理这个提示或者获取提示信息呢？
1
alert = driver.switch_to_alert（）
通过上述方法可以获取弹窗对象。
历史记录
那么怎样来操作页面的前进和后退功能呢？
1
2
driver.forward（）
driver.back（）
嗯，简洁明了。
Cookies处理
为页面添加Cookies，用法如下
1
2
3
4
5
6
#Gotothecorrectdomain
driver.get（""）
#Nowsetthecookie.Thisone'svalidfortheentiredomain
cookie = {‘name’ :
‘foo’, ‘value’ :
‘bar’}
driver.add_cookie（cookie）
获取页面Cookies，用法如下
1
2
3
4
5
#Gotothecorrectdomain
driver.get（""）
#AndnowoutputalltheavailablecookiesforthecurrentURL
driver.get_cookies（）
以上便是Cookies的处理，同样是非常简单的。
元素选取
关于元素的选取，有如下的API
单个元素选取
∙find_element_by_id
∙find_element_by_name
∙find_element_by_xpath
∙find_element_by_link_text
∙find_element_by_partial_link_text
∙find_element_by_tag_name
∙find_element_by_class_name
∙find_element_by_css_selector
多个元素选取
∙find_elements_by_name
∙find_elements_by_xpath
∙find_elements_by_link_text
∙find_elements_by_partial_link_text
∙find_elements_by_tag_name
∙find_elements_by_class_name
∙find_elements_by_css_selector
另外还可以利用By类来确定哪种选择方式
1
2
3
4
from mon.by import By
driver.find_element（By.XPATH, '//button[text（）="Sometext"]'）
driver.find_elements（By.XPATH, '//button'）
By类的一些属性如下
1
2
3
4
5
6
7
8
ID = "id"
XPATH = "xpath"
LINK_TEXT = "linktext"
PARTIAL_LINK_TEXT = "partiallinktext"
NAME = "name"
TAG_NAME = "tagname"
CLASS_NAME = "classname"
CSS_SELECTOR = "cssselector"
更详细的元素选择方法参见官方文档
元素选择
页面等待
这是非常重要的一部分，现在的网页越来越多采用了Ajax技术，这样程序便不能确定何时某个元素完全加载出来了。
这会让元素定位困难而且会提高产生 ElementNotVisibleException的概率。
所以Selenium提供了两种等待方式，一种是隐式等待，一种是显式等待。
隐式等待是等待特定的时间，显式等待是指定某一条件直到这个条件成立时继续执行。
显式等待
显式等待指定某个条件，然后设置最长等待时间。
如果在这个时间还没有找到元素，那么便会抛出异常了。
1
2
3
4
5
6
7
8
9
10
11
12
13
from selenium import webdriver
from mon.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome（）
driver.get（"http:
//somedomain/url_that_delays_loading"）
try:
element = WebDriverWait（driver, 10）.until（
EC.presence_of_element_located（（By.ID, "myDynamicElement"））
）
finally:
driver.quit（）
程序默认会500ms调用一
升级会员 