Python网络爬虫实习报告.docx
《Python网络爬虫实习报告.docx》由会员分享，可在线阅读，更多相关《Python网络爬虫实习报告.docx（10页珍藏版）》请在冰豆网上搜索。
Python网络爬虫实习报告
Python网络爬虫实习报告
一、选题背景-2-
二、爬虫原理-2-
三、爬虫历史和分类-2-
四、常用爬虫框架比较-2-
五、数据爬取实战（豆瓣网爬取电影数据）-3-
1分析网页3-
2爬取数据3-
3数据整理、转换-4-
4数据保存、展示-9-
5技术难点关键点-10-
六、总结-13-
选题背景
二、爬虫原理
三、爬虫历史和分类
四、常用爬虫框架比较
Scrapy框架：
Scrapy框架是一套比较成熟的Python爬虫框架，是使用
Python开发的快速、高层次的信息爬取框架，可以高效的爬取web页面并提取出结构化数据。
Scrapy应用范围很广，爬虫开发、数据挖掘、数据监测、自动化测试等。
Crawley框架：
Crawley也是Python开发出的爬虫框架，该框架致力于
改变人们从互联网中提取数据的方式。
Portia框架:
Portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。
newspaper框架：
newspaper框架是一个用来提取新闻、文章以及内容分析的Python爬虫框架。
Python-goose框架：
Python-goose框架可提取的信息包括：
＜1＞文章主体内容;＜2＞文章主要图片；＜3＞文章中嵌入的任heYoutube/Vimeo视频;＜4＞元描述;＜5＞元标签
五、数据爬取实战（豆瓣网爬取电影数据）
1分析网页
#获取html源代码
def__getHtml（）:
data=[]
pageNum=1
pageSize=0
try:
while（pageSize<=125）:
#headers={'User-Agent':
'Mozilla/5.0（WindowsNT
6.1）AppleWebKit/537.11（KHTML,likeGecko）
Chrome/23.0.1271.64Safari/537.11',
#'Referer':
None#注意如果依然不能抓取的话，这里
可以设置抓取网站的host
#}
#opener=urllib.request.build_opener（）
#opener.addheaders=[headers]
url="+
str（pageSize）+"&filter="+str（pageNum）
#data['html%s'%
i]=urllib.request.urlopen（url）.read（）.decode（"utf-8"）
data.append（urllib.request.urlopen（url）.read（）.decode（"utf-
8"））
pageSize+=25
pageNum+=1
print（pageSize,pageNum）
exceptExceptionase:
raisee
returndata
2爬取数据
def__getData（html）:
title=[]#电影标题
#rating_num=[]#评分
range_num=[]#排名
#rating_people_num=[]#评价人数
movie_author=[]#导演
data={}
#bs4解析html
soup=BeautifulSoup（html,"html.parser"）
forliinsoup.find（"ol",attrs二{'class':
'grid_view'}）.find_all（"li"）:
title.append（li.find（"span",class_="title"）.text）
#rating_num.append（li.find（"div",
class_='star'）.find（"span",class_='rating_num'）.text）
range_num.append（li.find（"div",
class_='pic'）.find（"em"）.text）
#spans=li.find（"div",
class_='star'）.find_all（"span"）
#forxinrange（len（spans））:
#ifx<=2:
#pass
#else:
#
rating_people_num.append（spans[x].string[-len（spans[x].stri
ng）：
-3]）
str=li.find（"div",class_='bd'）.find（"p",
class_=”）.text」strip（）
index=str.find（”主"）
if（index==-1）:
index=str.find（"..."）
print（li.find（"div",
class_='pic'）.find（"em"）.text）
if（li.find（"div",class_='pic'）.find（"em"）.text
==210）：
index=60
#print（"aaa"）
#print（str[4:
index]）
movie_author.append（str[4:
index]）
data['title']=title
#data['rating_num']=rating_num
data['range_num']=range_num
#data['rating_people_num']=rating_people_num
data['movie_author']=movie_author
returndata
3数据整理、转换def__getMovies（data）:
f=open（'F:
//douban_movie.html','w',encoding二'utf-8'）
f.write（"vhtml>"）
f.write（"
Inserttitlehere"）f.write（"
"）f.write（"
爬取豆瓣电影v/h1>"）
f.write（"
作者：
刘文斌v/h4>"）
f.write（"
时间：
”+nowtime+"v/h4>"）
f.write（"vhr>"）
f.write（""）
f.write（"vthead>"）
f.write（"
"）f.write（"
电影 v/font> | "）#f.write（"
评分v/font>"）
f.write（"排
名"）
#f.write（"
评价人数"）
f.write（"
导演 | "）f.write（"
"）f.write（""）
f.write（"
"）fordataindatas:
foriinrange（0,25）:
f.write（"
"）f.write（"style二'color:
orange;text-align:
center'>%s"%data['title'][i]）
#f.write（"vtdstyle='color:
blue;text-align:
center'>%s"%data['rating_num'][i]）
f.write（"style='color:
red;text-align:
center'>%s"%data['range_num'][i]）
#f.write（"blue;text-align:
center'>%s"%data['rating_people_num'][i]）
f.write（"style二'color:
black;text-align:
center'>%s"%data['movie_author'][i]）
f.write（"
"）f.write（"
"）f.write（""）
f.write（""）
f.write（""）
f.write（"