Python网络爬虫实习资料报告材料python实习资料报告材料文档格式.docx

1、文章主体容;2文章主要图片;3文章中嵌入的任heYoutube/Vimeo视频;4元描述;5元标签五、数据爬取实战（豆瓣网爬取电影数据）1分析网页 # 获取html源代码def _getHtml（）: data = pageNum = 1 pageSize = 0 try: while （pageSize = 125）: # headers = User-Agent:Mozilla/5.0 （Windows NT 6.1） AppleWebKit/537.11 （KHTML, like Gecko） Chrome/23.0.1271.64 Safari/537.11, # RefererNon

2、e #注意如果依然不能抓取的话，这里可以设置抓取的host # # opener = urllib.request.build_opener（） # opener.addheaders = headers url = https:/movie.douban./top250?start= + str（pageSize） + &filter= + str（pageNum） # datahtml%s % i =urllib.request.urlopen（url）.read（）.decode（utf-8） data.append（urllib.request.urlopen（url）.read（）.

3、decode（） pageSize += 25 pageNum += 1 print（pageSize, pageNum） except Exception as e: raise e return data2爬取数据def _getData（html）: title = # 电影标题 #rating_num = # 评分 range_num = # 排名 #rating_people_num = # 评价人数 movie_author = # 导演 data = # bs4解析html soup = BeautifulSoup（html, html.parser for li in soup

4、.find（ol, attrs=class grid_view）.find_all（li）: title.append（li.find（span, class_=title）.text） #rating_num.append（li.find（div, class_=star）.find（rating_num range_num.append（li.find（picem #spans = li.find（）.find_all（ #for x in range（len（spans）: # if x headmeta charset=UTF-8titleInsert title here/headb

5、odyh1爬取豆瓣电影h4 作者：文斌 时间： + nowtime + hrtable width=800px border=1 align=centertheadtrthfont size=5 color=green电影/th #f.write（th width=50px评分排名100px评价人数导演/theadf.write（tbody for data in datas: for i in range（0, 25）:td style=color:orange;text-align:center%s % datai） # f.write（blue;red;black;/tbody/tabl

6、e/body/html f.close（）if _name_ = _main_ datas = htmls = _getHtml（） for i in range（len（htmls）: data = _getData（htmlsi） datas.append（data） _getMovies（datas）4数据保存、展示结果如后图所示：5技术难点关键点数据爬取实战（搜房网爬取房屋数据）from bs4 import BeautifulSoupimport requestsrep = requests.get（newhouse.fang./top/rep.encoding = gb2312 # 设置编码方式html = rep.textsoup = BeautifulSoup（html, html.parserf = open（/fang.htmlcenter新房成交TOP3table border=1px width=1000px height=h2房址成交量均价5px color=red % name） color=blue % chengjiaoliang） % junjia） print（name）六、总结教师评语：成绩： 指导教师：