图片抓取工具使用方法.docx

上传人:b****0 文档编号:25904034 上传时间:2023-06-16 格式:DOCX 页数:9 大小:739.14KB
下载 相关 举报
图片抓取工具使用方法.docx_第1页
第1页 / 共9页
图片抓取工具使用方法.docx_第2页
第2页 / 共9页
图片抓取工具使用方法.docx_第3页
第3页 / 共9页
图片抓取工具使用方法.docx_第4页
第4页 / 共9页
图片抓取工具使用方法.docx_第5页
第5页 / 共9页
点击查看更多>>
下载资源
资源描述

图片抓取工具使用方法.docx

《图片抓取工具使用方法.docx》由会员分享,可在线阅读,更多相关《图片抓取工具使用方法.docx(9页珍藏版)》请在冰豆网上搜索。

图片抓取工具使用方法.docx

图片抓取工具使用方法

图片抓取工具使用方法

我们日常工作中经常遇到需要大量提取图片的工作,但一张张的图片保存效率太低,有没有便捷的方法或工具能让我们事半功倍呢?

其实掌握这三大要素:

明确图片网站类型、学会使用图片批量下载工具、明确能够/不能够实现的功能,图片采集不再是难事。

本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】,教大家如何使用八爪鱼采集软件抓取图片的方法。

一、明确图片网站的几大类型

1、非瀑布流网站的图片采集

示例网站:

豆瓣网

bbbs:

//aaadoubanaaa/photos/album/1620960735/?

start=0

八爪鱼可以对网页中图片的URL进行采集,然后通过专用的图片批量下载工具将URL转化为图片,下载并保存到本地电脑。

2、瀑布流网站的图片采集:

直接采集图片位置

示例网站:

XX图片网

bbbs:

//image.baiduaaa/search/index?

tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&sf=1&fmq=&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&fm=index&pos=history&word=%E5%A4%8F%E7%9B%AE%E5%8F%8B%E4%BA%BA%E5%B8%90

此类网站,需要按下面的步骤对采集规则进行Ajax滚动设置:

①点击采集规则打开网页步骤的高级选项;

②勾选页面加载完成后下滚动;

③填写滚动的次数及每次滚动的间隔;

④滚动方式设置为:

直接滚动到底部;

XX图片采集-设置ajax滚动

完成上面的规则设置后,再对页面中图片的url进行采集。

3、瀑布流网站采集:

只可点击图片进入图片详情页,再采集图片位置

示例网站:

花瓣网

bbb:

//huabanaaa/explore/huatong/

此类网站,具有以下两个特征:

页面上的图片不是一次加载完成,需要滚动多次才会滚动到底部;图片详情页不能通过点击标题进入,而需要点击图片才能进入。

针对这类网站,除了要对采集规则进行Ajax滚动设置外,还需要增加一个点击“a标签”的步骤。

如下图设置Ajax滚动,此步骤与2相同,在此不再赘述。

花瓣网图片采集-设置ajax滚动

由于我们采集时需要点击图片,才能进入到产品详情页,在建立元素循环列表的时候,需要将图片链接设置为列表项。

点击页面内的第一张图片,再点击“A标签”,系统会选中图片的链接并发现同类链接。

选择“选中全部”,再选择“循环点击每个链接”

花瓣网图片采集-点击“A标签”

二、学会使用图片批量下载工具

1、八爪鱼图片批量下载工具使用教程

图片批量下载工具:

bbbs:

//pan.baiduaaa/s/1c2n60NI

1)下载八爪鱼图片批量下载工具,双击文件中的MyDownloader.app.exe文件,打开软件

2)打开File菜单,选择从EXCEL导入(目前只支持EXCEL格式文件)

3)进行相关设置,设置完成后,点击OK即可导入文件

选择EXCEL文件:

导入你需要下载图片位置的EXCEL文件

EXCEL表名:

对应数据表的名称

文件URL列名:

表内对应URL的列名称

保存文件夹名:

EXCEL中需要单独一个列,列出图片想要保存到文件夹的路径,可以设置不同图片存放至不同文件夹

如果要把文件保存到文件夹,则路径需要以“\”结尾,例如:

“D:

\同步\”,如果要下载后按照指定的文件名保存,则需要包含具体的文件名,例如“D:

\同步\1.jpg”

如果下载的文件路径和文件名完全一样,则原先存在的文件会被删除

三、明确能够/不能够实现的功能

1、暂不支持直接采集图片里的信息

八爪鱼暂不支持采集图片里的信息,想要提取图片中的信息,可以在将图片下载下来后,使用网上的图片信息提取工具进行图片信息的提取。

2、图片URL的两种类型

图片网站直接采集下来的图片URL,分为两种类型:

一种可以在浏览器中打开,也可以通过图片批量下载工具,将URL转化为图片;一种可以在浏览器中打开,但是不可以通过图片批量下载工具,将其转化为图片。

前一种,URL中会明确标示出其图片格式,常见的有:

jpg、gif、png等。

如下图,XX图片网直接采集下来的图片URL中,包含的图片格式为.jpg,属于前一种。

如下图,花瓣网直接采集下来的图片URL,没有出现图片格式,属于后一种。

遇到这种情况时,我们需要进行一些更复杂的操作,以找到可以转换为图片的URL,在此不做细说。

相关采集教程:

淘宝买家秀图片采集详细教程

bbb:

//aaabazhuayuaaa/tutorial/tbmjxpic

网站图片采集

bbb:

//aaabazhuayuaaa/tutorial/hottutorial/qita/tupian

豆瓣图片采集并下载保存本地的方法

bbb:

//aaabazhuayuaaa/tutorial/tpcj-7

ebay爬虫抓取图片

bbb:

//aaabazhuayuaaa/tutorial/ebaypicpc

微博图片采集

bbb:

//aaabazhuayuaaa/tutorial/wbpiccj

阿里巴巴图片抓取下载

bbb:

//aaabazhuayuaaa/tutorial/alibabapiccj

网站图片采集方法

bbb:

//aaabazhuayuaaa/tutorial/webpiccj

京东商品图片采集详细教程

bbb:

//aaabazhuayuaaa/tutorial/jdpiccj

淘宝图片采集并下载到本地的方法

bbb:

//aaabazhuayuaaa/tutorial/tbgoodspic

瀑布流网站图片采集方法,以XX图片采集为例bbb:

//aaabazhuayuaaa/tutorial/bdpiccj

八爪鱼——100万用户选择的网页数据采集器。

1、操作简单,任何人都可以用:

无需技术背景,会上网就能采集。

完全可视化流程,点击鼠标完成操作,2分钟即可快速入门。

2、功能强大,任何网站都可以采:

对于点击、登陆、翻页、识别验证码、瀑布流、Ajax脚本异步加载数据的网页,均可经过简单设置进行采集。

3、云采集,关机也可以。

配置好采集任务后可关机,任务可在云端执行。

庞大云采集集群24*7不间断运行,不用担心IP被封,网络中断。

4、功能免费+增值服务,可按需选择。

免费版具备所有功能,能够满足用户的基本采集需求。

同时设置了一些增值服务(如私有云),满足高端付费企业用户的需要。

[文档可能无法思考全面,请浏览后下载,另外祝您生活愉快,工作顺利,万事如意!

]

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 工程科技 > 能源化工

copyright@ 2008-2022 冰豆网网站版权所有

经营许可证编号:鄂ICP备2022015515号-1