轻松采集京东等各大电商商品价格等信息.docx

1、轻松采集京东等各大电商商品价格等信息如何简单轻松采集京东商城中商品的信息最近在采集中，遇到很多朋友对电商网站的采集一头雾水，因为电商的采集设计的东西较多，且很多我们需要的内容都是通过js加载出来的，也就会导致很多朋友不知道如何获取这些信息，因此，在这里做一个电商的采集演示示例，我们就用京东作为我们演示示例，其他的电商网站操作过程基本也是类似。此次的教程需要用到的是熊猫采集软件，这是新一代的智能采集器，操作非常简单容易，不需要专业基础，新手首选。且功能特别强悍复杂，只要是浏览器能看到的内容，都可以用熊猫批量的采集下来。如各种电话号码邮箱，各种网站信息搬家，网络信息监控、网络舆情监测、股票资讯实时

2、监控等等。熊猫采集器是唯一拥有内容页面的深度嵌套访问功能的采集软件，对于本案例涉及到的京东商品信息，则必须使用内容页面的深度嵌套访问功能，才能一次性的采集完整。有需要的看官可以去XX收索一个熊猫采集软件下载即可。熊猫的免费版就包含实现本演示示例的所需要的全部功能。好了，下面进入我们的采集环节吧！首先，我们打开我们这次采集需要的工具,也就是熊猫采集器，点击新建项目（标准）随便给我们的项目起一个名称，不输入也是可以的，如果没有输入的话系统默认会给我们的项目命名一个随机的名字，这里因为我是京东商城信息， 我就起了京东采集作为我需要的项目名称，以方便我们的区分。然后点击下一步进入到标题列表页及其翻页设

3、置，列表页是包含我们要采集内容的链接网址的页面，比如XX搜索一个关键词，会列出来很多网页，这些网页我们就可以认为是标题列表页面。在京东我们也可以搜索我们要采集的商品，搜索出来的页面其实就是我们要的标题列表页面，这里我们就用京东搜索手机出来的页面作为我们的采集对象。如下图所示的标题列表页面：将此标题列表页面的网址拷贝到我们的熊猫中进行设置，下面，点击预开始分析按钮：这个提示框的意思是，如果我们需要采集多页，也就是翻页采集，那么我们选择是即可（注意，选择是的时候再极少情况下可能将我们的翻页设置设置的并不准确，这个时候我们就选择否，然后自行进行翻页设置），如果不需要，则选择否即可，这个可以根据我们的

4、需要进行设置。我们这里选择是的话，发现翻页并非我们想要，也就是设置的不准备，所以我需要手动设置一下。这里我给大家说一下如何手动设置我们的翻页：也就是在我们选择否的情况下，我们自行如何设置翻页。首先，我们需要去我们采集的网站上面看一下，我们采集的网址，在浏览器中点击下一页的时候，网址有没有什么变化，第一页我们已经知道了它的网址，下面我们翻到第二页，在翻到第三页，我们发现，在我们进行翻页的时候，变化的page后面的数字而已，也就是说那个数字就是代表我们的现在在那一页上面，好，知道这个，我们就可以在软件中自行定义定义我们的翻页了。首先选择翻页方式2，新增一个参数定义，上面我们已经知道，数字就是代表我

5、们在那一页，这个时候，我就用一对大括号将数字代替掉，并随意命名，如下图：这个时候，我们的参数名称已经设置完毕，通过上面我们在浏览器中看如何翻页已经了解，我们的翻页是1,3,5呈递增的方式，这个时候我们就需要设置我们想从第几页开始采集，并采到那一页，且每次变化2即可，如下图：那么，我们的翻页设置也已经全部完成，进入下一步设置，进入到选择内容页的设置中，随便选择一个我们要采集的链接，如果右边我们要采集的链接全部被红框框选起来了。那么这里我们就不要进行调整，如下图：这里我们要采集采集的内容页链接都被正确的包含起来，那么我么就直接下一步，进入到内容页面模板管理，这里系统默认会把我们在上一步选中的链接作

6、为模板，在这里，我们也可以自己选择一个链接作为模板，只要把网址粘贴到添加新模板按钮左边的文本框里，点击添加新模板即可，如下图：点击添加新模板之后会弹出一个设置模板的新窗口。点击软件上方的开始分析，稍等片刻之后软件会询问你是否需要软件自动提取标题正文，一般情况下我们在这里都会选择否，如果你是采集新闻类的内容，这个地方你也可以选择是，也可以选择否，（选择是的话就软件就直接帮我们分析出来标题和正文了，操作就很简单，选择否就需要我们自己找到我们要采集的内容，这种操作会很灵活，由于选择是非常简单，我们这里就选择否了）如图：这个时候，我们在只需在左边找到我们要采集的数据，选择，然后点击采集该项，就可以将信

7、息采集下来，但是在京东等各大电商上面很多数据都是通过js加载的，我们并不能直接选中，例如价格，销量，我们在左边都是找不到的，而商品名称在左边却是可以找到，如图：对这种js加载的数据，熊猫无法直接识别出来，我们需要通过第三方软件，也就是抓包工具，找到我们要采集的这些数据真实存在的地方（目前大部分浏览器是自带抓包的，不是很明白看客可以XX查看一下抓包的说明），然后利用熊猫的子页面嵌套访问功能，将我们要的数据采集下来。这里我就利用浏览器抓包来获取我们要采集的部分数据了：右击浏览器空白地方会有一个审查元素。点击进入，如图：然后 我们刷新一下这个内容页面，也就是我们的模板页面，会发现出现很多网址，这时候

8、我们要采集的东西就可以在这些网址里面进行查找；比如像价格，就是隐藏在下图所示的网站网址中：这时候我们需要到熊猫里面进行设置，将这个价格采集下来，首先，随便选择一个空白的地方，勾选上利用中介（标签）方式添加新的链接指向，如图：之后利用中介方式，设置出我们要采集的网址链接，如图：第一行代表我们在源码中找的一skuid:为开头和以第一个逗号为结尾的中间内容，也就是这个商品的id号，我们用medi给他替换掉，然后把medi在赋值给第二行我们抓包找到的网址，因为每一个商品的价格都是在这个网址中，变化的就是没商品的编号而已，我们这里就是利用medi给它动态的替换，从而可以采集我们每一个商品的价格！这时候我

9、们点击添加按钮，会提示我们中介抽取的结果。然后我们勾选上该链接为指向下级子页面的（间接或直接）链接，如图点击分析该了链接指向的页面，进入下级页面。然后分析一下下级页面的网址，会看见我们想要采集的价格：勾选上采集即可。当然我们需要对这个结果进行一些简单的修缮， 修缮规则如下：到此，我们隐藏的价格设置就已经结束，同理评价等js加载的数据我们也可以按照同样的方法去进行设置。下面是评价的网址：按同样的方式设置然后分析该页面，将结果采集下来并修缮：修缮规则如下：这里我们就将评价也设置完成，如果还有其他js加载的数据要采集，也可以通过抓包找到真实网址进行设置即可。我们这里就演示这么多了。下面保存我们的项目

10、，点击确认出来我们的运行界面。运行我们的项目，查看结果。可以发现，我们要采集的信息已经被我们全部采集下来了，可以发现，熊猫采集获取我们要的的信息还是非常方便的，并不需要我们有网页设计的基础就可以达到我们信息的采集，最后，告诉各位看官，熊猫现在已经完全免费啦！ 出师表两汉：诸葛亮先帝创业未半而中道崩殂，今天下三分，益州疲弊，此诚危急存亡之秋也。然侍卫之臣不懈于内，忠志之士忘身于外者，盖追先帝之殊遇，欲报之于陛下也。诚宜开张圣听，以光先帝遗德，恢弘志士之气，不宜妄自菲薄，引喻失义，以塞忠谏之路也。宫中府中，俱为一体；陟罚臧否，不宜异同。若有作奸犯科及为忠善者，宜付有司论其刑赏，以昭陛下平明之理；不

11、宜偏私，使内外异法也。侍中、侍郎郭攸之、费祎、董允等，此皆良实，志虑忠纯，是以先帝简拔以遗陛下：愚以为宫中之事，事无大小，悉以咨之，然后施行，必能裨补阙漏，有所广益。将军向宠，性行淑均，晓畅军事，试用于昔日，先帝称之曰“能”，是以众议举宠为督：愚以为营中之事，悉以咨之，必能使行阵和睦，优劣得所。 亲贤臣，远小人，此先汉所以兴隆也；亲小人，远贤臣，此后汉所以倾颓也。先帝在时，每与臣论此事，未尝不叹息痛恨于桓、灵也。侍中、尚书、长史、参军，此悉贞良死节之臣，愿陛下亲之、信之，则汉室之隆，可计日而待也。臣本布衣，躬耕于南阳，苟全性命于乱世，不求闻达于诸侯。先帝不以臣卑鄙，猥自枉屈，三顾臣于草庐之中，咨臣以当世之事，由是感激，遂许先帝以驱驰。后值倾覆，受任于败军之际，奉命于危难之间，尔来二十有一年矣。先帝知臣谨慎，故临崩寄臣以大事也。受命以来，夙夜忧叹，恐托付不效，以伤先帝之明；故五月渡泸，深入不毛。今南方已定，兵甲已足，当奖率三军，北定中原，庶竭驽钝，攘除奸凶，兴复汉室，还于旧都。此臣所以报先帝而忠陛下之职分也。至于斟酌损益，进尽忠言，则攸之、祎、允之任也。愿陛下托臣以讨贼兴复之效，不效，则治臣之罪，以告先帝之灵。若无兴德之言，则责攸之、祎、允等之慢，以彰其咎；陛下亦宜自谋，以咨诹善道，察纳雅言，深追先帝遗诏。臣不胜受恩感激。今当远离，临表涕零，不知所言。