IT优就业SEO教程如何识别百度蜘蛛优就业Word文档下载推荐.docx
《IT优就业SEO教程如何识别百度蜘蛛优就业Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《IT优就业SEO教程如何识别百度蜘蛛优就业Word文档下载推荐.docx（25页珍藏版）》请在冰豆网上搜索。
"
:
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。
该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：
User-agent:
该项的值用于描述搜索引擎robot的名字。
在"
robots.txt"
文件中，如果有多条User-agent记录说明有多个robot会受到"
的限制，对该文件来说，至少要有一条User-agent记录。
如果该项的值设为*，则对任何robot均有效，在"
文件中，"
*"
这样的记录只能有一条。
如果在"
文件中，加入"
SomeBot"
和若干Disallow、Allow行，那么名为"
只受到"
后面的Disallow和Allow行的限制。
Disallow:
该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。
例如"
/help"
禁止robot访问/help.html、/helpabc.html、/help/index.html，而"
/help/"
则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。
说明允许robot访问该网站的所有url，在"
/robots.txt"
文件中，至少要有一条Disallow记录。
如果"
不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。
Allow:
该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。
/hibaidu"
允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。
一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。
使用"
and"
$"
：
Baiduspider支持使用通配符"
和"
来模糊匹配url。
匹配0或多个任意字符
匹配行结束符。
最后需要说明的是：
XX会严格遵守robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，XX会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议无法生效。
robots需求用法对应表
上面说了那么多理论，有没有简单对照表格告诉我，怎样的需求场景下应该怎样撰写robots文件?
有的：
除robots外其它禁止XX收录的方法
Metarobots标签是页面head部分标签的一种，也是一种用于禁止搜索引擎索引页面内容的指令。
目前XX仅支持nofollow和noarchive
nofollow：
禁止搜索引擎跟踪本页面上的链接
如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的部分：
如果您不想XX追踪某一条特定链接，XX还支持更精确的控制，请将此标记直接写在某条链接上：
signin
要允许其他搜索引擎跟踪，但仅防止XX跟踪您网页的链接，请将此元标记置入网页的部分：
noarchive：
禁止搜索引擎在搜索结果中显示网页快照
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的部分：
要允许其他搜索引擎显示快照，但仅防止XX显示，请使用以下标记：
注：
此标记只是禁止XX显示该网页的快照，XX会继续为网页建索引，并在搜索结果中显示网页摘要。
使用robots巧妙避免蜘蛛黑洞
对于XX搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多、内容类同但url不同的动态URL，就像一个无限循环的“黑洞“，将spider困住。
spider浪费了大量资源抓取的却是无效网页。
如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分是检索价值低质的页面。
如“500-1000之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，其次站内用户和搜索引擎用户都没有这种检索习惯。
这种网页被搜索引擎大量抓取，只能是占用网站宝贵的抓取配额，那么该如何避免这种情况呢?
我们以北京美团网为例，看看美团网是如何利用robots巧妙避免这种蜘蛛黑洞的：
对于普通的筛选结果页，使用了静态链接，如：
同样是条件筛选结果页，当用户选择不同排序条件后，会生成带有不同参数的动态链接，而且即使是同一种排序条件（如：
都是按销量降序排列），生成的参数也都是不同的。
如：
对于美团网来说，只让搜索引擎抓取筛选结果页就可以了，而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。
在robots.txt的文件用法中有这样一条规则：
/*?
*，即禁止搜索引擎访问网站中所有的动态页面。
美团网恰是通过这种方式，对spider优先展示高质量页面、屏蔽了低质量页面，为spider提供了更友好的网站结构，避免了黑洞的形成。
禁止XX图片搜索收录某些图片的方法
目前XX图片搜索也使用了与XX网页搜索相同的spider，如果想禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现：
禁止Baiduspider抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。
Baiduspider
/*.jpg$
/*.jpeg$
/*.gif$
/*.png$
/*.bmp$
仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片
仅禁止Baiduspider抓取.jpg格式图片User-agent:
503状态码的使用场景及与404的区别
Html状态码也是网站与spider进行交流的渠道之一，会告诉spider网页目前的状态，spider再来决定下一步该怎么做——抓or不抓or下次再来看看。
对于200状态码大家已经很熟了，那么我们来介绍几种常见的失效网页使用的状态码：
【404】404返回码的含义是“NOTFOUND”，XX会认为网页已经失效，那么通常会从搜索结果中删除，并且短期内spider再次发现这条url也不会抓取。
【503】503返回码的含义是“ServiceUnavailable”，XX会认为该网页临时不可访问，通常网站临时关闭，带宽有限等会产生这种情况。
对于网页返回503，XXspider不会把这条url直接删除，短期内会再访问。
届时如果网页已恢复，则正常抓取;
如果继续返回503，短期内还会反复访问几次。
但是如果网页长期返回503，那么这个url仍会被XX认为是失效链接，从搜索结果中删除。
【301】301返回码的含义是“MovedPermanently”，XX会认为网页当前跳转至新url。
当遇到站点迁移，域名更换、站点改版的情况时，推荐使用301返回码，尽量减少改版带来的流量损失。
虽然XXspider现在对301跳转的响应周期较长，但我们还是推荐大家这么做。
一些网站把未建好的页面放到线上，并且这些页面在被XX抓取的时候返回码是404，于是页面被XX抓取后会被当成死链直接删除。
但是这个页面在第二天或者过几天就会建好，并上线到网站内展现出来，但是由于之前已经被XX当做死链删除，所以要再次等这些链接被发现，然后抓取才能展现，这样的操作最终会导致一些页面在一段时间内不会在XX出现。
比如某个大型门户网站爆出大量新闻时效性很强的专题未被XX及时收录的问题，经检查验证后发现就是因为页面未建成就放置在线上，并返回404状态码，被XX当成死链删除，造成收录和流量损失。
对于这样的问题，建议网站使用503返回码，这样XX的抓取器接到503返回码后，会在隔一段时间再去访问这个地址，在您的页面建好上线后，就又能被重新抓取，保证页面及时被抓取和索引，避免未建好的内容设为404后带来不必要的收录和流量损失。
其它建议和总结：
1、如果XXspider对您的站点抓取压力过大，请尽量不要使用404，同样建议返回503。
这样XXspider会过段时间再来尝试抓取这个链接，如果那个时间站点空闲，那它就会被成功抓取了
2、如果站点临时关闭或者页面暂未建好上线，当网页不能打开时以及没有建好时，不要立即返回404，建议使用503状态。
503可以告知XXspider该页面临时不可访问，请过段时间再重试。
连通率为0的前因后果及预防补救措施
在XXsite站点时，遇到“连通率为0”说明Baiduspider在访问站点时发现了问题，该问题非常严重，如果Baiduspider持续一天时间无法访问有可能给站点带来灾难性的损失。
一、何谓连通率
既然为率，那么就是一个统计相关概念。
我们不妨可以这样理解一个网站的连通率：
XX蜘蛛在抓取网站页面的时候计算的一个概率，比如它抓取某网站中的N个页面，这N个页面都能打开并被蜘蛛成功抓取，这样的连通率就是N/N=100%，反之蜘蛛抓取N个页面有M个页面能成功抓取，连通率就是M/N
这里先说明几个常识：
1、不是网站被某算法惩罚而导致连通率为0，也不是网站流量下降而导致连通率数值很低;
2、连通率代表着XX蜘蛛获取网站数据的情况，如果连通率数值很低或为0，那么可能连维持网站的正常收录等都成问题;
3、假如网站被判定连通不了，那么如果让一个连通不了的站点在XX中获取排名，就会大大影响搜索用户的体验，于是XX就会采取对该站点有效引流的索引清除操作，一些站长就会发现自己的网站索引量突然大幅度下降，甚至索引被短暂清0了，接着就是网站XX搜索流量大幅度下降，这种突发性的事件又会造成站长们的揣测，以为自己的网站被XX惩罚了，其实站长们先应该注意的是站点的连通情况。
二、提取核心词
上述概念中，我们需要注意的几个词有：
”XX蜘蛛”;
”在抓取”;
”N个页面”;
”M个页面”;
”都能打开并被成功抓取”。
三、连通率很低或为0时
我们抓住上述5个提取出的核心词进行分析。
（一）XX蜘蛛
1、谨防XX蜘蛛访问被操控或禁止
（1）由于XX蜘蛛的抓取量等原因对一些服务器造成压力，而这些网络商或网站运营方从某利益角度考虑，无意或有意的屏蔽XX蜘蛛，导致部分或全部XX蜘蛛ip获取不到网站数据;
（2）一些网站运营方或网络商对蜘蛛进行区别对待，比如国外蜘蛛ip、山东蜘蛛ip、北京蜘蛛ip等返回不同的数据，移花接木的手段层出不穷，而这个过程很可能造成XX蜘蛛的异常行为或异常状态返回;
所以我们首先要确保XX蜘蛛的访问有没有被操控或禁止。
2、预防措施
（1）完善联系方式获得XX站长工具消息提醒
虽然一些网站异常情况会收到XX站长工具消息提醒，然而我想告诉大家不是所有自己站点异常都可以寄希望于消息提醒的，自己心里要知道连发邮件都可能出现收不到的情况，更何况各种复杂的异常情况，因此不要出问题了只会问“为什么站长工具没有给我发消息”。
（2）利用抓取异常和抓取频次工具观察抓取情况
↓抓取异常工具的网址异常情况
↓抓取频次工具的抓取统计情况
↓每个工具页面的右侧下方都有使用说明，如下
（3）抓取诊断工具是重中之重
为了保证网站对XX蜘蛛的稳定访问性能，日常我们需要养成定期抓取诊断的习惯，另外抓取诊断不是说光看看状态是否“抓取成功”就行了。
有下面几步进行：
第一步：
下拉选择分”pc”、”移动”进行抓取，”pc”意味着一般意义上的电脑端访问诊断，”移动”则是如手机、平板等移动设备端访问诊断;
第二步：
网站主要的引流页，如首页、详情页、内容页、专题页等都要进行抓取，另外可以重点几个时间段（比如网站高峰时间段）每天定期进行测试;
第三步：
抓取失败了，点击”抓取失败”查看提示信息，如果自己没有技术能力解决问题，可以跟空间商进行沟通，然后向工具提交报错;
第四步：
抓取成功后，也不能说就万事大吉了，还要点击”抓取成功”进去注意：
提交网址、抓取网址、抓取UA、网站ip、下载时长、头部信息（服务器返回状态码、gzip等相关信息）、网页源码是否都正常。
特别说明：
有很多站长就光注意抓取成功，却不知网站ip可能并非自己的实际ip，被网络商搞到哪里去了都不知道，还可能每隔一段时间都变。
当发现ip有问题，及时跟网络商沟通，并在网站ip旁点击“报错”按钮，XX会更新网站ip，但是切记不要ip变化频繁。
此外当然还可能出现实际抓取网址、头部信息、网页源码等都不是自己本来设置的。
（二）在抓取
这是反映XX蜘蛛在抓取时的状态，XX的工具显示的数值肯定都是抓取后计算出来的数据，因此任何工具的连通率数据必定存在延迟性，另外这个计算过程也存在一定可能的错误，所以我们看到任何工具中关于连通率的数据，不要说“我网站用抓取诊断等工具检查访问情况都好好的，为什么连通率还是0”，因此除了上述建议的多抓取诊断测试外，自己可以加些监控网站连接状态的措施，笔者本人就曾经接收了不少关于网站连接不通的提醒。
这时我会及时跟网络商沟通，然后及时用抓取诊断检查蜘蛛的情况。
（三）N个页面与M个页面
这N、M个页面，可能XX蜘蛛很凑巧就赶上高峰的时候或者一些假死页面（执行时间较长，超过蜘蛛的耐心），那么M这个数值就会很低，统计概率的东西大家都懂的，那么这时网站的连通率依旧很低或为0。
因此若连通率为0，我们还可以知道自己应该注意查看访问日志，及时清理死链，或者并发连接数增大，或者增加内存等等。
（四）都能打开并被成功抓取
这里主要注意DNS和空间的稳定性。
1、DNS的问题
参考当心dns服务器不稳导致站点被屏
提醒大家注意的是现在不少云类ns服务器，这个过程中由于处理机制问题，包括回源障碍等等，较容易造成这个问题。
另外国内大型服务商提供，比如你使用了dnspod，并不代表你的dns就应该是ok的。
有的站长存在着对大型服务商的错误认识，如“新网的dns就是不可靠的，我都用XX云加速”。
我们要明白廉价的东西质量都有一定局限性，所以需要自己检查dns解析情况，具体上网找找相关资料或平台，看看dns解析出的ip以及解析延迟情况等等。
2、空间的稳定性
很多人都会用超级ping了，这个不多说了。
但是我还要告诉大家有下面两点需要注意：
A、不良的网络商会对不同用户ip进行不同处理，自己可以用vpn等工具观察下不同地区ip段的网站访问情况与返回内容;
B、空间的资源不足，内存、并发连接等等，当访问量很少的时候，自己察觉不出，需要提高访问量，增加连接时间。
因此使用一些监控工具时，发现监控工具访问测试量巨大，或者被人刷流量时，你应该庆幸，而不是着急拒绝，因为你可以了解到自己的空间承压能力。
四、连通率问题处理完毕后
如果你的网站索引由于连通率而非惩罚原因被清理了，处理完毕问题，可以在抓取频次工具中提交增加抓取频次的请求，将抓取频次增加到一定额度（建议自己查看工具中对抓取频次的说明后再根据网站实际情况调整），然后增加自己的网站数据更新频率与质量，加强与XX的数据沟通（如url提交、sitemap等等），很快就能恢复。
相关工具展示如下（每个工具页面的右侧下方都有相关说明链接，可以点击去了解使用注意事项）：
1、抓取频次中的频次调整工具：
2、链接提交工具：
3、链接提交工具中的主动推送、sitemap、手动提交方式：
https站点如何做才能对XX友好
2015年5月25日，XX站长平台发布公告，宣布全面放开对https站点的收录，https站点不再需要做任何额外工作即可被XX抓收。
采用了本文之前建议的https站点可以关闭http版，或者将http页面跳转到对应的https页面。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
XX搜索引擎目前不主动抓取https网页，导致大部分https网页无法收录。
但是如果网站一定要使用https加密协议的话该如何做到对XX搜索引擎友好呢。
其实很简单：
1，为需要被XX搜索引擎收录的https页面制作http可访问版。
2，通过user-agent判断来访者，将Baiduspider定向到http页面，普通用户通过XX搜索引擎访问该页面时，通过301重定向至相应的https页面。
如图所示，上图为XX收录的http版本，下图为用户点击后会自动跳入https版本。
3，http版本不是只为首页制作，其它重要页面也需要制作http版本，且互相链接，切不要出现这种情况：
首页http页面上的链接依然链向https页面，导致Baiduspider无法继续抓取——我们曾经遇到这种情况，导致整个网点我们只能收录一个首页。
如下面这个做法就是错误的：
链向
4，可以将部分不需要加密的内容，如资讯等使用二级域名承载。
比如支付宝站点，核心加密内容放在https上，可以让Baiduspider直接抓取的内容都放置在二级域名上。
站点切换https不会对流量产生负面影响
问：
对于http和https，Baiduspider会不会区别对待?
答：
不会区别对待。
说得再全整专业一些：
Baiduspider在对于http和https站点的调度和解析方面没有任何区别。
至于建索引库，年初的时候XX进行过升级，目前对https站点也是全力支持的。
Baiduspider可以抓取https网站吗?
站点https以后应该做些什么?
在抓取方面，Baiduspider完全支持https链接的抓取。
站长需要注意的一点是要保证http链接到https链接良好的重定向（使用301或302），这样XX可以做到无缝切换。
另外可以使用链接提交工具提交https链接，尽快通知XX。
站点切换https以后，新产生的https页面，XX会将其视为新页面重新收录?
重新计算排名?
不是的，不涉及重新收录的问题。
https以后可以使用改版工具向XX提交http与https的对应关系吗?
http站和https站会被XX视为同一个站点，不属于改版，不适用改版工具。
https以后，排序有可能发生什么变化?
在rank方面，现在对两种链接无区别对待，从安全性考虑，以后可能会优待https的链接。
更多知识干货分享，尽在中公优就业，>
>
点击进入。
点击查看>
中公IT优就业封闭式培训，包食宿，学费贷款，交通补贴，推荐就业
升级会员 