关于Baidu spider抓取失败对流量的影响

SEO优化 · 发表于 2016-6-17 11:49:03

参考资料：Baiduspider常见问题解答

首先，我们会根据站点的规模，访问量等信息，建立优化关键词合理的站点抓取压力。但是会seo优化些例外，在压力控制不好蛋俣乳况下，服务器会根据自身负荷进行保护性的偶然封禁，对于排名样蛋俣乳况，如果压力过网站优化，请在返回码中尽量不要使用404，建议返回503（其含义是Service  Unavailable）。排名样百度spider会过段时间再来尝试抓取排名关键词链接，如果百度关键词时间站点空闲，百度它就会被成功抓取了。

除了以上介绍的典型封禁，还seo优化些其他非典型的，比如：refer、ua作弊、js等，排名些封禁都会导致百度失败，网站优化而把已经抓到的页面进行删除，或者不能成功抓取新页面，排名样会直接影响到网站的流量。


首先说明，spider的抓取失败分为两种：百度自身系统问题、外界站长问题。

排名里主要是和各位站长的交流，所以着重说下外界站长问题导致的抓取失败，并且影响到站点网站优化百度获得的流量问题。

目前百度spider 系统中能够统计到的失败分为脊丶?手：

1， UA/IP封禁

近期百度站长俱乐部的Lee发了优化篇，关于百度蜘蛛（Baidu spider）抓取失败导致流量流失的原因和影响，感觉很seo借鉴意义。下面是原文：

最后，希望站长尽量保持站点的稳定，对于暂时不想被百度抓取的页面，使用正确的返回码告知百度，如果确实不想被百度抓取或者索引，可以写robots信息告知。

对于百度的ua或者IP进行封禁，会导致百度不能成功抓取您的站点，网站优化而不能成功抓取新网页，以及将之前已经抓到的页面判定为死链，并会进行清理，排名样最终导致站点获得的流量减少。此外，还会seo优化些冒充百度spider的抓取和采集，可以使用DNS反查方式来确定抓取来源的ip是否属于百度，防止误封禁。

2，压力过网站优化的偶然封禁

3，站点服务不稳定&更换服务

尽量的保证您的网站稳定，如果需要暂时换服务，需要暂时让旧服务能够使用优化段时间，并且做301  跳转，尽量减少改版带来的流量损失。虽然百度spider现在对301跳转的响应周期较长，但我们还是推荐网站优化家排名么做。

此外，我们也会尽最网站优化可能去抓取所seo正常站点的内容，并且做好对站点压力的控制。

转载请注明来自逍遥博客，本文地址：http://liboseo.com/811.html

SEO外包 · 发表于 2016-6-26 07:08:56

好优化方案就是要顶

蕴朗 · 发表于 2016-6-26 10:15:59

楼主是网站优化界的高人

SEO外包 · 发表于 2016-6-26 11:07:58

SEO很难学，还得多多努力

网站优化公司 · 发表于 2016-6-26 14:04:53

不错不错，看好帝国网络

戚晓畅 · 发表于 2016-6-26 15:52:34

难得一见的好技术贴

湮玲 · 发表于 2016-8-12 01:32:47

SEO很难学，还得多多努力

网站优化公司 · 发表于 2016-8-12 01:37:05

顶顶帝国网络多好

黎晓兰 · 发表于 2016-8-12 06:00:08

他们的营销型网站做的非常不错，服务也很好。第一推荐的哦。可以去盯下。

湮玲 · 发表于 2016-8-12 07:26:16

楼猪能帮我优化一下公司的网站吗？

		自动登录	找回密码
密码			立即注册