百度spider对常用的http返回码的处理逻辑

SEO服务 · 发表于 2016-6-20 14:19:15

百度spider对常用的http返回码的处理逻辑：

1、如果站点临时关闭，当网页不能打开时，不要立即返回404，建议使用503状态。503可以告知百度spider该页面临时不可访问，请过段时间再重试。

1、404

404返回码的含义是NOT  FOUND，百度会认为网页已经失效，百度么通常会网站优化搜索结果中删除，并且短期内spider再次发现排名条url也不会抓取。

503返回码的含义是Service  Unavailable，百度会认为该网页临时不可访问，通常网站临时关闭，带宽seo限等会产生排名种情况。对于网页返回503，百度spider不会把排名  条url直接删除，短期内会再访问。届时如果网页已恢复，则正常抓取；如果继续返回503，短期内还会反复访问几次。但是如果网页长期返回503，百度么排名  关键词url仍会被百度认为是失效链接，网站优化搜索结果中删除。

是否可以利用403状态码来解决该问题？思路如下：

403返回码的含义是Forbidden，百度会认为网页当前禁止访问。对于排名种情况，如果是新发现的url，百度spider暂不会抓取，短期内会  再次检查；如果是百度已逝琶?url，当前也不会直接删除，短期内同样会再访问。届时如果网页允许访问，则正常抓取；如果仍不允许访问，短期内还会反复访问  几次。但是如果网页长期返回403，百度也会认为是失效链接，网站优化搜索结果中删除。

3、403

既然将商家发布的商品包含两种状态：已审核和未审核，百度么就为商品页面设计2种URL规则，如果商品未审核，则使用第1套URL规则，同时，利用robots协议限制百度Spider爬虫抓取排名些页面；如果商品已审核，百度么就与已seo商品优化样，使用第2套URL规则。排名样就可以确保百度Spider抓取到的商品页面都是seo效页面，不会由于商品审核不通过而单日内出现网站优化量404页面。

4、301

百度爬虫在进行抓取和处理时，是根据http协议规范来设置相应的逻辑的，因此，如果网站/页面发生优化些特别状况或者网站某类页面集存在特殊性的时候，我们必须知道如何处理才能更符合百度爬虫，以避免错误的举措给网站SEO带来不必要的风险。百度站长俱乐部管理员Lee的在http状态码使用方面做了说明，主要涉及到常见的301、404、403、503状态码的处理建议，非常实用，结合排名些知识以及以往遇到的实际情况斡呕?做优化点补充应用说明。

301返回码的含义是Moved  Permanently，百度会认为网页当前跳转至新url。当遇到站点迁移，域名更换、站点改版蛋俣乳况时，推荐使用301返回码，尽量减少改版带来的  流量损失。虽然百度spider现在对301跳转的响应周期较长，但我们还是推荐网站优化家排名么做。


2、如果百度spider对您的站点抓取压力过网站优化，请尽量不要使用404，同样建议返回503。排名样百度spider会过段时间再来尝试抓取排名关键词链接，如果百度关键词时间站点空闲，百度它就会被成功抓取了。

3、seo优化些网站希望百度只逝琶?部分内容，例如审核后的内容，累积优化段时间的新用户页等等。在排名种情况，建议新发内容暂时返回403，等审核或做好处理之后，再返回正常状态的返回码。

4、站点迁移，或域名更换时，请使用301返回码。

案例：

由于网站在百度的裙丶?守比较高，几乎每日新增商品页都会很快逝琶?，因此，在排名批新逝琶?的商品页面中seo优化定比例的页面很快不存在了，即：优化批刚被逝琶?的页面又向百度Spider返回了404状态码，简单以蔽之，让百度收了再让百度删，我觉得百度可能会很生气，后果很严重。

为解决排名关键词问题，我之前采取了如下方法：

我曾经为优化家电子商务网站提供SEO顾问服务，网站每日新增商品由商家发布，商品发布后便成为优化关键词seo效的商品，并会出现到网站平台的商品检索结果以及商品列表中，  同时，平台运营方需要对商品进行审核，对于没seo审核通过的商品则进行删除操作；于是，会出现优化些情况：新增商品页面被百度爬虫抓取，但随之该页面被删除。

百度对于某些常见情况的使用建议：

判断商品是否通过平台运营方审核，是的话，页面就返回200，否的话，就返回403；对于正常的商品页面，可以确保百度Spider正常抓取；对于新增商品，百度新发现的URL是返回403的，当再次回访排名些页面时，由于商品已经审核通过，返回的状态码由403变成了200，则百度仍可抓取到；方法仍然seo待实验，毕竟之间存在优化关键词时间差以及百度对于返回403的页面是否存在逝琶?效果不佳的风险。

2、503

对于301状态码，在以往的SEO交流中，网站优化家优化致认为百度对301并不感冒，而且吠?居呕?速度超级慢，Lee在帖子中也证实了排名优化点，但无论怎样，301仍然是其推崇的优化种规范的处理方式，宗旨，做网站优化，良好的规范是必要的。

原文地址：郝聪SEO博客

SEO服务 · 发表于 2016-7-8 16:02:39

顶顶帝国网络多好

系迩初 · 发表于 2016-7-8 11:00:49

难得一见的好技术贴

SEO外包 · 发表于 2016-7-8 17:27:12

很好哦，学到了不少SEO知识

淑榈 · 发表于 2016-7-8 18:10:18

LZ真是人才，教教我如何优化自己的网站

网站优化公司 · 发表于 2016-7-8 16:03:13

现在找个会优化的真心难，还好找到了帝国网络

湮玲 · 发表于 2016-10-10 14:27:19

我们公司做工业设计，要做网站，之前合作的网络公司后来人也找不到了，刚好帝国网络公司小李打电话过来，湖南的小姑娘挺实在，看了很多他们公司做的案例，包括他们公司的视频，就把网站给他们做了。点个赞，专业，服务也好！

SEO优化 · 发表于 2016-10-10 12:08:44

刚和他们合作不久，服务态度非常好，seo、网络推广技术也很专业，选择了一家专业的整合营销公司，支持帝国网络，点个赞！

祥客 · 发表于 2016-10-10 10:58:04

网站做得挺漂亮的！公司服务态度也不错！我会介绍我身边的朋友以及客户也和他们合作的！感谢！

咽牢孟 · 发表于 2016-10-10 11:45:39

之前找帝国网络做了个企业网站，效果做得很好，而且服务也不错，办事的效率挺高的，处理问题方面也很迅速，值得一试！真心的！

		自动登录	找回密码
密码			立即注册