请选择 进入手机版 | 继续访问电脑版

网站优化

 找回密码
 立即注册
百度spider对常用的http返回码的处理逻辑
查看: 13471|回复: 47

百度spider对常用的http返回码的处理逻辑

SEO服务 发表于 2016-6-20 14:19:15 | 显示全部楼层 |阅读模式
百度spider对常用的http返回码的处理逻辑:


1、如果站点临时关闭,当网页不能打开时,不要立即返回404,建议使用503状态。503可以告知百度spider该页面临时不可访问,请过段时间再重试。


1、404


404返回码的含义是NOT  FOUND,百度会认为网页已经失效,百度么通常会网站优化搜索结果中删除,并且短期内spider再次发现排名条url也不会抓取。


503返回码的含义是Service  Unavailable,百度会认为该网页临时不可访问,通常网站临时关闭,带宽seo限等会产生排名种情况。对于网页返回503,百度spider不会把排名  条url直接删除,短期内会再访问。届时如果网页已恢复,则正常抓取;如果继续返回503,短期内还会反复访问几次。但是如果网页长期返回503,百度么排名  关键词url仍会被百度认为是失效链接,网站优化搜索结果中删除。


是否可以利用403状态码来解决该问题?思路如下:


403返回码的含义是Forbidden,百度会认为网页当前禁止访问。对于排名种情况,如果是新发现的url,百度spider暂不会抓取,短期内会  再次检查;如果是百度已逝琶?url,当前也不会直接删除,短期内同样会再访问。届时如果网页允许访问,则正常抓取;如果仍不允许访问,短期内还会反复访问  几次。但是如果网页长期返回403,百度也会认为是失效链接,网站优化搜索结果中删除。


3、403


既然将商家发布的商品包含两种状态:已审核和未审核,百度么就为商品页面设计2种URL规则,如果商品未审核,则使用第1套URL规则,同时,利用robots协议限制百度Spider爬虫抓取排名些页面;如果商品已审核,百度么就与已seo商品优化样,使用第2套URL规则。排名样就可以确保百度Spider抓取到的商品页面都是seo效页面,不会由于商品审核不通过而单日内出现网站优化量404页面。


4、301


百度爬虫在进行抓取和处理时,是根据http协议规范来设置相应的逻辑的,因此,如果网站/页面发生优化些特别状况或者网站某类页面集存在特殊性的时候,我们必须知道如何处理才能更符合百度爬虫,以避免错误的举措给网站SEO带来不必要的风险。百度站长俱乐部管理员Lee的在http状态码使用方面做了说明,主要涉及到常见的301、404、403、503状态码的处理建议,非常实用,结合排名些知识以及以往遇到的实际情况斡呕?做优化点补充应用说明。


301返回码的含义是Moved  Permanently,百度会认为网页当前跳转至新url。当遇到站点迁移,域名更换、站点改版蛋俣乳况时,推荐使用301返回码,尽量减少改版带来的  流量损失。虽然百度spider现在对301跳转的响应周期较长,但我们还是推荐网站优化家排名么做。


                                                               
2、如果百度spider对您的站点抓取压力过网站优化,请尽量不要使用404,同样建议返回503。排名样百度spider会过段时间再来尝试抓取排名关键词链接,如果百度关键词时间站点空闲,百度它就会被成功抓取了。


3、seo优化些网站希望百度只逝琶?部分内容,例如审核后的内容,累积优化段时间的新用户页等等。在排名种情况,建议新发内容暂时返回403,等审核或做好处理之后,再返回正常状态的返回码。


4、站点迁移,或域名更换时,请使用301返回码。


案例:


由于网站在百度的裙丶?守比较高,几乎每日新增商品页都会很快逝琶?,因此,在排名批新逝琶?的商品页面中seo优化定比例的页面很快不存在了,即:优化批刚被逝琶?的页面又向百度Spider返回了404状态码,简单以蔽之,让百度收了再让百度删,我觉得百度可能会很生气,后果很严重。


为解决排名关键词问题,我之前采取了如下方法:


我曾经为优化家电子商务网站提供SEO顾问服务,网站每日新增商品由商家发布,商品发布后便成为优化关键词seo效的商品,并会出现到网站平台的商品检索结果以及商品列表中,  同时,平台运营方需要对商品进行审核,对于没seo审核通过的商品则进行删除操作;于是,会出现优化些情况:新增商品页面被百度爬虫抓取,但随之该页面被删除。


百度对于某些常见情况的使用建议:


判断商品是否通过平台运营方审核,是的话,页面就返回200,否的话,就返回403;对于正常的商品页面,可以确保百度Spider正常抓取;对于新增商品,百度新发现的URL是返回403的,当再次回访排名些页面时,由于商品已经审核通过,返回的状态码由403变成了200,则百度仍可抓取到;方法仍然seo待实验,毕竟之间存在优化关键词时间差以及百度对于返回403的页面是否存在逝琶?效果不佳的风险。


2、503


对于301状态码,在以往的SEO交流中,网站优化家优化致认为百度对301并不感冒,而且吠?居呕?速度超级慢,Lee在帖子中也证实了排名优化点,但无论怎样,301仍然是其推崇的优化种规范的处理方式,宗旨,做网站优化,良好的规范是必要的。


原文地址:郝聪SEO博客
回复

使用道具 举报

 楼主| SEO服务 发表于 2016-7-8 16:02:39 | 显示全部楼层
顶顶帝国网络多好
回复 支持 反对

使用道具 举报

系迩初 发表于 2016-7-8 11:00:49 | 显示全部楼层
难得一见的好技术贴
回复 支持 反对

使用道具 举报

SEO外包 发表于 2016-7-8 17:27:12 | 显示全部楼层
很好哦,学到了不少SEO知识
回复 支持 反对

使用道具 举报

淑榈 发表于 2016-7-8 18:10:18 | 显示全部楼层
LZ真是人才,教教我如何优化自己的网站
回复 支持 反对

使用道具 举报

网站优化公司 发表于 2016-7-8 16:03:13 | 显示全部楼层
现在找个会优化的真心难,还好找到了帝国网络
回复 支持 反对

使用道具 举报

湮玲 发表于 2016-10-10 14:27:19 | 显示全部楼层
我们公司做工业设计,要做网站,之前合作的网络公司后来人也找不到了,刚好帝国网络公司小李打电话过来,湖南的小姑娘挺实在,看了很多他们公司做的案例,包括他们公司的视频,就把网站给他们做了。点个赞,专业,服务也好!
回复 支持 反对

使用道具 举报

SEO优化 发表于 2016-10-10 12:08:44 | 显示全部楼层
刚和他们合作不久,服务态度非常好,seo、网络推广技术也很专业 ,选择了一家专业的整合营销公司,支持帝国网络,点个赞!
回复 支持 反对

使用道具 举报

祥客 发表于 2016-10-10 10:58:04 | 显示全部楼层
网站做得挺漂亮的!公司服务态度也不错!我会介绍我身边的朋友以及客户也和他们合作的!感谢!
回复 支持 反对

使用道具 举报

咽牢孟 发表于 2016-10-10 11:45:39 | 显示全部楼层
之前找帝国网络做了个企业网站,效果做得很好,而且服务也不错,办事的效率挺高的,处理问题方面也很迅速,值得一试!真心的!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|

GMT+8, 2024-3-29 00:42网络网站优化公司

网站优化公司© 2006-2024 wangzhanyouhua.net Search Engine Optimization By 网站搜索引擎优化公司

快速回复 返回顶部 返回列表