网站优化

 找回密码
 立即注册
网站优化robots.txt百度蜘蛛访问被禁止目录
查看: 12237|回复: 45

网站优化robots.txt百度蜘蛛访问被禁止目录

帝国E客 发表于 2016-9-7 17:11:28 | 显示全部楼层 |阅读模式
本帖最后由 帝国E客 于 2016-9-7 17:13 编辑

robots.txt允许百度蜘蛛访问被禁止目录下的指定文件


科普知识,高手绕过:
      robots.txt文件是存放于网站目录下面的协议文件。robots文件一般用于禁止搜索引擎爬取和收录。

      “Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。”引用百度百科

      经过多年的实践得出,各大搜索引擎不并不是都遵守robots协议的。例如:某个目录设置了禁止,可是百度还是爬行进去,只不过一般不会把页面存入索引库。在这方面百度像个好奇的孩子,你不叫我看趁着没人的时候我偏要看。谁知道,家里装了监控了。



      言归正传, 今天主要给大家介绍下robots写法实现一些特殊功能。
      比如允许百度蜘蛛访问被禁止目录下的指定文件?
      什么时候需要用到这个功能呢?一个栏目,你只希望搜索引擎爬行目录根文件,不希望搜索引擎爬行栏目分页文件。

      例如:我们要禁止/seo/这个目录,但是想允许蜘蛛爬行/seo/index.html该如何写呢?

【正确写法】
Allow: /seo/index.html
Disallow: /seo/

      以上是禁止搜索引擎爬行seo目录下面的文件,index.html除外。

      这里特别需要注意的是robots协议需要注意Allow 与 Disallow的先后顺序,这个顺序非常关键,因为蜘蛛会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。如果混淆使用Allow和Disallow,将会给网站收录以及排名带来无法估计的伤害。

    总结:有关robots写法最好用站长工具来写。robots协议里面任何一个字母的差错都会造成致命的影响,哪怕是一个空格。还有即使写了robots.txt文件最好还是搭配下rel="canonical"或者nofollow标签来使用。毕竟多条保险,可以帮助搜索引擎更好的读懂你。




回复

使用道具 举报

SEO外包 发表于 2016-10-30 05:27:17 | 显示全部楼层
现在在帝国网络做整合营销,员工服务态度很好,一有问题马上解决,技术也很牛,排名不错,效果我还是非常认同的!
回复 支持 反对

使用道具 举报

SEO外包 发表于 2016-10-30 07:34:00 | 显示全部楼层
不错不错,看好帝国网络
回复 支持 反对

使用道具 举报

蕴朗 发表于 2016-10-30 09:27:15 | 显示全部楼层
之前找了一家做外贸网站 做得不好 后来让帝国网络给重做了,做出来效果還不錯,在这里建议可以到这家公司看看,我个人觉得技术是一方面,更加重要的是服务方面,帝国网络在这方面做的挺好,还帮忙上传产品和处理产品图片,支持一下吧
回复 支持 反对

使用道具 举报

SEO优化 发表于 2016-10-30 12:02:44 | 显示全部楼层
网站做得挺漂亮的!公司服务态度也不错!我会介绍我身边的朋友以及客户也和他们合作的!感谢!
回复 支持 反对

使用道具 举报

疙証屏 发表于 2016-11-7 22:59:33 | 显示全部楼层
服务很不错的一个公司,从签约到服务期间服务一直很好,准备续签了,特别表扬一下给我做竞价服务的小张,她帮我优化以后,效果确实很明显,赞!
回复 支持 反对

使用道具 举报

祥客 发表于 2016-11-7 23:48:44 | 显示全部楼层
之前找了一家做外贸网站 做得不好 后来让帝国网络给重做了,做出来效果還不錯,在这里建议可以到这家公司看看,我个人觉得技术是一方面,更加重要的是服务方面,帝国网络在这方面做的挺好,还帮忙上传产品和处理产品图片,支持一下吧
回复 支持 反对

使用道具 举报

湮玲 发表于 2016-11-8 01:55:19 | 显示全部楼层
与深圳帝国网络合作了快一年的时间,将我公司网络推广的业务交给了他们,我们是做快速消费品食品行业的,开发意向度高的新客户是我们的生命线之一,他们给我做的关键词“深圳糖果批发”、“果冻采购哪家好”像这样的都排在了百度首页,3个月时间,果然和合同上的时间一致。每天都能保证有意向的询盘,去年12月份一个意向客户订单12万。
回复 支持 反对

使用道具 举报

黎晓兰 发表于 2016-11-8 03:23:10 | 显示全部楼层
不错不错,看好帝国网络
回复 支持 反对

使用道具 举报

祥客 发表于 2016-11-8 03:29:11 | 显示全部楼层
之前找帝国网络做了个企业网站,效果做得很好,而且服务也不错,办事的效率挺高的,处理问题方面也很迅速,值得一试!真心的!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|

GMT+8, 2024-11-15 17:05网络网站优化公司

网站优化公司© 2006-2024 wangzhanyouhua.net Search Engine Optimization By 网站搜索引擎优化公司

快速回复 返回顶部 返回列表