网站优化robots.txt百度蜘蛛访问被禁止目录

帝国E客 · 发表于 2016-9-7 17:11:28

本帖最后由帝国E客于 2016-9-7 17:13 编辑

robots.txt允许百度蜘蛛访问被禁止目录下的指定文件

科普知识，高手绕过：
   robots.txt文件是存放于网站目录下面的协议文件。robots文件一般用于禁止搜索引擎爬取和收录。

   “Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。”引用百度百科

   经过多年的实践得出，各大搜索引擎不并不是都遵守robots协议的。例如：某个目录设置了禁止，可是百度还是爬行进去，只不过一般不会把页面存入索引库。在这方面百度像个好奇的孩子，你不叫我看趁着没人的时候我偏要看。谁知道，家里装了监控了。

   言归正传，今天主要给大家介绍下robots写法实现一些特殊功能。
   比如允许百度蜘蛛访问被禁止目录下的指定文件？
   什么时候需要用到这个功能呢？一个栏目，你只希望搜索引擎爬行目录根文件，不希望搜索引擎爬行栏目分页文件。

   例如：我们要禁止/seo/这个目录，但是想允许蜘蛛爬行/seo/index.html该如何写呢？

【正确写法】
Allow: /seo/index.html
Disallow: /seo/

   以上是禁止搜索引擎爬行seo目录下面的文件，index.html除外。

   这里特别需要注意的是robots协议需要注意Allow 与 Disallow的先后顺序，这个顺序非常关键，因为蜘蛛会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。如果混淆使用Allow和Disallow，将会给网站收录以及排名带来无法估计的伤害。

总结：有关robots写法最好用站长工具来写。robots协议里面任何一个字母的差错都会造成致命的影响，哪怕是一个空格。还有即使写了robots.txt文件最好还是搭配下rel="canonical"或者nofollow标签来使用。毕竟多条保险，可以帮助搜索引擎更好的读懂你。

SEO外包 · 发表于 2016-10-30 05:27:17

现在在帝国网络做整合营销，员工服务态度很好，一有问题马上解决，技术也很牛，排名不错，效果我还是非常认同的！

SEO外包 · 发表于 2016-10-30 07:34:00

不错不错，看好帝国网络

蕴朗 · 发表于 2016-10-30 09:27:15

之前找了一家做外贸网站做得不好后来让帝国网络给重做了，做出来效果還不錯，在这里建议可以到这家公司看看，我个人觉得技术是一方面，更加重要的是服务方面，帝国网络在这方面做的挺好，还帮忙上传产品和处理产品图片，支持一下吧

SEO优化 · 发表于 2016-10-30 12:02:44

网站做得挺漂亮的！公司服务态度也不错！我会介绍我身边的朋友以及客户也和他们合作的！感谢！

疙証屏 · 发表于 2016-11-7 22:59:33

服务很不错的一个公司,从签约到服务期间服务一直很好，准备续签了，特别表扬一下给我做竞价服务的小张，她帮我优化以后，效果确实很明显，赞！

祥客 · 发表于 2016-11-7 23:48:44

之前找了一家做外贸网站做得不好后来让帝国网络给重做了，做出来效果還不錯，在这里建议可以到这家公司看看，我个人觉得技术是一方面，更加重要的是服务方面，帝国网络在这方面做的挺好，还帮忙上传产品和处理产品图片，支持一下吧

湮玲 · 发表于 2016-11-8 01:55:19

与深圳帝国网络合作了快一年的时间，将我公司网络推广的业务交给了他们，我们是做快速消费品食品行业的，开发意向度高的新客户是我们的生命线之一，他们给我做的关键词“深圳糖果批发”、“果冻采购哪家好”像这样的都排在了百度首页，3个月时间，果然和合同上的时间一致。每天都能保证有意向的询盘，去年12月份一个意向客户订单12万。

黎晓兰 · 发表于 2016-11-8 03:23:10

不错不错，看好帝国网络

祥客 · 发表于 2016-11-8 03:29:11

之前找帝国网络做了个企业网站，效果做得很好，而且服务也不错，办事的效率挺高的，处理问题方面也很迅速，值得一试！真心的！

		自动登录	找回密码
密码			立即注册