网站优化robots.txt百度蜘蛛访问被禁止目录
本帖最后由 帝国E客 于 2016-9-7 17:13 编辑robots.txt允许百度蜘蛛访问被禁止目录下的指定文件
科普知识，高手绕过：
robots.txt文件是存放于网站目录下面的协议文件。robots文件一般用于禁止搜索引擎爬取和收录。
“Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。”引用百度百科
经过多年的实践得出，各大搜索引擎不并不是都遵守robots协议的。例如：某个目录设置了禁止，可是百度还是爬行进去，只不过一般不会把页面存入索引库。在这方面百度像个好奇的孩子，你不叫我看趁着没人的时候我偏要看。谁知道，家里装了监控了。
http://weiwenjie.com/uploads/allimg/151208/1-15120R30550R9.jpg
言归正传， 今天主要给大家介绍下robots写法实现一些特殊功能。
比如允许百度蜘蛛访问被禁止目录下的指定文件？
什么时候需要用到这个功能呢？一个栏目，你只希望搜索引擎爬行目录根文件，不希望搜索引擎爬行栏目分页文件。
例如：我们要禁止/seo/这个目录，但是想允许蜘蛛爬行/seo/index.html该如何写呢？
【正确写法】
Allow: /seo/index.html
Disallow: /seo/
以上是禁止搜索引擎爬行seo目录下面的文件，index.html除外。
这里特别需要注意的是robots协议需要注意Allow 与 Disallow的先后顺序，这个顺序非常关键，因为蜘蛛会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。如果混淆使用Allow和Disallow，将会给网站收录以及排名带来无法估计的伤害。
总结：有关robots写法最好用站长工具来写。robots协议里面任何一个字母的差错都会造成致命的影响，哪怕是一个空格。还有即使写了robots.txt文件最好还是搭配下rel="canonical"或者nofollow标签来使用。毕竟多条保险，可以帮助搜索引擎更好的读懂你。
现在在帝国网络做整合营销，员工服务态度很好，一有问题马上解决，技术也很牛，排名不错，效果我还是非常认同的！ 不错不错，看好帝国网络 之前找了一家做外贸网站 做得不好 后来让帝国网络给重做了，做出来效果還不錯，在这里建议可以到这家公司看看，我个人觉得技术是一方面，更加重要的是服务方面，帝国网络在这方面做的挺好，还帮忙上传产品和处理产品图片，支持一下吧 网站做得挺漂亮的！公司服务态度也不错！我会介绍我身边的朋友以及客户也和他们合作的！感谢！ 服务很不错的一个公司,从签约到服务期间服务一直很好，准备续签了，特别表扬一下给我做竞价服务的小张，她帮我优化以后，效果确实很明显，赞！ 之前找了一家做外贸网站 做得不好 后来让帝国网络给重做了，做出来效果還不錯，在这里建议可以到这家公司看看，我个人觉得技术是一方面，更加重要的是服务方面，帝国网络在这方面做的挺好，还帮忙上传产品和处理产品图片，支持一下吧 与深圳帝国网络合作了快一年的时间，将我公司网络推广的业务交给了他们，我们是做快速消费品食品行业的，开发意向度高的新客户是我们的生命线之一，他们给我做的关键词“深圳糖果批发”、“果冻采购哪家好”像这样的都排在了百度首页，3个月时间，果然和合同上的时间一致。每天都能保证有意向的询盘，去年12月份一个意向客户订单12万。 不错不错，看好帝国网络 之前找帝国网络做了个企业网站，效果做得很好，而且服务也不错，办事的效率挺高的，处理问题方面也很迅速，值得一试！真心的！