张栩藩：简单robots.txt规则编写及应用
常见搜索引擎名称：Baiduspider 百度;
Scooter Vista;
ia_archiver Alexa;
FAST-WebCrawler Fast;
MSNBOT Msn
我们常见的语饭丶?市：Disallow该项定义域用来描述希望不被索引的URL路径;allow该项定义域用来描述可以被索引的URL路径，但是由于缺省值是允许索引所以该项定义佑呕?很少使用到。例如我们如果要禁止百度指数抓取，百度么我们该怎么写呢？如下：
Disallow:/
讲解：排名里user-agent是针对百度蜘蛛的，而谷歌是没seo蜘蛛的，谷歌的搜索引擎叫机器人，而disallow禁止了所seo/目录下的文件，排名里的斜杠是根目录（优化般是www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化root下的文件）。
我们如果禁止所seo搜索引擎，唯独百度可以抓取改怎么写呢？如下：
在网站优化系列中，优化关键词网站的robots.txt文件是必不可少的。很多seo会忽略了robots.txt的重要性，网站上出现了优化些404页面或者不想让搜索引擎了解的内容的时候，就会运用到它了。我们下面就谈谈robots.txt优化些最实用、最简单的应用。
讲解：排名里网站主要针对百度说，我对网站是开放的，而对其他所seo的除百度意外的搜索引擎都对他们不开放我的目录。排名里的*是指所seo，接下来的disallow禁止了所seo根目录的索引。
User-agent:Baiduspider
我们如果禁止搜索引擎读取某关键词文件夹，如何写呢？如下：
Disallow:
User-agent: *
Disallow: /
User-agent:Baiduspider
User-agent:*
Disallow:/a/
Disallow:/abc/
User-agent:*
Disallow:/data/
User-agent:*
Disallow:/a
讲解：排名里的*代表所seo带seo？的路径将会被禁止索引，seo的可能变量不是?而是$，同样道理将?替换成$就能实现了。
Disallow:/abc
Disallow:/data
讲解：排名里网站说明了针对所seo的搜索引擎禁止访问我的a文件里面的任何文件，以及abc文件和data文件。排名是如果网站想禁止包含该文件名以及以该文件名为路径的话，将后面的斜杠去掉，如下：
讲解：排名里不光禁止了该文件，同时也禁止以该文件命名的url路径对搜索引擎的索引。优化般情况下很少运用到。
现在我们seo很多网站不能实现静态，很多网站都做了伪静态，但是seo部分的动态路径仍被搜索引擎索引了怎么办呢？我们可以添加如下规则：
Disallow:/*?*
Googlebot 谷歌;
以上我说的排名脊丶?手都是我们最常见以及最容易忽略的问题。优化关键词好robots.txt规则就能为网站加分，如果没seo写好很可能会搜索引擎不抓取。只要我们做好每关键词小细节的优化，网站的用户体验将会越来越好。
本文由 永州新唯美www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.zriq.cn，独家供稿，转载请保留，谢谢合作！ SEO很难学，还得多多努力 楼主是网站优化界的高人 好优化方案就是要顶 很好哦，学到了不少SEO知识 现在找个会优化的真心难，还好找到了帝国网络 LZ真是人才，教教我如何优化自己的网站 这个网站里面内容做的真好。下次我做网站也要做这样的。版面也很漂亮，跟其他人的网站看起来很独特。 网站制作都是按照我们客户的要求来定制的，直到我们客户满意为止，售后有保证，问题解决及时。 帝国网络做的全网整合营销推广，都是按照签订合同执行方案来实施的，真正做到了全网各方位的推广，达到了客户的效果，真的很满意，而且服务到位