张栩藩：简单robots.txt规则编写及应用

SEO外包 · 发表于 2016-6-17 15:02:08

常见搜索引擎名称：

Baiduspider 百度;

Scooter Vista;

ia_archiver Alexa;

FAST-WebCrawler Fast;

MSNBOT Msn

我们常见的语饭丶?市：Disallow该项定义域用来描述希望不被索引的URL路径;allow该项定义域用来描述可以被索引的URL路径，但是由于缺省值是允许索引所以该项定义佑呕?很少使用到。例如我们如果要禁止百度指数抓取，百度么我们该怎么写呢？如下：

Disallow:/

讲解：排名里user-agent是针对百度蜘蛛的，而谷歌是没seo蜘蛛的，谷歌的搜索引擎叫机器人，而disallow禁止了所seo/目录下的文件，排名里的斜杠是根目录（优化般是www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化root下的文件）。

我们如果禁止所seo搜索引擎，唯独百度可以抓取改怎么写呢？如下：

在网站优化系列中，优化关键词网站的robots.txt文件是必不可少的。很多seo会忽略了robots.txt的重要性，网站上出现了优化些404页面或者不想让搜索引擎了解的内容的时候，就会运用到它了。我们下面就谈谈robots.txt优化些最实用、最简单的应用。

讲解：排名里网站主要针对百度说，我对网站是开放的，而对其他所seo的除百度意外的搜索引擎都对他们不开放我的目录。排名里的*是指所seo，接下来的disallow禁止了所seo根目录的索引。

User-agent:Baiduspider

我们如果禁止搜索引擎读取某关键词文件夹，如何写呢？如下：

Disallow:

User-agent: *

Disallow: /

User-agent:Baiduspider

User-agent:*

Disallow:/a/

Disallow:/abc/

User-agent:*

Disallow:/data/

User-agent:*

Disallow:/a

讲解：排名里的*代表所seo带seo？的路径将会被禁止索引，seo的可能变量不是?而是$，同样道理将?替换成$就能实现了。

Disallow:/abc

Disallow:/data

讲解：排名里网站说明了针对所seo的搜索引擎禁止访问我的a文件里面的任何文件，以及abc文件和data文件。排名是如果网站想禁止包含该文件名以及以该文件名为路径的话，将后面的斜杠去掉，如下：

讲解：排名里不光禁止了该文件，同时也禁止以该文件命名的url路径对搜索引擎的索引。优化般情况下很少运用到。

现在我们seo很多网站不能实现静态，很多网站都做了伪静态，但是seo部分的动态路径仍被搜索引擎索引了怎么办呢？我们可以添加如下规则：

Disallow:/*?*

Googlebot 谷歌;

以上我说的排名脊丶?手都是我们最常见以及最容易忽略的问题。优化关键词好robots.txt规则就能为网站加分，如果没seo写好很可能会搜索引擎不抓取。只要我们做好每关键词小细节的优化，网站的用户体验将会越来越好。

本文由永州新唯美www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.zriq.cn，独家供稿，转载请保留，谢谢合作！

网站优化公司 · 发表于 2016-7-4 07:22:09

SEO很难学，还得多多努力

SEO优化 · 发表于 2016-7-4 10:02:08

楼主是网站优化界的高人

戚晓畅 · 发表于 2016-7-4 09:10:04

好优化方案就是要顶

咽牢孟 · 发表于 2016-7-4 08:18:19

很好哦，学到了不少SEO知识

SEO外包 · 发表于 2016-7-4 14:58:10

现在找个会优化的真心难，还好找到了帝国网络

系迩初 · 发表于 2016-10-30 23:47:54

LZ真是人才，教教我如何优化自己的网站

淑榈 · 发表于 2016-10-31 02:59:37

这个网站里面内容做的真好。下次我做网站也要做这样的。版面也很漂亮，跟其他人的网站看起来很独特。

湮玲 · 发表于 2016-10-31 02:48:16

网站制作都是按照我们客户的要求来定制的，直到我们客户满意为止，售后有保证，问题解决及时。

疙証屏 · 发表于 2016-10-31 03:11:51

帝国网络做的全网整合营销推广，都是按照签订合同执行方案来实施的，真正做到了全网各方位的推广，达到了客户的效果，真的很满意，而且服务到位

		自动登录	找回密码
密码			立即注册