《Robots.txt 协议标准》介绍

网站优化公司 · 发表于 2016-2-23 13:32:37

近期有很多站长咨询，如何精确设置"robots.txt"文件。为懂得决广大年夜站长同慌绫乔的疑问，我们对《Robots.txt 协定标准》进行了翻译，欲望此篇译文可以或许赞助大年夜家对"robots.txt"文件有更深的懂得。

Robots.txt 是存放在站点根目次下的一个纯文本文件。固然它的设置很简单，然则感化却很强大年夜。它可以指定引擎蜘蛛只抓取指定的内容，或者是禁止引擎蜘蛛抓取网站的部分或全部内容。

下面我们就来具体介绍一下它的应用办法：

Robots.txt 文件应当放在网站根目次下，并且该文件是可以经由过程互联网进行拜访的。

例如：

Disallow: /[/td]
[/tr]

[/table]

那么，该文件必须可以或许经由过程 http://www.yourdomain.com/robots.txt 打开并看到琅绫擎的内容。

例一：经由过程"/robots.txt"禁止所有引擎蜘蛛抓取"/bin/cgi/"目次，以及 "/tmp/"目次和 /foo.html 文件，设置办法如下：

格局：

User-agent:

用于描述引擎蜘蛛的名字，在" Robots.txt "文件中，如不雅有多条User-agent记录解释有多个引擎蜘蛛会受到该协定的限制，对该文件来说，至少要有一条User-agent记录。如不雅该项的值设为*，则该协定对任何引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:*"如许的记录只能有一条。

Disallow:

用于描述不欲望被拜访到的一个URL，这个URL可所以一条完全的路径，也可所以部分的，任何故Disallow开首的URL均不会被Robot拜访到。

举例：

例二：经由过程"/robots.txt"只许可某个引擎抓取，而禁止其他的引擎抓取。

例一："Disallow:/help"

如不雅您的网站地址是 http://www.yourdomain.com/

是指/help.html 和/help/index.html都不许可引擎蜘蛛抓取。

例二："Disallow:/help/"

是指许可引擎蜘蛛抓取/help.html，而不克不及抓取/help/index.html。

例三：Disallow记录为空

解释该网站的所有页面都许可被引擎抓取，在"/robots.txt"文件中，至少要有一条Disallow记录。

如不雅"/robots.txt"是一个空文件，则对于所有的引擎蜘蛛，该网站都是开放的可以被抓取的。

#:
Robots.txt 协定中的注释符。

举例：

以下为引用的内容：
User-agent: *
Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html

如：只许可名为"slurp"的引擎蜘蛛抓取，而拒绝其他的引擎蜘蛛抓取 "/cgi/" 目次下的内容，设置办法如下：

以下为引用的内容：


User-agent: *
Disallow: /cgi/


User-agent: slurp
Disallow:

例三：禁止任何引擎抓取我的网站，设置办法如下：

以下为引用的内容：
User-agent: *
Disallow: /

例四：只禁止某个引擎抓取我的网站

如：只禁止名为“slurp”的引擎蜘蛛抓取，设置办法如下：

[table]

[tr]
[td]以下为引用的内容：
User-agent: slurp
更多，请参考译文出处：http://www.robotstxt.org/wc/norobots.html

戚晓畅 · 发表于 2016-6-18 18:37:00

顶顶帝国网络多好

黎晓兰 · 发表于 2016-6-18 18:58:51

不错不错，看好帝国网络

SEO服务 · 发表于 2016-6-18 19:47:25

很好哦，学到了不少SEO知识

SEO外包 · 发表于 2016-6-18 22:17:20

这篇网站优化技术文章真心赞

咽牢孟 · 发表于 2016-6-18 23:12:22

现在找个会优化的真心难，还好找到了帝国网络

祥客 · 发表于 2016-8-7 20:16:50

他们的营销型网站做的非常不错，服务也很好。第一推荐的哦。可以去盯下。

淑榈 · 发表于 2016-8-7 22:11:06

现在在帝国网络做整合营销，员工服务态度很好，一有问题马上解决，技术也很牛，排名不错，效果我还是非常认同的！

戚晓畅 · 发表于 2016-8-8 00:36:31

帝国网络服务非常的周到、做事认真、按时完成目标、从不拖欠，口碑好！

疙証屏 · 发表于 2016-8-8 01:59:56

不错不错，看好帝国网络

		自动登录	找回密码
密码			立即注册