网站优化

 找回密码
 立即注册
《Robots.txt 协议标准》介绍
查看: 8930|回复: 35

《Robots.txt 协议标准》介绍

网站优化公司 发表于 2016-2-23 13:32:37 | 显示全部楼层 |阅读模式
近期有很多站长咨询,如何精确设置"robots.txt"文件。为懂得决广大年夜站长同慌绫乔的疑问,我们对《Robots.txt 协定标准》进行了翻译,欲望此篇译文可以或许赞助大年夜家对"robots.txt"文件有更深的懂得。


Robots.txt 是存放在站点根目次下的一个纯文本文件。固然它的设置很简单,然则感化却很强大年夜。它可以指定引擎蜘蛛只抓取指定的内容,或者是禁止引擎蜘蛛抓取网站的部分或全部内容。


下面我们就来具体介绍一下它的应用办法:


Robots.txt 文件应当放在网站根目次下,并且该文件是可以经由过程互联网进行拜访的。


例如:


Disallow: /[/td]
        [/tr]
   
[/table]


那么,该文件必须可以或许经由过程 http://www.yourdomain.com/robots.txt 打开并看到琅绫擎的内容。


例一:经由过程"/robots.txt"禁止所有引擎蜘蛛抓取"/bin/cgi/"目次,以及 "/tmp/"目次和 /foo.html 文件,设置办法如下:


格局:


User-agent:


用于描述引擎蜘蛛的名字,在" Robots.txt "文件中,如不雅有多条User-agent记录解释有多个引擎蜘蛛会受到该协定的限制,对该文件来说,至少要有一条User-agent记录。如不雅该项的值设为*,则该协定对任何引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"如许的记录只能有一条。


Disallow:


用于描述不欲望被拜访到的一个URL,这个URL可所以一条完全的路径,也可所以部分的,任何故Disallow开首的URL均不会被Robot拜访到。


举例:


例二:经由过程"/robots.txt"只许可某个引擎抓取,而禁止其他的引擎抓取。


例一:"Disallow:/help"


如不雅您的网站地址是 http://www.yourdomain.com/


是指/help.html 和/help/index.html都不许可引擎蜘蛛抓取。


例二:"Disallow:/help/"


是指许可引擎蜘蛛抓取/help.html,而不克不及抓取/help/index.html。


例三:Disallow记录为空


解释该网站的所有页面都许可被引擎抓取,在"/robots.txt"文件中,至少要有一条Disallow记录。


如不雅"/robots.txt"是一个空文件,则对于所有的引擎蜘蛛,该网站都是开放的可以被抓取的。


#:
Robots.txt 协定中的注释符。


举例:



以下为引用的内容:
User-agent: *
Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html




如:只许可名为"slurp"的引擎蜘蛛抓取,而拒绝其他的引擎蜘蛛抓取 "/cgi/" 目次下的内容,设置办法如下:



以下为引用的内容:

            
User-agent: *
Disallow: /cgi/

            
User-agent: slurp
Disallow:

            




例三:禁止任何引擎抓取我的网站,设置办法如下:



以下为引用的内容:
User-agent: *
Disallow: /




例四:只禁止某个引擎抓取我的网站


如:只禁止名为“slurp”的引擎蜘蛛抓取,设置办法如下:



[table]
   
        [tr]
            [td]以下为引用的内容:
User-agent: slurp
更多,请参考译文出处:http://www.robotstxt.org/wc/norobots.html
回复

使用道具 举报

戚晓畅 发表于 2016-6-18 18:37:00 | 显示全部楼层
顶顶帝国网络多好
回复 支持 反对

使用道具 举报

黎晓兰 发表于 2016-6-18 18:58:51 | 显示全部楼层
不错不错,看好帝国网络
回复 支持 反对

使用道具 举报

SEO服务 发表于 2016-6-18 19:47:25 | 显示全部楼层
很好哦,学到了不少SEO知识
回复 支持 反对

使用道具 举报

SEO外包 发表于 2016-6-18 22:17:20 | 显示全部楼层
这篇网站优化技术文章真心赞
回复 支持 反对

使用道具 举报

咽牢孟 发表于 2016-6-18 23:12:22 | 显示全部楼层
现在找个会优化的真心难,还好找到了帝国网络
回复 支持 反对

使用道具 举报

祥客 发表于 2016-8-7 20:16:50 | 显示全部楼层
他们的营销型网站做的非常不错,服务也很好。第一推荐的哦。可以去盯下。
回复 支持 反对

使用道具 举报

淑榈 发表于 2016-8-7 22:11:06 | 显示全部楼层
现在在帝国网络做整合营销,员工服务态度很好,一有问题马上解决,技术也很牛,排名不错,效果我还是非常认同的!
回复 支持 反对

使用道具 举报

戚晓畅 发表于 2016-8-8 00:36:31 | 显示全部楼层
帝国网络服务非常的周到、做事认真 、 按时完成目标 、 从不拖欠 , 口碑好!
回复 支持 反对

使用道具 举报

疙証屏 发表于 2016-8-8 01:59:56 | 显示全部楼层
不错不错,看好帝国网络
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|

GMT+8, 2024-12-22 12:52网络网站优化公司

网站优化公司© 2006-2024 wangzhanyouhua.net Search Engine Optimization By 网站搜索引擎优化公司

快速回复 返回顶部 返回列表