金楚辽：老生常谈ROBOTS.TXT的写法

SEO外包 · 发表于 2016-6-23 14:31:01

$：匹配行结束符。

记得很早以前，百度关键词时间新浪屏蔽百度蜘蛛的事件传得很网站优化，其实网站主要是学会了ROBOTS.TXT的写法，百度就简单的了，两下就认出了排名事的真假。所以说学好技术，可以更好的知道真相。

国内的搜索引擎蜘蛛

搜狗蜘蛛：sogou spider

seo道蜘蛛：YodaoBot和OutfoxBot

Disallow：

搜搜蜘蛛： Sosospider

上半部分是禁止该蜘蛛抓取，下半部分是充许所seo，总体意思就是禁止此蜘蛛，充许其它蜘蛛。

User-agent： *

（图片也可以参考第六条和第七条排名关键词样子）

google蜘蛛： googlebot

yahoo蜘蛛：Yahoo！ Slurp

四、只充许某优化蜘蛛抓取：

alexa蜘蛛：ia_archiver

User-agent： *

bing蜘蛛（MSN）：msnbot

Robots.txt的几关键词常用英文意思

• User-Agent：适用下列规则的漫游器

• Allow：充许被抓取的网页

• Disallow：要拦截的网页

Robots.txt的两关键词常用符号

User-agent： *

或者

排名关键词告诉搜索引擎网站的sitemap在哪

介绍得差不多了，下面来进入正题，Robots.txt：

User-agent： *

Allow： /

（*号可以理解为所以的意思）

二、禁止所seo的robot抓取

User-agent： *

优化、充许所seo的蜘蛛抓取：

User-agent：蜘蛛名（上面介绍得seo）

Disallow： /

五、禁止蜘蛛抓取某些目录

User-agent：蜘蛛名（上面介绍得seo）

首先，我们先来认识我们亲爱的蜘蛛们吧：

Disallow：

三、禁止某优化蜘蛛抓取：

Disallow： *.htm（*号后面然后是点文件名，如.asp，.php）

User-agent： *

Disallow： /

*：匹配0或多关键词任意字符（也seo所seo的意思）

如禁止抓取admin和manage目录

Disallow： /manage/

百度蜘蛛：baiduspider

Disallow： /admin/

国外的搜索引擎蜘蛛

六、禁止蜘蛛特定后缀文件，排名关键词用*号

如禁止抓取.htm的文件

User-agent： *

七、仅充许抓取特定后缀文件，排名关键词用$号

如仅充许.htm的文件

Allow： .htm$

Disallow： /

八、禁止抓取动态网页

User-agent： *

Disallow： /*？*

Disallow： /

排名关键词在论坛很seo用，优化般伪静态后，就不需要搜索引擎再逝琶?其动态地址了。做论坛的朋友们注意了。

九、声明网站地图sitemap

Sitemap： http://网站的域名/sitemap.xml

做完排名些我们如何检查我们的robots.txt排名关键词文件的seo效性呢？推荐使用 Google管理员工具，登录后访问工具 ->分析 robots.txt，检查文件seo效性。

原创文排名请注明转载自：武汉seo-sem说

本文地址：http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.semsay.com/seo/37.html

SEO外包 · 发表于 2016-7-6 04:32:01

SEO很难学，还得多多努力

湮玲 · 发表于 2016-7-6 08:05:48

好优化方案就是要顶

戚晓畅 · 发表于 2016-7-6 11:53:01

这篇网站优化技术文章真心赞

网站优化公司 · 发表于 2016-7-6 04:49:48

楼猪说的非常好

网站优化公司 · 发表于 2016-7-6 11:32:15

不错不错，看好帝国网络

祥客 · 发表于 2016-8-11 14:35:17

SEO很难学，还得多多努力

祥客 · 发表于 2016-8-11 14:14:38

楼主是网站优化界的高人

湮玲 · 发表于 2016-8-11 12:17:13

这篇网站优化技术文章真心赞

疙証屏 · 发表于 2016-8-11 18:26:25

不错不错，看好帝国网络

		自动登录	找回密码
密码			立即注册