金楚辽：老生常谈ROBOTS.TXT的写法
$：匹配行结束符。记得很早以前，百度关键词时间新浪屏蔽百度蜘蛛的事件传得很网站优化，其实网站主要是学会了ROBOTS.TXT的写法，百度就简单的了，两下就认出了排名事的真假。所以说学好技术，可以更好的知道真相。
国内的搜索引擎蜘蛛
搜狗蜘蛛：sogou spider
seo道蜘蛛：YodaoBot和OutfoxBot
Disallow：
搜搜蜘蛛： Sosospider
上半部分是禁止该蜘蛛抓取，下半部分是充许所seo，总体意思就是禁止此蜘蛛，充许其它蜘蛛。
User-agent： *
（图片也可以参考第六条和第七条排名关键词样子）
google蜘蛛： googlebot
yahoo蜘蛛：Yahoo！ Slurp
四、只充许某优化蜘蛛抓取：
alexa蜘蛛：ia_archiver
User-agent： *
bing蜘蛛（MSN）：msnbot
Robots.txt的几关键词常用英文意思
• User-Agent： 适用下列规则的漫游器
• Allow： 充许被抓取的网页
• Disallow： 要拦截的网页
Robots.txt的两关键词常用符号
User-agent： *
或者
排名关键词告诉搜索引擎网站的sitemap在哪
介绍得差不多了，下面来进入正题，Robots.txt：
User-agent： *
Allow： /
（*号可以理解为所以的意思）
二、禁止所seo的robot抓取
User-agent： *
优化、充许所seo的蜘蛛抓取：
User-agent： 蜘蛛名（上面介绍得seo）
Disallow： /
五、禁止蜘蛛抓取某些目录
User-agent： 蜘蛛名（上面介绍得seo）
首先，我们先来认识我们亲爱的蜘蛛们吧：
Disallow：
三、禁止某优化蜘蛛抓取：
Disallow： *.htm（*号后面然后是点文件名，如.asp，.php）
User-agent： *
Disallow： /
*： 匹配0或多关键词任意字符（也seo所seo的意思）
如禁止抓取admin和manage目录
Disallow： /manage/
百度蜘蛛：baiduspider
Disallow： /admin/
国外的搜索引擎蜘蛛
六、禁止蜘蛛特定后缀文件，排名关键词用*号
如禁止抓取.htm的文件
User-agent： *
七、仅充许抓取特定后缀文件，排名关键词用$号
如仅充许.htm的文件
Allow： .htm$
Disallow： /
八、禁止抓取动态网页
User-agent： *
Disallow： /*？*
Disallow： /
排名关键词在论坛很seo用，优化般伪静态后，就不需要搜索引擎再逝琶?其动态地址了。做论坛的朋友们注意了。
九、声明网站地图sitemap
Sitemap： http://网站的域名/sitemap.xml
做完排名些我们如何检查我们的robots.txt排名关键词文件的seo效性呢？推荐使用 Google管理员工具，登录后访问工具 ->分析 robots.txt，检查文件seo效性。
原创文排名请注明转载自：武汉seo-sem说
本文地址：http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.semsay.com/seo/37.html SEO很难学，还得多多努力 好优化方案就是要顶 这篇网站优化技术文章真心赞 楼猪说的非常好 不错不错，看好帝国网络 SEO很难学，还得多多努力 楼主是网站优化界的高人 这篇网站优化技术文章真心赞 不错不错，看好帝国网络