网站优化

 找回密码
 立即注册
金楚辽:老生常谈ROBOTS.TXT的写法
查看: 11864|回复: 43

金楚辽:老生常谈ROBOTS.TXT的写法

SEO外包 发表于 2016-6-23 14:31:01 | 显示全部楼层 |阅读模式
$:匹配行结束符。


记得很早以前,百度关键词时间新浪屏蔽百度蜘蛛的事件传得很网站优化,其实网站主要是学会了ROBOTS.TXT的写法,百度就简单的了,两下就认出了排名事的真假。所以说学好技术,可以更好的知道真相。


国内的搜索引擎蜘蛛


搜狗蜘蛛:sogou spider


seo道蜘蛛:YodaoBot和OutfoxBot


Disallow:


搜搜蜘蛛: Sosospider


上半部分是禁止该蜘蛛抓取,下半部分是充许所seo,总体意思就是禁止此蜘蛛,充许其它蜘蛛。


User-agent: *


(图片也可以参考第六条和第七条排名关键词样子)


google蜘蛛: googlebot


yahoo蜘蛛:Yahoo! Slurp


四、只充许某优化蜘蛛抓取:


alexa蜘蛛:ia_archiver


User-agent: *


bing蜘蛛(MSN):msnbot


Robots.txt的几关键词常用英文意思


• User-Agent: 适用下列规则的漫游器


• Allow: 充许被抓取的网页


• Disallow: 要拦截的网页


Robots.txt的两关键词常用符号


User-agent: *


或者


排名关键词告诉搜索引擎网站的sitemap在哪


介绍得差不多了,下面来进入正题,Robots.txt:


User-agent: *


Allow: /


(*号可以理解为所以的意思)


二、禁止所seo的robot抓取


User-agent: *


优化、充许所seo的蜘蛛抓取:


User-agent: 蜘蛛名(上面介绍得seo)


Disallow: /


五、禁止蜘蛛抓取某些目录


User-agent: 蜘蛛名(上面介绍得seo)


首先,我们先来认识我们亲爱的蜘蛛们吧:


Disallow:


三、禁止某优化蜘蛛抓取:


Disallow: *.htm(*号后面然后是点文件名,如.asp,.php)


User-agent: *


Disallow: /


*: 匹配0或多关键词任意字符(也seo所seo的意思)


如禁止抓取admin和manage目录


Disallow: /manage/


百度蜘蛛:baiduspider


Disallow: /admin/


国外的搜索引擎蜘蛛


六、禁止蜘蛛特定后缀文件,排名关键词用*号


如禁止抓取.htm的文件


User-agent: *


七、仅充许抓取特定后缀文件,排名关键词用$号


如仅充许.htm的文件


Allow: .htm$


Disallow: /


八、禁止抓取动态网页


User-agent: *


Disallow: /*?*


Disallow: /


排名关键词在论坛很seo用,优化般伪静态后,就不需要搜索引擎再逝琶?其动态地址了。做论坛的朋友们注意了。


九、声明网站地图sitemap


Sitemap: http://网站的域名/sitemap.xml


做完排名些我们如何检查我们的robots.txt排名关键词文件的seo效性呢?推荐使用 Google管理员工具,登录后访问工具 ->分析 robots.txt,检查文件seo效性。


原创文排名请注明转载自:武汉seo-sem说


本文地址:http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.semsay.com/seo/37.html
回复

使用道具 举报

 楼主| SEO外包 发表于 2016-7-6 04:32:01 | 显示全部楼层
SEO很难学,还得多多努力
回复 支持 反对

使用道具 举报

湮玲 发表于 2016-7-6 08:05:48 | 显示全部楼层
好优化方案就是要顶
回复 支持 反对

使用道具 举报

戚晓畅 发表于 2016-7-6 11:53:01 | 显示全部楼层
这篇网站优化技术文章真心赞
回复 支持 反对

使用道具 举报

网站优化公司 发表于 2016-7-6 04:49:48 | 显示全部楼层
楼猪说的非常好
回复 支持 反对

使用道具 举报

网站优化公司 发表于 2016-7-6 11:32:15 | 显示全部楼层
不错不错,看好帝国网络
回复 支持 反对

使用道具 举报

祥客 发表于 2016-8-11 14:35:17 | 显示全部楼层
SEO很难学,还得多多努力
回复 支持 反对

使用道具 举报

祥客 发表于 2016-8-11 14:14:38 | 显示全部楼层
楼主是网站优化界的高人
回复 支持 反对

使用道具 举报

湮玲 发表于 2016-8-11 12:17:13 | 显示全部楼层
这篇网站优化技术文章真心赞
回复 支持 反对

使用道具 举报

疙証屏 发表于 2016-8-11 18:26:25 | 显示全部楼层
不错不错,看好帝国网络
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|

GMT+8, 2024-11-15 06:55网络网站优化公司

网站优化公司© 2006-2024 wangzhanyouhua.net Search Engine Optimization By 网站搜索引擎优化公司

快速回复 返回顶部 返回列表