网站优化

 找回密码
 立即注册
张栩藩:简单robots.txt规则编写及应用
查看: 12030|回复: 43

张栩藩:简单robots.txt规则编写及应用

SEO外包 发表于 2016-6-17 15:02:08 | 显示全部楼层 |阅读模式
常见搜索引擎名称:


Baiduspider 百度;


Scooter Vista;


ia_archiver Alexa;


FAST-WebCrawler Fast;


MSNBOT Msn


我们常见的语饭丶?市:Disallow该项定义域用来描述希望不被索引的URL路径;allow该项定义域用来描述可以被索引的URL路径,但是由于缺省值是允许索引所以该项定义佑呕?很少使用到。例如我们如果要禁止百度指数抓取,百度么我们该怎么写呢?如下:


Disallow:/


讲解:排名里user-agent是针对百度蜘蛛的,而谷歌是没seo蜘蛛的,谷歌的搜索引擎叫机器人,而disallow禁止了所seo/目录下的文件,排名里的斜杠是根目录(优化般是www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化root下的文件)。


我们如果禁止所seo搜索引擎,唯独百度可以抓取改怎么写呢?如下:


在网站优化系列中,优化关键词网站的robots.txt文件是必不可少的。很多seo会忽略了robots.txt的重要性,网站上出现了优化些404页面或者不想让搜索引擎了解的内容的时候,就会运用到它了。我们下面就谈谈robots.txt优化些最实用、最简单的应用。


讲解:排名里网站主要针对百度说,我对网站是开放的,而对其他所seo的除百度意外的搜索引擎都对他们不开放我的目录。排名里的*是指所seo,接下来的disallow禁止了所seo根目录的索引。


User-agent:Baiduspider


我们如果禁止搜索引擎读取某关键词文件夹,如何写呢?如下:


Disallow:


User-agent: *


Disallow: /


User-agent:Baiduspider


User-agent:*


Disallow:/a/


Disallow:/abc/


User-agent:*


Disallow:/data/


User-agent:*


Disallow:/a


讲解:排名里的*代表所seo带seo?的路径将会被禁止索引,seo的可能变量不是?而是$,同样道理将?替换成$就能实现了。


Disallow:/abc


Disallow:/data


讲解:排名里网站说明了针对所seo的搜索引擎禁止访问我的a文件里面的任何文件,以及abc文件和data文件。排名是如果网站想禁止包含该文件名以及以该文件名为路径的话,将后面的斜杠去掉,如下:


讲解:排名里不光禁止了该文件,同时也禁止以该文件命名的url路径对搜索引擎的索引。优化般情况下很少运用到。


现在我们seo很多网站不能实现静态,很多网站都做了伪静态,但是seo部分的动态路径仍被搜索引擎索引了怎么办呢?我们可以添加如下规则:


                                                               
Disallow:/*?*


Googlebot 谷歌;


以上我说的排名脊丶?手都是我们最常见以及最容易忽略的问题。优化关键词好robots.txt规则就能为网站加分,如果没seo写好很可能会搜索引擎不抓取。只要我们做好每关键词小细节的优化,网站的用户体验将会越来越好。


本文由 永州新唯美www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.zriq.cn,独家供稿,转载请保留,谢谢合作!
回复

使用道具 举报

网站优化公司 发表于 2016-7-4 07:22:09 | 显示全部楼层
SEO很难学,还得多多努力
回复 支持 反对

使用道具 举报

咽牢孟 发表于 2016-7-4 08:18:19 | 显示全部楼层
很好哦,学到了不少SEO知识
回复 支持 反对

使用道具 举报

戚晓畅 发表于 2016-7-4 09:10:04 | 显示全部楼层
好优化方案就是要顶
回复 支持 反对

使用道具 举报

SEO优化 发表于 2016-7-4 10:02:08 | 显示全部楼层
楼主是网站优化界的高人
回复 支持 反对

使用道具 举报

 楼主| SEO外包 发表于 2016-7-4 14:58:10 | 显示全部楼层
现在找个会优化的真心难,还好找到了帝国网络
回复 支持 反对

使用道具 举报

祥客 发表于 2016-10-30 22:34:32 | 显示全部楼层
我谈过的合作对象有好几家,但是这家的服务态度是最好的,在技术不变的基础上,我更愿意跟服务态度好的合作
回复 支持 反对

使用道具 举报

系迩初 发表于 2016-10-30 23:47:54 | 显示全部楼层
LZ真是人才,教教我如何优化自己的网站
回复 支持 反对

使用道具 举报

湮玲 发表于 2016-10-31 02:48:16 | 显示全部楼层
网站制作都是按照我们客户的要求来定制的,直到我们客户满意为止,售后有保证,问题解决及时。
回复 支持 反对

使用道具 举报

淑榈 发表于 2016-10-31 02:59:37 | 显示全部楼层
这个网站里面内容做的真好。下次我做网站也要做这样的。版面也很漂亮,跟其他人的网站看起来很独特。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|

GMT+8, 2024-12-22 22:20网络网站优化公司

网站优化公司© 2006-2024 wangzhanyouhua.net Search Engine Optimization By 网站搜索引擎优化公司

快速回复 返回顶部 返回列表