搜索引擎优化的robots.txt文件具体如何用？如何写代码

帝国E客 · 发表于 2016-9-14 17:35:54

本帖最后由帝国E客于 2016-9-14 17:38 编辑

站长们都知道，很多时候搜索引擎收录的网站页面都不是我们想让它收录的页面，这一点着实让人烦恼，尤其是网站后台地址，一旦被百度收录，那么网站的安全性就存在很大的隐患，这时候robot.txt文件的作用就可以体现出来了，只要在文件中屏蔽到蜘蛛的访问，百度就不能收录你不想被收录的页面了，这样既可以集中网站的权重，对搜索引擎优化十分有利。

在介绍robot.txt写法之前，先来说说这个东西是干嘛的。从字面意思上来看robots代表的是机器人，从后缀名来看，是个txt文档，通过这个名字可以看出这个文件是给搜索引擎蜘蛛机器人看的一个文件。所谓roots.txt文件，是Robots协议（也称为爬虫协议、机器人协议等），是搜索引擎蜘蛛到你网站后访问的第一个文件，通过这个文件，搜索引擎蜘蛛可以了解到网站那些内容可以抓取，那些页面不可以抓取，当然，我们也可以直接屏蔽掉蜘蛛的访问。了解了这个文件是干嘛的，下面，具体介绍一下robots.txt文件的写法。

robots.txt语句：

User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图告诉爬虫这个页面是网站地图
robots.txt写法举例：

1、禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /
2、禁止百度索引你的网站
User-agent: Baiduspider
Disallow: /
3、禁止Google索引你的网站
User-agent: Googlebot
Disallow: /
4、禁止除Google外的一切搜索引擎索引你的网站
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
5、禁止除百度外的一切搜索引擎索引你的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
6、禁止蜘蛛访问某个目录
（例如禁止admin\css\images被索引）
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
7、允许访问某个目录中的某些特定网址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/
在书写写这些语句的时候尤其注意的一点是冒号（：）和（ /）之间要有一个空格符，如果这个空格没有加的话，是不能起到作用的，robots.txt文件一般放在网站的根目录下，而且命名必须是robots.txt。rbotts.txt文件

在屏蔽目录的时候，注意，这里如果是阻止抓取某目录的话目录名字一定要注意“/”，不带“/”表示的是阻止访问这个目录页面和目录下的页面，而带上“/”则表示进阻止目录下的内容页面，这两点要分清楚。
为了让搜索引擎更快的收录我们的内页，我们一般都会做一个百度地图或者谷歌地图，那么，Sitemap:+网站地图，这个命令就可以快速的引导搜索引擎蜘蛛来到你的地图页面对网站内页进行抓取。当网站的死链接过多处理非常麻烦的时候，我们可以利用robots来屏蔽这些页面，这样就可以避免网站因为死链接被百度降权。
在SEO优化过程中，对于蜘蛛的了解和控制至关重要，关于robot.txt的写法，就先说这些吧，希望能够帮助大家写出利于搜索引擎优化的robots.txt文件。

戚晓畅 · 发表于 2016-10-12 03:31:42

楼主是网站优化界的高人

戚晓畅 · 发表于 2016-10-12 00:37:45

楼猪能帮我优化一下公司的网站吗？

窦燕珺 · 发表于 2016-10-12 00:15:46

现在在帝国网络做整合营销，员工服务态度很好，一有问题马上解决，技术也很牛，排名不错，效果我还是非常认同的！

SEO服务 · 发表于 2016-10-12 08:05:00

刚和他们合作不久，服务态度非常好，seo、网络推广技术也很专业，选择了一家专业的整合营销公司，支持帝国网络，点个赞！

网站优化公司 · 发表于 2016-10-12 01:08:50

在深圳认真服务的网站优化公司已经不多了，帝国网络服务态度非常好，SEO团队也非常专业

咽牢孟 · 发表于 2016-10-20 16:04:49

好优化方案就是要顶

SEO优化 · 发表于 2016-10-20 14:15:05

这篇网站优化技术文章真心赞

系迩初 · 发表于 2016-10-20 12:06:09

刚和他们合作不久，服务态度非常好，seo、网络推广技术也很专业，选择了一家专业的整合营销公司，支持帝国网络，点个赞！

系迩初 · 发表于 2016-10-20 18:35:44

帝国网络做的全网整合营销推广，都是按照签订合同执行方案来实施的，真正做到了全网各方位的推广，达到了客户的效果，真的很满意，而且服务到位

		自动登录	找回密码
密码			立即注册