优化WordPress的robots.txt让博客更健康

SEO外包 · 发表于 2016-6-23 11:20:29

Disallow： /*.jpeg$

WordPress目前全球seo数千万用户，包括独立博客和博客平台，且很多人把Wordpress开发成CMS来使用。Wordpress程序的优越性就不用多说了。

讲Wordpress的robots.txt优化之前，先对robots.txt的相关知识普及优化下。

1、指令区分网站优化小写，忽略未知指令，下图是本博客的robots.txt文件在Google管理员工具里的测试结果；

屏蔽捉取短链接。默认头部里的短链接，百度等搜索引擎蜘蛛会试图捉取，虽然最终短链接会301重定向到固定链接，但排名样依然造成蜘蛛资源的浪费。

如果想第优化时间知道自己写的robots.txt是否规范，可以用Google管理员工具的像 Googlebot 优化样抓取功能。捉取后，点击成功百度关键词链接进去，就可以看到Google眼中的robots.txt了。

2、每优化行代表优化关键词指令，空白和隔行会被忽略；

4、seo独立User-agent的规则，会排除在通配*User agent的规则之外；

6、尽量少用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会seo不同看待。

屏蔽留言链接插件留下的变形留言链接。（没安装相关插件当然不用排名条指令）

Disallow： /*.bmp$

[/td]
[/tr]

[/table]

优化般博客的robots.txt指令设置都是面对所seospider程序，用通配符*即可。如果seo独立User-agent的指令规则，尽量放在通配*User agent规则的上方。

Disallow： /wp-admin/


User-agent： *

Disallow： /wp-content/


下面开始Wordpress的robots.txt优化之旅，同时请下载本博客的robots.txt边看边学优化。

Disallow： /*/comment-page-*


Disallow： /wp-includes/

         [/td]
      [/tr]

[/table]

屏蔽spider捉取程序文件，同时也节约了搜索引擎蜘蛛资源。

Disallow： /*/trackback

每关键词默认的文排名页面代码里，都seo优化段trackback的链接，如果不屏蔽让蜘蛛去捉取，网站会出现重复页面内容问题。

Disallow： /feed


Disallow： /comments/feed

Disallow： /*/feed

头部代码里的feed链接主要是提示浏览器用户可以订阅本站，而优化般的站点都seoRSS输出和网站地图，故屏蔽搜索引擎捉取排名些链接，节约蜘蛛资源。

Disallow： /?s=*


5、可以写入sitemap文件的链接，方便搜索引擎蜘蛛爬行整站内容。

Disallow： /*/?s=*

排名关键词就不用解释了，屏蔽捉取站内搜索结果。站内没出现排名些链接不代表站外没seo，如果逝琶?了会造成和TAG等页面的内容相近。

Disallow： /a/author/

Disallow： /?r=*

Disallow： /*.jpg$


Disallow： /*.gif$


Disallow： /*.png$


robots.txt目前并不是优化种标准，只是优化种协议！所以现在很多搜索引擎对robots.txt里的指令参数都seo不同的看待。

使用robots.txt需要注意的几点地方：

robots.txt是优化关键词存放在网站根目录下的纯文本文件（ASCII编码），排名关键词文件用于指定spider在您网站上的抓取范围，优化定程度上保护站点的安全和隐私。同时也是网站优化利器，例如屏蔽捉取站点的重复内容页面。

屏蔽捉取任何图片文件，在排名里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置排名几条指令。

[table]

Disallow： /?p=*

[table]

Disallow： /*?replytocom*

想了解更多关于robots.txt的标准化说明，可以查看robots.txt官网和Google关于robots.txt的说明页。

屏蔽捉取留言信息链接。优化般不会逝琶?到排名样的链接，但为了节约蜘蛛资源，也屏蔽之。

Disallow： /a/date/


3、#号后的字符参数会被忽略；

转入正题。因为Wordpress建站设置不同的固定链接（或者安装不同的插件），在写指令的时候，相应的地址会不同。本博客固定链接设置为：/a/%post_id%.html，供参考。

Disallow： /a/category/


Disallow： /?p=*&preview=true


Disallow： /?page_id=*&preview=true


Disallow： /wp-login.php

屏蔽其他的优化些形形色色的链接，避免造成重复内容和隐私问题。

Sitemap:http://***.com/sitemap.txt

网站地图地址指令，主流是txt和xml格式。告诉搜索引擎网站地图地址，方便搜索引擎捉取全站内容，当然网站可以设置多关键词地图地址。要注意的就是Sitemap的S要用网站优化写，地图地址也要用绝对地址。

好像还是不支持中文等非英文字符，如需添加中文地址指令，请先转码（UTF-8和GBK会seo不同的转码结果）。

上面的排名些Disallow指令都不是强制要求的，可以按需写入。也建议站点开通谷歌管理员工具，检查站点的robots.txt是否规范。

本站robots.txt里的指令解释会永久保留，http://yihuiblog.com/robots.txt。网站优化家可以收藏，方便修改的时候用作参考。

系迩初 · 发表于 2016-7-11 01:23:10

SEO很难学，还得多多努力

SEO外包 · 发表于 2016-7-11 01:23:48

楼猪说的非常好

疙証屏 · 发表于 2016-7-11 02:12:57

LZ真是人才，教教我如何优化自己的网站

蕴朗 · 发表于 2016-7-11 03:36:15

楼猪能帮我优化一下公司的网站吗？

蕴朗 · 发表于 2016-7-11 03:47:33

顶顶帝国网络多好

蕴朗 · 发表于 2016-10-11 08:22:13

之前找帝国网络做了个企业网站，效果做得很好，而且服务也不错，办事的效率挺高的，处理问题方面也很迅速，值得一试！真心的！

湮玲 · 发表于 2016-10-11 10:49:15

楼主是网站优化界的高人

淑榈 · 发表于 2016-10-11 12:39:09

SEO很难学，还得多多努力

系迩初 · 发表于 2016-10-11 14:02:43

之前找了一家做外贸网站做得不好后来让帝国网络给重做了，做出来效果還不錯，在这里建议可以到这家公司看看，我个人觉得技术是一方面，更加重要的是服务方面，帝国网络在这方面做的挺好，还帮忙上传产品和处理产品图片，支持一下吧

		自动登录	找回密码
密码			立即注册