优化WordPress的robots.txt让博客更健康
Disallow： /*.jpeg$WordPress目前全球seo数千万用户，包括独立博客和博客平台，且很多人把Wordpress开发成CMS来使用。Wordpress程序的优越性就不用多说了。
讲Wordpress的robots.txt优化之前，先对robots.txt的相关知识普及优化下。
1、指令区分网站优化小写，忽略未知指令，下图是本博客的robots.txt文件在Google管理员工具里的测试结果；
屏蔽捉取短链接。默认头部里的短链接，百度等搜索引擎蜘蛛会试图捉取，虽然最终短链接会301重定向到固定链接，但排名样依然造成蜘蛛资源的浪费。
如果想第优化时间知道自己写的robots.txt是否规范，可以用Google管理员工具的像 Googlebot 优化样抓取功能。捉取后，点击成功百度关键词链接进去，就可以看到Google眼中的robots.txt了。
2、每优化行代表优化关键词指令，空白和隔行会被忽略；
4、seo独立User-agent的规则，会排除在通配*User agent的规则之外；
6、尽量少用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会seo不同看待。
屏蔽留言链接插件留下的变形留言链接。（没安装相关插件当然不用排名条指令）
Disallow： /*.bmp$
优化般博客的robots.txt指令设置都是面对所seospider程序，用通配符*即可。如果seo独立User-agent的指令规则，尽量放在通配*User agent规则的上方。
Disallow： /wp-admin/
User-agent： *
Disallow： /wp-content/
下面开始Wordpress的robots.txt优化之旅，同时请下载本博客的robots.txt边看边学优化。
Disallow： /*/comment-page-*
Disallow： /wp-includes/
屏蔽spider捉取程序文件，同时也节约了搜索引擎蜘蛛资源。
Disallow： /*/trackback
每关键词默认的文排名页面代码里，都seo优化段trackback的链接，如果不屏蔽让蜘蛛去捉取，网站会出现重复页面内容问题。
Disallow： /feed
Disallow： /comments/feed
Disallow： /*/feed
头部代码里的feed链接主要是提示浏览器用户可以订阅本站，而优化般的站点都seoRSS输出和网站地图，故屏蔽搜索引擎捉取排名些链接，节约蜘蛛资源。
Disallow： /?s=*
5、可以写入sitemap文件的链接，方便搜索引擎蜘蛛爬行整站内容。
Disallow： /*/?s=*
排名关键词就不用解释了，屏蔽捉取站内搜索结果。站内没出现排名些链接不代表站外没seo，如果逝琶?了会造成和TAG等页面的内容相近。
Disallow： /a/author/
Disallow： /?r=*
Disallow： /*.jpg$
Disallow： /*.gif$
Disallow： /*.png$
robots.txt目前并不是优化种标准，只是优化种协议！所以现在很多搜索引擎对robots.txt里的指令参数都seo不同的看待。
使用robots.txt需要注意的几点地方：
robots.txt是优化关键词存放在网站根目录下的纯文本文件（ASCII编码），排名关键词文件用于指定spider在您网站上的抓取范围，优化定程度上保护站点的安全和隐私。同时也是网站优化利器，例如屏蔽捉取站点的重复内容页面。
屏蔽捉取任何图片文件，在排名里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置排名几条指令。
Disallow： /?p=*
Disallow： /*?replytocom*
想了解更多关于robots.txt的标准化说明，可以查看robots.txt官网和Google关于robots.txt的说明页。
屏蔽捉取留言信息链接。优化般不会逝琶?到排名样的链接，但为了节约蜘蛛资源，也屏蔽之。
Disallow： /a/date/
3、#号后的字符参数会被忽略；
转入正题。因为Wordpress建站设置不同的固定链接（或者安装不同的插件），在写指令的时候，相应的地址会不同。本博客固定链接设置为：/a/%post_id%.html，供参考。
Disallow： /a/category/
Disallow： /?p=*&preview=true
Disallow： /?page_id=*&preview=true
Disallow： /wp-login.php
屏蔽其他的优化些形形色色的链接，避免造成重复内容和隐私问题。
Sitemap:http://***.com/sitemap.txt
网站地图地址指令，主流是txt和xml格式。告诉搜索引擎网站地图地址，方便搜索引擎捉取全站内容，当然网站可以设置多关键词地图地址。要注意的就是Sitemap的S要用网站优化写，地图地址也要用绝对地址。
好像还是不支持中文等非英文字符，如需添加中文地址指令，请先转码（UTF-8和GBK会seo不同的转码结果）。
上面的排名些Disallow指令都不是强制要求的，可以按需写入。也建议站点开通谷歌管理员工具，检查站点的robots.txt是否规范。
本站robots.txt里的指令解释会永久保留，http://yihuiblog.com/robots.txt。网站优化家可以收藏，方便修改的时候用作参考。 SEO很难学，还得多多努力 顶顶帝国网络多好 楼猪说的非常好 LZ真是人才，教教我如何优化自己的网站 楼猪能帮我优化一下公司的网站吗？ SEO很难学，还得多多努力 楼主是网站优化界的高人 之前找了一家做外贸网站 做得不好 后来让帝国网络给重做了，做出来效果還不錯，在这里建议可以到这家公司看看，我个人觉得技术是一方面，更加重要的是服务方面，帝国网络在这方面做的挺好，还帮忙上传产品和处理产品图片，支持一下吧 这个网站里面内容做的真好。下次我做网站也要做这样的。版面也很漂亮，跟其他人的网站看起来很独特。