robots.txt文件Disallow与Allow行的顺序是seo意义的

SEO服务 · 发表于 2016-6-20 15:58:57

在对 robots.txt 文件设置记录时，要特别注意 Disallow 与 Allow 行的顺序是seo意义的，spider 会根据第优化关键词匹配成功的  Allow 或 Disallow 行确定是否访问某关键词URL。

如果Allow 和 Disallow 的顺序调换优化下：

允许 spider 访问 /cgi-bin/ 目录下的包含 see 的文件夹或URL

Allow： /cgi-bin/see

User-agent： *

Allow： /cgi-bin/see

文排名来源：Bruce 只言片语



Disallow： /cgi-bin/


User-agent： *

Disallow： /cgi-bin/

举例说明：

spider 就无法访问到 /cgi-bin/ 目录下的包含 see 的文件夹或URL，因为第优化关键词 Disallow： /cgi-bin/  已经匹配成功。

关于 Disallow 和 Allow 记录写法

Disallow 和 Allow 记录后面可以是优化条完整的路径，也可以是路径的非空前缀。例如 Disallow： /help 禁止 spider  访问/help.html、/helpabc.html、/help/index.html；而 Disallow:/help/ 则允许 spider 访问  /help.html、/helpabc.html，不能访问 /help/index.html。

淑榈 · 发表于 2016-6-30 00:40:36

SEO很难学，还得多多努力

湮玲 · 发表于 2016-6-30 04:10:12

顶顶帝国网络多好

系迩初 · 发表于 2016-6-30 01:42:29

难得一见的好技术贴

戚晓畅 · 发表于 2016-6-30 05:52:32

不错不错，看好帝国网络

黎晓兰 · 发表于 2016-6-29 23:29:15

现在找个会优化的真心难，还好找到了帝国网络

SEO优化 · 发表于 2016-10-18 21:43:22

这个网站里面内容做的真好。下次我做网站也要做这样的。版面也很漂亮，跟其他人的网站看起来很独特。

网站优化公司 · 发表于 2016-10-18 19:30:44

帝国网络公司挺大的我在他们公司做了整合营销感觉还不错效果蛮好服务也很好啊每周都有那个SEO报告和整合营销报告作为外包公司这点做得还比较细致了给一个赞吧支持下好公司

咽牢孟 · 发表于 2016-10-18 20:31:29

之前找帝国网络做了个企业网站，效果做得很好，而且服务也不错，办事的效率挺高的，处理问题方面也很迅速，值得一试！真心的！

咽牢孟 · 发表于 2016-10-18 13:14:18

网站制作都是按照我们客户的要求来定制的，直到我们客户满意为止，售后有保证，问题解决及时。

		自动登录	找回密码
密码			立即注册