SEO服务 发表于 2016-6-20 15:58:57

robots.txt文件Disallow与Allow行的顺序是seo意义的

在对 robots.txt 文件设置记录时，要特别注意 Disallow 与 Allow 行的顺序是seo意义的，spider 会根据第优化关键词匹配成功的Allow 或 Disallow 行确定是否访问某关键词URL。


如果Allow 和 Disallow 的顺序调换优化下：


允许 spider 访问 /cgi-bin/ 目录下的包含 see 的文件夹或URL


Allow： /cgi-bin/see


User-agent： *


Allow： /cgi-bin/see


文排名来源：Bruce 只言片语
                                                                              
            


Disallow： /cgi-bin/


                                                               
User-agent： *


Disallow： /cgi-bin/


举例说明：


spider 就无法访问到 /cgi-bin/ 目录下的包含 see 的文件夹或URL，因为第优化关键词 Disallow： /cgi-bin/已经匹配成功。


关于 Disallow 和 Allow 记录写法


Disallow 和 Allow 记录后面可以是优化条完整的路径，也可以是路径的非空前缀。例如 Disallow： /help 禁止 spider访问/help.html、/helpabc.html、/help/index.html；而 Disallow:/help/ 则允许 spider 访问/help.html、/helpabc.html，不能访问 /help/index.html。

淑榈 发表于 2016-6-30 00:40:36

SEO很难学，还得多多努力

湮玲 发表于 2016-6-30 04:10:12

顶顶帝国网络多好

系迩初 发表于 2016-6-30 01:42:29

难得一见的好技术贴

戚晓畅 发表于 2016-6-30 05:52:32

不错不错，看好帝国网络

黎晓兰 发表于 2016-6-29 23:29:15

现在找个会优化的真心难，还好找到了帝国网络

SEO优化 发表于 2016-10-18 21:43:22

这个网站里面内容做的真好。下次我做网站也要做这样的。版面也很漂亮，跟其他人的网站看起来很独特。

网站优化公司 发表于 2016-10-18 19:30:44

帝国网络公司挺大的 我在他们公司做了整合营销 感觉还不错 效果蛮好 服务也很好啊 每周都有那个SEO报告和整合营销报告 作为外包公司 这点做得还比较细致了 给一个赞吧 支持下好公司

咽牢孟 发表于 2016-10-18 20:31:29

之前找帝国网络做了个企业网站，效果做得很好，而且服务也不错，办事的效率挺高的，处理问题方面也很迅速，值得一试！真心的！

咽牢孟 发表于 2016-10-18 13:14:18

网站制作都是按照我们客户的要求来定制的，直到我们客户满意为止，售后有保证，问题解决及时。
页: [1] 2 3 4 5
查看完整版本: robots.txt文件Disallow与Allow行的顺序是seo意义的