Robots协议是与SEO关系

帝国E客 · 发表于 2016-9-9 17:08:56

Robots协议是什么
Robots协议是国际互联网界通行的道德规范，Robots协议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的。基于以下原则建立：
1、搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权；
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

Robots协议的作用
Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。

Robots的写法
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图告诉爬虫这个页面是网站地图

举个栗子
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
实例分析：淘宝网的 Robots.txt文件
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
User-agent: *
Allow:　/
例3. 禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4. 允许某个搜索引擎的访问
User-agent: Baiduspider
allow:/

Robots标签
Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots Meta标签也是放在页面中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

淑榈 · 发表于 2016-10-25 10:37:39

SEO很难学，还得多多努力

SEO服务 · 发表于 2016-10-25 07:21:42

这个网站里面内容做的真好。下次我做网站也要做这样的。版面也很漂亮，跟其他人的网站看起来很独特。

SEO外包 · 发表于 2016-10-25 08:06:42

帝国网络公司挺大的我在他们公司做了整合营销感觉还不错效果蛮好服务也很好啊每周都有那个SEO报告和整合营销报告作为外包公司这点做得还比较细致了给一个赞吧支持下好公司

网站优化公司 · 发表于 2016-10-25 10:59:57

帝国网络服务非常的周到、做事认真、按时完成目标、从不拖欠，口碑好！

网站优化公司 · 发表于 2016-10-25 04:31:38

他们的营销型网站做的非常不错，服务也很好。第一推荐的哦。可以去盯下。

SEO优化 · 发表于 2016-10-25 10:18:59

不错不错，看好帝国网络

戚晓畅 · 发表于 2016-10-25 18:35:21

LZ真是人才，教教我如何优化自己的网站

祥客 · 发表于 2016-10-25 14:56:31

现在找个会优化的真心难，还好找到了帝国网络

SEO优化 · 发表于 2016-10-25 15:36:25

服务很不错的一个公司,从签约到服务期间服务一直很好，准备续签了，特别表扬一下给我做竞价服务的小张，她帮我优化以后，效果确实很明显，赞！

		自动登录	找回密码
密码			立即注册

Robots协议是与SEO关系

浏览过的版块