网站优化

 找回密码
 立即注册
Robots协议是与SEO关系
查看: 11483|回复: 43

Robots协议是与SEO关系

帝国E客 发表于 2016-9-9 17:08:56 | 显示全部楼层 |阅读模式
Robots协议是什么
Robots协议是国际互联网界通行的道德规范,Robots协议是网站出于安全和隐私考虑,防止搜索引擎抓取敏感信息而设置的。基于以下原则建立:
1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

Robots协议的作用
Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。


Robots的写法
User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图


举个栗子
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
实例分析:淘宝网的 Robots.txt文件
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
User-agent: *
Allow: /
例3. 禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4. 允许某个搜索引擎的访问
User-agent: Baiduspider
allow:/

Robots标签
Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。


回复

使用道具 举报

淑榈 发表于 2016-10-25 10:37:39 | 显示全部楼层
SEO很难学,还得多多努力
回复 支持 反对

使用道具 举报

SEO服务 发表于 2016-10-25 07:21:42 | 显示全部楼层
这个网站里面内容做的真好。下次我做网站也要做这样的。版面也很漂亮,跟其他人的网站看起来很独特。
回复 支持 反对

使用道具 举报

SEO外包 发表于 2016-10-25 08:06:42 | 显示全部楼层
帝国网络公司挺大的 我在他们公司做了整合营销 感觉还不错 效果蛮好 服务也很好啊 每周都有那个SEO报告和整合营销报告 作为外包公司 这点做得还比较细致了 给一个赞吧 支持下好公司
回复 支持 反对

使用道具 举报

网站优化公司 发表于 2016-10-25 10:59:57 | 显示全部楼层
帝国网络服务非常的周到、做事认真 、 按时完成目标 、 从不拖欠 , 口碑好!
回复 支持 反对

使用道具 举报

网站优化公司 发表于 2016-10-25 04:31:38 | 显示全部楼层
他们的营销型网站做的非常不错,服务也很好。第一推荐的哦。可以去盯下。
回复 支持 反对

使用道具 举报

SEO优化 发表于 2016-10-25 10:18:59 | 显示全部楼层
不错不错,看好帝国网络
回复 支持 反对

使用道具 举报

戚晓畅 发表于 2016-10-25 18:35:21 | 显示全部楼层
LZ真是人才,教教我如何优化自己的网站
回复 支持 反对

使用道具 举报

祥客 发表于 2016-10-25 14:56:31 | 显示全部楼层
现在找个会优化的真心难,还好找到了帝国网络
回复 支持 反对

使用道具 举报

SEO优化 发表于 2016-10-25 15:36:25 | 显示全部楼层
服务很不错的一个公司,从签约到服务期间服务一直很好,准备续签了,特别表扬一下给我做竞价服务的小张,她帮我优化以后,效果确实很明显,赞!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|

GMT+8, 2024-11-15 16:50网络网站优化公司

网站优化公司© 2006-2024 wangzhanyouhua.net Search Engine Optimization By 网站搜索引擎优化公司

快速回复 返回顶部 返回列表