|
robots文件的内容样式如下图所示： 
robots.txt的写法：
robots.txt文件是一个文本文件，可以直接使用TXT文件创建和编辑它。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，什么文件禁止查看。 当搜索蜘蛛访问我们站点时，它会首先检查该站点根目录下是否存在robots.txt，搜索引擎蜘蛛会根据robots文件中的内容来确定访问的范围，如果没有robots搜索引擎蜘蛛会访问所有url。 robots文件的一般写法如下： User-agent: * 是一个通配符，代表允许所有搜索引擎蜘蛛爬行。 Disallow: /xxxx/ 的定义是禁止搜索引擎蜘蛛爬行xxxx目录下面的url。 Allow: / 的定义是允许搜索引擎蜘蛛爬行所有的url。 具体需要禁止搜索引擎蜘蛛爬行哪里url需要站长根据实际情况去判断。 robots.txt文件的作用 robots.txt文件对新站来说非常实用的好处就是能够提供网站的收录。 屏蔽一些不需要搜索引擎抓取的URL，减少搜索引擎抓取url的数量提高搜索引擎的抓取效率，搜索引擎蜘蛛到我们网站的停留时间是有限制的，如果搜索引擎蜘蛛花大量的时间来抓取我们网站不需要收录页面的url，那么搜索引擎用来抓取我们想要被收录页面的URL的时间就会减少，自然就会导致收录有问题。 总结：对于一个网站来说：robots文件是必须上传的，因为robots文件能够提供搜索引擎的工作效率和我们网站的收录，对我们站长和搜索引擎都是非常用处的。
| 
