robots文件有什么用？

robot是百度搜索引擎用来获取网站上的网页信息的，一般正常搜索引擎来抓取我们网站的时候会通过网站的根目录来对robots文件进行访问，所以通常我们的robots文件一般是放置在网站根目录下的，下面我们来给大家看几个实例：

正确的格式是这样的：http://www.xxxxx.com/robots.txt，如果是一级域名的话则是：http://xxxxx.com/robots.txt，我们设置这个文件的目的是为了让搜索引擎明白，自己在网站里面的访问权限，哪些地方可以访问、哪些地方不可以访问。当我们的网站部分包含的内容不希望被搜索引擎收录时，我们就可以通过在robots文件里面进行设置。