网站日志又称服务器日志或者是iis日志,网站日志最大的用途就是可以非常清楚的检测到搜索引起是否来我们网站进行抓取,可以让seo优化人员更加精准的做好seo,对于蜘蛛爬行的具体时间段有一个比较精准的掌握,这样在更新文章的时候就可以有理有据了。 下面,太原seo学习网为大家奉上一份网站日志分析大餐: 一、各大搜索引擎的蜘蛛名称: 百度(Baidu)爬虫名称(Baiduspider) 谷歌(Google)爬虫名称(Googlebot) 雅虎(Yahoo)爬虫名称(Yahoo Slurp) 有道(Yodao)蜘蛛名称(YodaoBot) 搜狗(sogou)蜘蛛名称(sogou spider) MSN的蜘蛛名称:msnbot 二、网站日志分析: 案例日志:61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider(+http://www.baidu.com/search/spider.htm)" 分析: 1、61.135.168.22 是访问了是服务器IP为这个的网站. 2、11/Jan/2009:04:02:45 表示蜘蛛爬行时间 3、GET /thread-7303-1-1.html HTTP,表示蜘蛛抓取了这个页面。 4、200 状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。 5、8450 表示此次抓取了8450个字节 6、Baiduspider(+http://www.baidu.com/search/spider.htm)表示百度蜘蛛的名称
|