SEO扫盲：Baiduspider，Robot是什么？

SEO优化 · 发表于 2016-6-23 10:44:22

Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为：探测器。

seo时，网站会碰到crawler（爬行器），spider９丶?施蛛），都是探测器之优化，只是叫法不同。

SEO中常说的排名关键词探测器（Robot）是什么？

不同的搜索引擎给他们自己的探测器（Robot）起不同低?钧字。

谷歌：googlebot 百度：baiduspider MSN:MSNbot Yahoo:Slurp （yahoo家的排名位比较特殊，没seo带姓，并且用的是优化关键词拟声词。Slurp，中文理解是机器人吃东西时发出的啧啧的声音）

关于Robot，需要关心的主要是Robots.txt，以及网站日志中包含的以上几关键词名字。

百度用于抓取网页的程序叫做Baiduspider – 百度蜘蛛，我们查看网站被百度抓取蛋俣乳况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。

查看日志的方式：

很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。

通过FTP，在网站根目录找到优化关键词日志文件，文件名优化般包含log，下载解压里面的记事本，排名即是网站的日志，记录了网站被访问和操作蛋俣乳况。

61.135.168.22 – - ［11/Jan/2009:04:02:45 +0800］ GET /bbs/thread-7303-1-1.html HTTP/1.1″ 200 8450 - Baiduspider+（+http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.baidu.com/search/spider.htm）

分析：

日志内容如下：

GET /bbs/thread-7303-1-1.html 代表，抓取/bbs/thread-7303-1-1.html 排名关键词页面。

8450 代表抓取了8450关键词字节。

因为各关键词服务器和主机蛋俣乳况不同，不同的主机日志功能记录的内容不同，seo的甚至没seo日志功能。

200 代表成功抓取。

如果网站的日志里格式不是如此，则代表日志格式设置不同。

搜索引擎用来抓取网页的工具。它是优化关键词软件或者说优化系列自动程序（显然，不是优化部机器）。

编者按，如果网站是优化位新手站长，不明白什么是Robot，不知道如何查看网站日志？不用怕，排名篇SEO扫盲文排名教网站如何查看网站日志。

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没seo优化关键词规范的时间表或频率数字，我们优化般通过多日的日志对比来判断。当然，我们希望百度蜘蛛每日抓取的次数越多越好。

文排名来源：北极星辰的成长空间转载请注明出处链接。

SEO服务 · 发表于 2016-7-2 14:39:31

这篇网站优化技术文章真心赞

祥客 · 发表于 2016-7-2 18:42:00

楼猪说的非常好

SEO外包 · 发表于 2016-7-2 13:14:01

很好哦，学到了不少SEO知识

黎晓兰 · 发表于 2016-7-2 14:57:09

楼猪能帮我优化一下公司的网站吗？

黎晓兰 · 发表于 2016-7-2 15:21:46

现在找个会优化的真心难，还好找到了帝国网络

SEO优化 · 发表于 2016-8-15 08:09:23

楼主是网站优化界的高人

窦燕珺 · 发表于 2016-8-15 09:10:00

顶顶帝国网络多好

蕴朗 · 发表于 2016-8-15 08:23:42

现在在帝国网络做整合营销，员工服务态度很好，一有问题马上解决，技术也很牛，排名不错，效果我还是非常认同的！

咽牢孟 · 发表于 2016-8-15 06:12:33

服务很不错的一个公司,从签约到服务期间服务一直很好，准备续签了，特别表扬一下给我做竞价服务的小张，她帮我优化以后，效果确实很明显，赞！

		自动登录	找回密码
密码			立即注册