|
对于互联网上蜘蛛是遵循链接抓取，针对于我们网站蜘蛛是怎样抓取呢?甚至提升知道抓取效率，首先明确蜘蛛抓取和排名没有直接关系，并不是说蜘蛛抓取你网站越勤快不一定有排名的哟! 从优化角度上：虽然没有直接关系，但是有间接关系，比方说：你的网站没有收录，页面是不可能有排名，在收录之前肯定是抓取的阶段。抓取-收录-排名，在这里面要进行提升怎么做呢?快速让搜索引擎抓取你的网站。 第一：主动向百度提交(包括单个链接、网站地图提交) 第二：做外链，外链所指向抓取的首页、内链等。 第三：通过引流、根据用户访问会加快页面抓取等 蜘蛛第一进入网站访问的第一个文件robots.txt 百度蜘蛛以最详细的robots为标准。不懂robots.txt建议先看看SEO原理 例如http://www.1688seo.cn/robots.txt 这个写的最为详细、最后一行表示除以上搜索引擎其他一律禁止。为什么要拒绝?因为抓取是对服务器是有压力的! 
蜘蛛抓取的顺序：从上到下、从做到右。对于蜘蛛的操作漠不关心，最重要的是如何引蜘蛛来抓取。 对于排名来讲，最重要的是网站基础优化。其次是蜘蛛对你网站的识别，在这个网站页面上怎么识别呢? 加载速度：空间、JS/CSS、图片压缩、图片延迟加载技术、css sprite。 识别：robots、图片识别、h标签、table布局、路径识别、nofollow。 基础数据：收录、索引、外链、友链、出站链接。 页面质量：页面核心、关键词布局、页面结构层次。 页面收录：收录量与网站总页面比例、不同页面类型各自的收录比例、不同页面类型对比的收录比例。 页面相似度：站内与站外相似度、站内与站内相似度。 常规错误：死链、错误链接、外链作弊、外部攻击。 总结：如果网站有死链的话做404页面，那么做了404页面蜘蛛跳转改页面，网站死链还是存在的，所以我们还是直接到百度站长工具提交死链。下一章我将讲解：如何让蜘蛛定期更新，不是每天都来的哟!否则压爆你的小服务器。
| 
